Какие новости за июнь — дайджест Cloud.ru

AI Factory

Продолжаем развивать AI Factory — цифровую среду для создания и внедрения ИИ-решений. 

Evolution AI Agents

EvoClaw — сервис для работы с Claw-продуктами в Evolution AI Agents — перешел в общий доступ (General Availability) и стал платным. Для него начали действовать тарифы и соглашение об уровне обслуживания (SLA).  

Evolution Notebooks

В сервисе для работы и экспериментов с машинным обучением в облаке появились новые возможности:

• совместное редактирование ноутбуков в коллаборативном режиме на базовом образе Cloud.ru Jupyter (Conda);

• управление логами и алертами без перехода в интерфейс сервиса;

• метрики мониторинга и готовые дашборды для отслеживания производительности.

Evolution ML Inference

В сервис для запуска и развертывания ИИ и LLM-моделей добавили маршрутизацию запросов с Evolution Foundation Models. Это позволяет отслеживать нагрузку на ИИ-модель и переключать трафик на пользовательский инференс при увеличении нагрузки. Подробнее про маршрутизацию — в документации. 

Evolution Foundation Models

В сервис, с помощью которого можно получить доступ к популярным open source моделям, добавили:

• детализацию потребления по API-ключам;

• возможность просматривать алерты в разрезе API-ключей в правилах защиты.

Evolution Managed RAG

Масштабно обновили сервис для обогащения языковой модели собственными данными. 

Добавили метод извлечения OCR в экстракторы для doc и docx, что позволяет обрабатывать документы с графическими изображениями. А еще новый тип источника чанков — Custom, с помощью которого можно загружать данные через Public API.

Также реализовали возможность работы с чанками через API. Теперь доступны:

• создание;

• получение информации о конкретном чанке и обо всех чанках, доступных в версии базы знаний;

• удаление.

Упростили работу с Evolution Object Storage. Теперь можно добавлять дополнительные документы из источника хранилища в версию базы знаний. 

Кроме этого:

• добавили синхронизацию по расписанию — теперь не нужно синхронизировать документы вручную;

• появились статусы этапов синхронизации документов у добавленных документов;

• добавили просмотр чанков непосредственно из версии базы знаний;

• реализовали интеграцию с аудит-логированием и сервисом уведомлений;

• добавили экстрактор для обработки аудио- и видеофайлов.

Evolution Data Platform

Evolution Managed Airflow

Сервис для оркестрации данных перешел в общий доступ (General Availability) и стал платным — для него начнут действовать тарифы и соглашение об уровне обслуживания (SLA).  

Evolution Managed BI

Добавили в сервис поддержку Apache Superset версии 6.1.0.

Evolution Managed Trino

Расширили возможности аналитики и оптимизировали использование ресурсов в сервисе SQL-движка: теперь топики Kafka можно запрашивать прямо из Trino с помощью обычного SQL, без выгрузки данных и дополнительного ETL — это удобно для аналитики стриминговых данных и объединения с другими источниками в одном запросе;

Также появилась возможность создавать кластер всего с одной нодой. При увеличении нагрузки кластер автоматически масштабируется, а при снижении возвращается к минимальной конфигурации. Это заметно снижает стоимость, когда нагрузки нет.

А еще обновили параметры автомасштабирования — теперь минимальное количество нод снижено до одной.

Evolution Managed Spark

Добавили сразу несколько улучшений в сервис для распределенной обработки данных:

• ускорили создание Spark-задач до секунд;

• появилась возможность выбирать версию сервиса при создании;

• реализовали поддержку механизма Gang Scheduling, который позволяет запускать запущенные задачи одновременно и предотвращает взаимную блокировку ресурсов, формируя очередь из задач до освобождения необходимого объема ресурсов. 

Evolution Managed ArenadataDB

Добавили в сервис инстансов на базе Greenplum интеграцию с сервисом тегов. Теперь можно просматривать и изменять теги инстансов.

А еще:

• автоматизировали создание группы безопасности — можно либо выбрать существующую группу безопасности, либо автоматически создать группу и правила в системе;

• реализовали окно техобслуживания при создании и редактировании инстанса.

Evolution Managed Flink

В открытое тестирование (Public Preview) перешел сервис для преобразования и анализа потоковых данных в реальном времени. 

Управление кластерами и ресурсами

Платформа получила ряд важных инфраструктурных обновлений:

• перешла на асинхронную модель управления сервисами, что повышает стабильность операций и корректность выполнения действий над кластерами;

• пользователи получили возможность самостоятельно приостанавливать и возобновлять работу кластеров и размещенных на них сервисов — это позволяет оптимизировать вычислительные ресурсы и сократить расходы;

• для кластеров появилась поддержка тегирования, что упрощает навигацию, управление и распределение ресурсов;

• интерфейс карточек кластеров, что делает работу с платформой более удобной;

• обновили интерфейс карточек кластеров, сделав управление инфраструктурой более удобным. 

Другие сервисы

Evolution Artifact Registry

Добавили поддержку PyPI-реестров в Evolution Artifact Registry, чтобы сделать работу с Python в сервисе еще удобнее. Функция перешла в общий доступ (General Availability) и стала платной. Для нее начали действовать тарифы и соглашение об уровне обслуживания (SLA).  

Также выпустили кеширующие реестры в стадии открытого тестирования (Public Preview). Доступ можно получить по запросу в техническую поддержку.

Evolution VPN

Сервис Evolution VPN перейдет в общий доступ (General Availability) и станет платным — для него начнут действовать тарифы и соглашение об уровне обслуживания (SLA). Узнать стоимость можно на сайте. При переходе в общий доступ сервис сразу начнет тарифицироваться.

Кроме того, появилась возможность создавать собственные профили безопасности VPN-туннелей с настройкой нестандартных параметров шифрования.

Evolution Managed Kafka

Добавили возможность управления параметрами топиков в сервис для потоковой обработки данных в реальном времени.

Evolution Managed Kubernetes

Выпустили для сервиса управления контейнерными приложениями новые версии плагинов:

• Kata Containers версии 3.31.0;

• Istio версии 1.30.1;

• Trivy Operator версии 0.31.1;

• K8s Cleaner версии 0.21.0;

• KEDA версии 2.20.1;

• External Secrets Operator версии 2.6.0.

Добавили новый плагин Spegel — он позволяет ускорять загрузку и развертывание образов. А еще обновили плагин Ingress Nginx. Добавили в него возможность активировать PROXY-протокол при установке или редактировании.

Evolution Managed PostgreSQL

Теперь кластеры сервиса можно вручную останавливать и запускать (в течение 30 дней) для сокращения расходов на вычислительные ресурсы. При этом дисковое пространство продолжает тарифицироваться. Подробнее — в документации.

Evolution Managed Redis

Добавили в облачную базу данных:

• мультизональное размещение кластеров Master/Replica — можно выбрать распределение трех хостов по разным зонам или разместить их в одной зоне. 

• управление параметрами непосредственно на странице кластера.

Evolution Object Storage

В консоли сервиса появились:

• управление Object Lock;

• управление версионированием объектов.

Evolution Load Balancer

Упростили миграцию балансировщиков в версию v2 сервиса. Для бесшовной миграции с сохранением внешнего и внутреннего IP-адресов вы можете использовать кнопку «Мигрировать на V2» в списке балансировщиков или в разделе «Информация» интерфейса сервиса. Подробнее про перенос балансировщиков — в инструкции. 

А еще реализовали доступ к балансировщику через Evolution Magic Router:

• работает для балансировщиков версии v2;

• приватный IP-адрес балансировщика доступен из других VPC, on-premises и платформ Облако VMware и Cloud.ru Advanced. 

Подробнее — в документации.

Evolution Distributed Train

Масштабно улучшили сервис для создания цифровых приложений с использованием суперкомпьютеров и ML.

Изменили работу SSH-ключей. Теперь пользователям нужно самостоятельно генерировать SSH-ключ или загружать его на странице параметров разработчика:

• автоматическая генерация при первом подключении не производится;

• текущие ключи продолжают работать;

Подробнее — в документации.

Перенесли управление пользователями на отдельную вкладку «Пользователи». Доступны добавление, изменение ролей и удаление пользователей, в том числе массовые операции.

Провели внутренние оптимизации, которые улучшили стабильность и производительность SSH-соединений.

Добавили возможность создавать Jupyter Server с мультидоступом и работать в нем нескольким пользователям:

• каждый пользователь работает в изолированном окружении со своей домашней директорией и независимым окружением;

• доступен в версии воркспейса v3 на основе образа jupyter-multiuser;

• владелец Jupyter Server может управлять списком пользователей на вкладке «Пользователи». 

Подробнее об особенностях Jupyter Server с мультидоступом — в документации.

Обновили образ jupyter-server до версии 0.0.101:

• Реализовали настройку ресурсов на основе данных cgroup Pod, что обеспечивает корректное отображение доступных ресурсов и лимиты для ML-библиотек. При этом система не перегружается при запуске вычислений.

• Интегрировали поддержку работы с терминалом terminal multiplexer (tmux). Он позволяет сохранять сессии и открывать несколько панелей внутри одной сессии для одновременного мониторинга логов, запуска скриптов и работы с файлами.

Добавили отображение доступных сетевых и системных хранилищ с указанием типа доступа при создании Jupyter Server.

Внесли возможность использовать несколько директорий с логами для визуализации в TensorBoard. Указать директории можно при создании инстанса и во время работы. Подробнее — в документации. 

Добавили отображение статуса серверов в разделах аллокаций и очередей. Доступны статусы «свободен», «частично занят», «занят» и «недоступен». При неисправности сервер изолируется, а задачи автоматически перераспределяются на другие серверы.

Реализовали проверку корректности указанных параметров перед запуском задачи. При наличии ошибок отображается информативное сообщение с описанием проблемы.

А еще добавили отображение очереди запуска для задач с высоким приоритетом в Jupyter Server и массовую привязку воркспейсов к очереди.

Личный кабинет

Расширили возможности личного кабинета. Добавили:

• возможность сортировать правила в списке по порту в интерфейсе раздела «Группы безопасности»;

• экспорт детализации потребления в разделе «Оплата и контроль»: отчет по услугам содержит данные о потреблении, а отчет по ресурсам — детализацию потребления ресурсов по услугам.   

Подробнее — в документации.

А еще стала доступна быстрая авторизация через T-ID. 

Advanced Elastic Load Balance

Добавили в сервис поддержку протокола gRPC для Backend Server Group балансировщиков типа Dedicated.

Advanced Data Warehouse Service

Обновили management plane хранилища. Изменили интерфейс создания кластера, а также добавили возможности:

• создавать резервные копии таблиц в выбранных базах данных;

• экспортировать результаты диагностики таблиц;

• вручную инициировать сбор статистики по горячим и холодным данным для таблиц.

Провайдер Terraform 

Добавили новые ресурсы для работы с DNS:

• sbercloud_dns_endpoint_assignment;

• sbercloud_dns_endpoint;

• sbercloud_dns_resolver_rule_associate;

• sbercloud_dns_resolver_rule.

Добавили API-справочник для расширенного мониторинга платформы Облако VMware. С помощью API теперь можно получать:

• списки виртуальных машин;

• идентификаторы ресурсов;

• перечни доступных метрик;

• значения метрик для мониторинга инфраструктуры.