ИИ-помощник на базе языковой модели заработал за четыре месяца

АО «Специализированный депозитарий ИНФИНИТУМ» — крупнейший специализированный депозитарий в России. Он контролирует, учитывает и хранит имущество инвесторов на общую сумму порядка 15 трлн рублей (по данным на 3 кв. 2025 года). Клиенты компании — негосударственные пенсионные фонды, управляющие компании, страховые организации и госкорпорации. Сотрудниками ИНФИНИТУМ являются как финансовые эксперты, так и IT-специалисты высокого класса. Компания активно развивает собственные IT-решения и внедряет инновации для повышения качества услуг.

Специализированный депозитарий ИНФИНИТУМ работает с 2000 года. За 25 лет в компании накопился очень объемный и специфический массив информации. Кроме того, в сфере финансов регулярно выходят новые нормативные акты, сотрудникам необходимо оперативно знакомиться с ними, вникать в самую суть и доносить самое важное до клиентов. Чтобы освободить специалистов компании от рутинных операций, решили внедрить AI-помощника на базе LLM, причем в сжатые сроки.

За основу будущего помощника решили взять Zero-Mistral-24B —актуализированную и доработанную специально под русский язык версию модели Mistral-Small-3.1-24B-Base-2503. Но для запуска требовались GPU-ресурсы — графические ускорители, причем определенных моделей: NVIDIA A100, H100.

Необходимыми моделями GPU-карт располагал Cloud.ru и еще несколько провайдеров. Основными факторами выбора стали конкурентная ценовая политика, скорость развертывания ресурсов и возможность быстро настроить сетевую связность: по каждому из пунктов Cloud.ru выгодно отличался от конкурентов. Кроме того, еще на этапе презентации команда провайдера показала свою клиентоориентированность и предоставила всю необходимую информацию и мощности, что создало основу для доверия.

Первый контакт произошел в июле 2025 года. Развертывание и настройка инфраструктуры заняли около полутора месяцев. В процессе возникли небольшие сложности с настройкой сетевой связности через Evolution Magic Router, но силами технической поддержки за пару дней проблему удалось решить.

Решение построено на двух основных компонентах:

• Evolution Compute — для запуска LLM; компания использует конфигурацию виртуальной машины с 8 vCPU, 128 Gb оперативной памяти и двумя GPU-картами V100;

• Evolution Magic Router —для настройки сетевой связности между сегментами облака и локальной инфраструктурой заказчика.

Благодаря усилиям специалистов ИНФИНИТУМ и надежной инфраструктуре Cloud.ru в конце октября 2025 года AI-помощник уже вышел в продакшен. Сегодня сотрудники заказчика могут использовать AI-инструмент для следующих задач:

• анализ сложных правовых актов объемом в десятки страниц;

• резюмирование содержания документов;

• выявление изменений между версиями документов;

• создание стандартизированных ответов на вопросы клиентов;

• составление презентаций и писем;

• написание скриптов;

• структурирование информации.

ИНФИНИТУМ видит в облаке Cloud.ru не только продакшен-платформу. Облачную среду планируется также использовать для тестирования и разработки. В долгосрочной перспективе облако планируют оставить для таких нужд, как:

• развертывание тестовых стендов для новых версий AI-помощника;

• Pre-Prod окружение для финального тестирования;

• создание промежуточных контуров систем для отделения тестовых сред от продакшена;

• размещение платформы видео-конференц-связи (ВКС).

Такой подход позволит совместить гибкость и скорость облака с контролем и безопасностью on-premise решений.