Платформа речевой аналитики Deeray сократила расходы в 30 раз за счет использования AI-сервисов Cloud.ru
IT-компания Deeray — разработчик AI-платформы речевой и текстовой аналитики для бизнеса — перенесла продуктовую среду в Сloud.ru. Благодаря миграции компания сократила затраты на инференс языковых моделей в 30 раз и получила надежную инфраструктуру для обработки 4 миллионов минут речи ежемесячно.
Решение Deeray не просто переводит речь в текст, а выявляет контекст всего диалога. Например, может определить, был ли решен вопрос человека, который обратился в колл-центры организации. Deeray использует ансамбли разных LLM вместо одной универсальной модели, как это делают конкуренты. Конфигурация подбирается с учетом экономической целесообразности и задач проекта — от семантического анализа до мультимодальной обработки данных. Такая архитектура требует экономической эффективности GPU-ресурсов и стабильности работы инфраструктуры.
Deeray снизила затраты на применение популярных open source моделей с помощью сервиса Cloud.ru Evolution Foundation Models. Для сравнения, одна из представленных в нем моделей (Qwen 2.5) обходится компании в 20 рублей за 1 миллион выходных токенов, в то время как конкурирующие решения стоят около 600 рублей. Средний промпт Deeray содержит 6-8 тысяч токенов в структурированном виде, без учета системных промптов, что дает примерно экономию в 30 раз на каждом запросе.
Также доступ к производительным GPU-серверам Cloud.ru позволил Deeray справиться с резким увеличением клиентов из среднего и малого бизнеса. В данный момент платформа стабильно обрабатывает 4 миллионов минут речи и 1,5 миллиона чатов ежемесячно, при этом сохраняя возможность для роста. Кроме того, за счет дообучения моделей компании удалось значительно сократить количество ошибок распознавания речи и в ряде доменных областей добиться показателя в 1,5% против 25-29% у конкурентов.
Для бизнеса, чьи продукты построены на базе AI, цена на открытые языковые модели и графические ускорители была определяющим фактором. В случае с Cloud.ru стоимость ресурсов оказалось самой доступной на российском рынке.
Мы стараемся совершенствовать процессы и улучшать экономику создания продуктов, не делая их дороже. Мы делаем AI-продукты доступными, чтобы стимулировать компании переходить от работы с технологией в R&D-формате к коммерческому потреблению.
Deeray с 2018 года входит в число лидеров российского рынка, использующих собственные большие языковые модели вместо готовых решений. С момента запуска компания реализовала более 400 проектов. Среди клиентов Deeray — государственные органы, крупные корпорации (банки, телекоммуникационные и IT-компании), а также представители малого и среднего бизнеса, медицинские клиники, стоматологии, фитнес-центры и сервисные компании.