От данных к инсайтам: как собрать аналитический стек на базе BI-решений и Big Data с ИИ

Традиционный подход к аналитике, когда данные из разных систем сначала загружают в единое хранилище, а затем на их основе готовят отчеты, работал, пока объем информации был небольшим, а бизнес-задачи менялись редко. Сегодня компании работают с десятками источников данных, поэтому такой подход уже не позволяет быстро получать актуальную информацию. 

Медленная подготовка отчетов. По данным опроса CrowdFlower, около 60% специалистов по работе с данными тратят большую часть времени на подготовку, очистку и организацию данных, а не на анализ. В результате бизнес получает ответы через несколько дней после появления вопроса и может принимать решения на основе уже устаревшей информации.

Разрозненные источники данных. Информация хранится не в одном месте: системы по управлению взаимоотношениями с клиентами (CRM) хранят информацию о клиентах, сервисы по управлению предприятием (ERP) — о финансах, кол-центр — записи разговоров, сайт — действия пользователей. Без единой аналитической среды приходится вручную объединять данные из разных источников и приводить их в общий формат. Это может занять много времени и сил.

Сложное масштабирование инфраструктуры. При росте объемов данных компании с собственной инфраструктурой (on-premise) вынуждены покупать дополнительное оборудование. Процесс требует времени и затрат, а часть ресурсов может оставаться незадействованной после прохождения пиковых нагрузок.

На практике проблема выглядит так: ритейлер замечает снижение маржи. Пока аналитики собирают данные из кассовой системы, CRM и логистики, проходит несколько дней. Причину — например, ошибку в ценах на промо-товары — находят уже после завершения акции, когда бизнес потерял часть дохода.

Аналитика с использованием ИИ стала одним из ключевых направлений развития корпоративных систем за последние годы. По данным Ассоциации больших данных, Б1 и TAdviser, сегмент аналитического ПО (BI, EPM, ИИ-платформы) показал рост на 39% за 2023–2024 годы. Общий объем российского рынка больших данных и ИИ в 2024 году составил 433 млрд рублей с ежегодными темпами роста 25–35%. За этим последовали изменения. 

Появились NL2SQL-инструменты — технологии перевода вопросов с естественного языка в запросы к базе данных (Natural Language to SQL, NL2SQL). Пользователь формулирует вопрос обычным языком и получает ответ в виде таблицы, графика или готового аналитического вывода без самостоятельного написания SQL-запросов.

BI-системы стали работать с данными в реальном времени. Решения принимаются на основе актуальной информации: продаж, остатков товаров и поведения пользователей на сайте.

Из звонков начали извлекать больше данных. По данным группы компаний «Маркет», опубликованных на РБК, в большинстве компаний при ручной проверке продаж анализируется не более 20–30% разговоров, до половины из них — нерелевантные, что не позволяет получить полную картину качества продаж. ИИ-аналитика позволяет технически обрабатывать 100% звонков, автоматически расшифровывая их и анализируя содержание. Однако точность распознавания и анализа зависит от качества аудиозаписей, наличия шумов, акцентов и сложности сценариев общения. На практике это позволяет значительно расширить охват по сравнению с ручной проверкой, но требует контроля качества работы моделей. 

ML-модели стали частью процессов обработки данных. Прогноз оттока, поиск аномалий и классификация обращений работают прямо в потоке обработки данных, а не отдельным исследовательским проектом.

Приведенное сравнение отражает типичные, но не универсальные сценарии. On-premise-инфраструктура также может использовать современные инструменты автоматизации, контейнеризацию и ИИ-решения. Облачные сервисы, в свою очередь, требуют компетенций по настройке сетей, управлению доступом и оптимизации затрат — иначе выгоды от масштабирования могут не проявиться. Многие компании выбирают гибридный подход: чувствительные данные и критичные системы оставляют на своей инфраструктуре, а для аналитических и экспериментальных задач используют облачные мощности. Итоговый выбор зависит от регуляторных требований, бюджета и уровня зрелости ИТ-команды. 

Современный стек собирается из трех слоев: данные попадают в хранилище, затем обрабатываются и обогащаются, а на выходе превращаются в дашборды и ответы на вопросы. Разберем каждый уровень и рассмотрим, какие облачные сервисы помогают его реализовать.

Слой 1 — сбор и хранение (Data Layer)

Бизнес получает данные из разных источников: транзакций, логов приложений, интернета вещей (Internet of Things, IoT), звонков, чатов и CRM-систем.

• Для потоковой передачи больших объемов данных используют Apache Kafka — распределенную платформу потоковой передачи (streaming platform) с хранением событий на диске, оптимизированную для высокой пропускной способности (до ~1 млн сообщений/сек). 

• Для традиционной маршрутизации сообщений между микросервисами с гибкой логикой доставки подходит RabbitMQ — брокер сообщений (message broker) с поддержкой сложных маршрутов и push-модели . Эти системы решают разные задачи и могут использоваться совместно в одном стеке. 

После сбора данные попадают в озеро данных (Data Lake) — хранилище исходной информации в разных форматах — или в хранилище данных (Data Warehouse, DWH) со структурой для отчетности. На практике компании часто используют оба подхода: 

• Data Lake — хранилище сырых данных в исходных форматах (структурированные, полуструктурированные, неструктурированные данные) — подходит для ML-задач и долгосрочного хранения. 

• Data Warehouse — структурированное хранилище с четкой схемой (например, звезда или снежинка), оптимизированное для BI-отчетности и аналитических запросов. На практике компании часто используют оба подхода совместно (озеро данных + витрины).

Для быстрых аналитических запросов применяются колоночные СУБД. Например, ClickHouse хранит данные по столбцам и обрабатывает только нужные части таблицы, что ускоряет сложные расчеты на больших объемах информации.

В облаке этот уровень можно реализовать с помощью управляемых сервисов Cloud.ru:

• Evolution Object Storage для хранения объектов.

• Evolution Managed ClickHouse для аналитических запросов.

• Evolution Managed ArenadataDB для построения корпоративного хранилища данных.

Слой 2 — обработка и обогащение (Processing Layer)

После сбора данные очищают, объединяют и подготавливают для анализа. Исторические данные обрабатываются пакетно (batch), а потоковые — в режиме реального времени с помощью Kafka и Apache Flink. После сбора данные проходят через ETL- и ELT-процессы: 

• ETL (Extract, Transform, Load) преобразует данные до загрузки в хранилище — на промежуточном сервере, что удобно для относительно небольших объемов и строгих требований к качеству. 

• ELT (Extract, Load, Transform) загружает сырые данные как есть, а преобразования выполняются уже внутри целевой системы (например, через dbt или прямо в ClickHouse). Это более современный подход: он быстрее, проще масштабируется и не требует заранее продумывать все сценарии использования. 

На практике ELT все чаще вытесняет классический ETL, особенно в облачных архитектурах. 

На этом же этапе подключаются модели ML. Они могут прогнозировать отток клиентов, находить аномалии в транзакциях или автоматически дополнять данные еще до их передачи в аналитические системы.

Например, клиенты Cloud.ru могут хранить данные в Evolution Object Storage, обрабатывать их в Evolution Managed Spark, а через Evolution Managed Trino выполнять SQL-запросы сразу к нескольким источникам без копирования данных. При этом поддержку инфраструктуры, обновления и обеспечение отказоустойчивости берет на себя облачный провайдер.

Слой 3 — интерфейс и инсайты (Insight Layer)

Верхний слой — то, с чем работают люди. Классические BI-дашборды остаются инструментом аналитиков. Пользователям стал доступен GenBI (Generative Business Intelligence) — ИИ-ассистент для работы с данными на естественном языке, который отвечает на вопросы к данным без SQL. Речевая аналитика превращает звонки в структурированные метрики, а операционные дашборды реального времени обновляются за секунды. Три последних сценария разберем подробнее.

Каждый разговор с клиентом содержит информацию о качестве обслуживания, причинах отказов и ожиданиях покупателей. Однако вручную проанализировать тысячи звонков невозможно.

Почему звонки — это неструктурированные Big Data

Кол-центр из 50 операторов может обрабатывать более 1000 звонков в день. Прослушать такой объем вручную невозможно, поэтому проверяют небольшую часть разговоров. Из-за этого есть риск не заметить причины отказов, нарушения скриптов, признаки недовольства клиентов и удачные приемы продаж.

Речевая аналитика с использованием ИИ автоматически расшифровывает все разговоры, определяет темы, оценивает тональность и выявляет отклонения. Например, система может быстро обнаружить рост числа жалоб на доставку в конкретном регионе и обратить на это внимание руководителя.

Как работает решение Cloud.ru для речевой аналитики

Решение Cloud.ru для речевой аналитики автоматически анализирует 100% звонков и переписок без ручной проверки. Система расшифровывает диалоги, оценивает соблюдение скриптов и регламентов, определяет тему обращения, тональность разговора и помогает выявлять типовые проблемы и точки роста.

При интеграции с CRM и телефонией результаты анализа автоматически добавляются в карточку клиента. Руководитель получает дашборды с динамикой обращений, статистикой по соблюдению скриптов и показателями качества работы операторов. Записи разговоров и их расшифровки хранятся в инфраструктуре Cloud.ru в соответствии с требованиями 152-ФЗ.

Аналитика с помощью ИИ меняет и то, как сотрудники получают ответы на вопросы. Сначала о том, почему классическая схема «запрос аналитику — ответ через три дня» перестала устраивать бизнес.

Проблема, которую решает GenBI

Команда аналитиков успевает обработать 5-10 запросов в день, время ответа — от одного до трех дней. Дашборды не спасают: они закрывают типовые вопросы, но бессильны перед ситуативными. Написать запрос самостоятельно большинство бизнес-пользователей не может: SQL остается барьером между людьми и данными.

Как работает GenBI

GenBI от Cloud.ru — это виртуальный помощник для мгновенного доступа к сведениям организации. Пользователь задает вопрос на естественном языке, а GenBI автоматически преобразует его в SQL-запрос, выполняет его и показывает результат в виде таблицы или графика. Решение работает с существующими базами данных (БД), включая PostgreSQL, ClickHouse и Microsoft SQL Server (MS SQL).

Ролевая модель доступа ограничивает просмотр сведений в соответствии с правами пользователя. Например, руководитель одного филиала не сможет получить информацию по другому. По оценке Cloud.ru, использование GenBI позволяет автоматизировать значительную часть типовых запросов, сокращая рутинную нагрузку на команду аналитиков и высвобождая время для решения более сложных задач . Конкретные результаты зависят от объема, структуры данных компании и сложности запросов. 

Аналитика в реальном времени (Real-time BI) помогает принимать решения на основе актуальных данных с минимальной задержкой — от долей секунды до нескольких секунд. Это важно в процессах, где даже небольшая задержка может привести к финансовым потерям.

Когда время имеет значение

Во время промоакции важно сразу видеть, как меняются продажи, остатки и поведение покупателей. Это позволяет вовремя скорректировать цены или ассортимент. В логистике и финансах цена задержки еще выше: подозрительную операцию нужно обнаружить до того, как транзакция будет завершена.

Техническая основа real-time-стека

События поступают через Kafka, обрабатываются в реальном времени с помощью Apache Flink или Spark Streaming, а затем результаты сохраняются в ClickHouse для визуализации и быстрого анализа. Система обновляет показатели, отправляет уведомления и при необходимости запускает модели машинного обучения. Такой подход позволяет получать результаты быстрее по сравнению с пакетной обработкой данных.

Решение Cloud.ru — аналитика продаж в реальном времени

Не стоит собирать сразу весь стек. Бизнес-аналитика с использованием ИИ внедряется постепенно — начиная со сценария, который быстрее окупится. Матрица ниже поможет сопоставить задачу и инструмент.

По мере развития аналитической системы отдельные решения можно объединить в единый стек: подключить новые источники данных, автоматизировать обработку информации и добавить инструменты ИИ для разных категорий пользователей.

Что такое аналитический стек и из чего он состоит?

Это набор инструментов для работы с данными: слой хранения (объектное хранилище, СУБД), слой обработки (ETL, Spark, Flink) и слой интерфейсов (BI-дашборды, ИИ-ассистенты).

Чем ClickHouse отличается от PostgreSQL для аналитики?

ClickHouse — колоночная СУБД, оптимизированная для OLAP-нагрузок (Online Analytical Processing): аналитических запросов, агрегаций и сканирования больших таблиц. PostgreSQL — классическая реляционная СУБД, спроектированная для OLTP (Online Transaction Processing) с поддержкой ACID-транзакций. Однако современные версии PostgreSQL (15+) с расширениями (TimescaleDB, Citus Data) также используются для аналитики в некоторых сценариях. В enterprise-архитектуре эти системы часто комбинируют: PostgreSQL — для операционных данных, ClickHouse — для высоконагруженной аналитики. 

Что такое NL2SQL и как это работает?

NL2SQL — технология, использующая большие языковые модели (LLM) для семантического анализа вопроса на естественном языке и генерации SQL-запроса. Точность преобразования зависит от сложности запроса, структуры базы данных и качества обучения модели. Согласно исследованиям, точность NL2SQL-систем на сложных базах данных может составлять от 50% до 90% в зависимости от модели и сценария. Даже современные модели показывают снижение точности на 10–20% при переформулировке запроса. Это активно развивающаяся область, требующая контроля качества генерации. 

Сколько стоит речевая аналитика для кол-центра?

Стоимость зависит от объема звонкового трафика и набора метрик. Точный расчет команда Cloud.ru готовит по заявке на странице решения.

Можно ли подключить BI-инструмент к текущей базе без переноса данных?

Да. Например, GenBI Cloud.ru подключается к PostgreSQL, ClickHouse и MS SQL напрямую, миграция не требуется.

Как обеспечить соответствие 152-ФЗ при работе с данными клиентов?

Размещать данные у провайдера с аттестацией по 152-ФЗ. Инфраструктура Cloud.ru Evolution имеет аттестат соответствия требованиям безопасности при обработке персональных данных согласно 152-ФЗ (УЗ-1 — высший уровень защищенности). Это позволяет размещать и обрабатывать в облаке персональные данные любой категории. При этом важно помнить, что для полного соответствия 152-ФЗ необходимо заключить соответствующий договор на обработку персональных данных и обеспечить комплекс организационных мер. 

Что такое real-time-аналитика и когда она нужна бизнесу?

Это обработка данных в реальном времени, которая востребована в задачах, где информация быстро теряет актуальность: при проведении промоакций, обнаружении мошеннических операций, работе рекомендательных сервисов и управлении логистикой.

Чем GenBI отличается от BI-дашборда?

Дашборд отвечает на заранее настроенные вопросы, GenBI — на произвольные. Новый вопрос не требует доработки отчета силами аналитика.

Сколько времени занимает внедрение аналитического стека в облаке?

Развертывание отдельных управляемых сервисов может занять от нескольких часов до нескольких дней. Полноценный пилотный проект с интеграцией в существующие системы, настройкой прав доступа и обучением пользователей обычно занимает от 1 до 3 месяцев в зависимости от сложности и количества источников данных. 

Нужен ли штатный дата-инженер для облачных аналитических решений?

Не всегда. На старте управляемые сервисы обеспечивают настройку, обновления и отказоустойчивость, а GenBI помогает решать часть аналитических задач без привлечения технических специалистов.