Данные за вчера доступны аналитикам уже на следующий день после миграции
Как крупный онлайн-сервис доставки перенес 40 ТБ данных в облако без остановки аналитических процессов и ускорил подготовку отчетов.
Купер — онлайн-сервис доставки товаров, продуктов и готовой еды из магазинов и ресторанов. Работает в 360 городах России, обслуживая миллионы заказов.
Задача
Повысить производительность корпоративного хранилища и перенести 40 ТБ критически важных данных из другого облака без остановки аналитических процессов.
Решение
Развернули СУБД в сервисе Evolution Managed ArenadataDB и перенесли 40 ТБ данных без простоев. Отчетность стала готовиться быстрее, а платформа — масштабироваться под рост нагрузки.
Задача
Подобрать подходящую управляемую СУБД в облаке, аналогичную Greenplum, с возможностью подключения к внешним источникам. Перед миграцией в новое облако провести нагрузочное тестирование на клиентских запросах, чтобы подтвердить уровень производительности в новой инсталляции. Перенести из облака в облако 40 ТБ сырых бизнес-критичных данных вместе с дев-контуром, с которым работают аналитики и разработчики Купера. Перенос данных должен произойти без остановки аналитических процессов.
Почему Cloud.ru
Провайдер предложил аналитическую базу данных на базе решения с открытым исходным кодом Greenplum. Также Купер оценил техническую поддержку и скорость реагирования на запросы со стороны команды Cloud.ru во время нагрузочного тестирования.
Миграция нашей инфраструктуры значительно усилила нашу аналитическую платформу. Сейчас масштабируемость платформы позволяет без сбоев обрабатывать любые объемы данных для бесперебойной работы бизнеса. Результаты полностью оправдали ожидания — мы довольны производительностью и гибкостью новой среды, что дает толчок для дальнейшего развития.
Решение
Специалисты облачного провайдера развернули СУБД в сервисе Evolution Managed ArenadataDB на платформе Cloud.ru Evolution. В этой версии клиент может конфигурировать и деликатно настраивать кластер, мониторить текущие запросы с анализом скорости их исполнения, работать с удобными инструментами бэкапирования и восстановления, а также пользоваться базой знаний по сервису и получать круглосуточную вендорскую поддержку.
Для оценки производительности СУБД в сервисе Evolution Managed Arenadata DB проведено нагрузочное тестирование на собственных аналитических (OLAP) запросах Купера. В рамках пилота команда Cloud.ru сделала следующее:
развернула отказоустойчивую конфигурацию Managed ArendataDB, способную выдержать высокие нагрузки, и настроила пайплайн миграции данных;
настроила несколько PXF-подключений к внешним источникам данных, что позволило выполнять аналитические запросы к данным, расположенным за пределами основной СУБД;
оптимизировала параметры использования памяти для работы с внешними источниками, чтобы корректно обрабатывать крупные клиентские запросы без потери данных;
установила и настроила необходимые кастомные JDBC-драйверы, которых нет в стандартной поставке ADB.
Результаты пилотного проекта получились следующие:
проведен полный цикл настройки кластера СУБД от создания и конфигурирования под нагрузку клиента до деликатных тюнингов системы для оптимизации производительности работы запросов;
настроены коннекторы и механизмы доступа к внешним данным из нескольких источников;
настроены auto-vacuum и auto-analyze — механизмы автоматического обслуживания СУБД, позволяющие поддерживать устойчивую работу инфраструктуры при высокой аналитической нагрузке.
Результат
Купер без остановки процессов перенес в облако Cloud.ru 40 ТБ данных и тестовый контур, с которым работают аналитики и разработчики. Инфраструктура, развернутая с сервисом Evolution Managed ArenadataDB, работает в режиме T-1, когда данные за вчера доступны на следующий день — это позволяет обеспечивать управленческую отчетность и ad-hoc аналитику быстрее.
Миграция в облако Cloud.ru ускорила выполнение запросов, увеличила прозрачность работы с данными и позволила гибко масштабироваться под рост запросов.
"Купер" — компания со зрелыми ИТ-процессами, поэтому перед нами стояла задача не просто провести миграцию, но и ускорить подготовки аналитики, не допустив при этом роста операционных затрат. Теперь команда может сфокусироваться на развитии сервиса, а не на доработке инфраструктуры. Кроме того, миграция в облако впоследствии позволит бесшовно интегрировать в работу новые решения в области ИИ и машинного обучения.
Планы
Органический рост данных со временем увеличит нагрузку на аналитическую инфраструктуру — эту задачу Купер рассчитывает решить с управляемым и масштабируемым решением в облаке Cloud.ru. Также в планах оптимизировать время сохранения бэкапов и настроить архивацию данных.