Аналитика данных в облаке

Потому что в облаке не придется планировать ресурсы с запасом и тратить время на их ожидание: все ресурсы доступны сразу, их можно нарастить в любой момент и оплачивать по факту потребления. В облаке многие привычные инструменты доступны в виде управляемых сервисов — это снижает время на ввод платформы данных в эксплуатацию и сокращает затраты на ее администрирование.

Да. Задача собирать и анализировать данных стоит, как правило, перед всеми компаниями. Разница в том, что объемы этих данных у небольших компаний меньше, а требования к инструментам и скорости обработки данных ниже.

В облаке есть все, чтобы компания любого размера могла построить платформу данных, которая отвечает ее ожиданиям. Но используемые технологии у крупных и небольших компаний будут разными. Например, для небольших компаний вполне подойдет КХД на базе PostgreSQL, в то время как для крупных организаций с большим объемом данных необходим специализированный сервис Data Warehouse Service.

Начать работу с данными в облаке можно с минимальными ресурсами и наращивать их по мере развития платформы. Практически все управляемые облачные сервисы для работы с данными поддерживают масштабирование:

• вертикальное — увеличение количества вычислительных ресурсов;

• горизонтальное – увеличение количества серверов в кластерах;

• хранилище – увеличение объема хранения без изменения мощности вычислений.

Использовать встроенные в облако инструменты автоматизации или интегрировать облачные сервисы через API или SDK в имеющиеся внешние конвейеры работы с данными.

В облаке не надо закупать оборудование, думать про отказоустойчивость на физическом уровне и настраивать инструменты самостоятельно. Вместо этого платформа данных собирается из готовых элементов: хранилищ данных, КДХ и т. д. Возможно, набор инструментов в обоих случаях будет использоваться одинаковый, но затраты на их запуск и поддержку в облаке будут отличаться.

Да, если построить гибридную платформу данных, в которой используются облачные сервисы и инструменты, которые компания разворачивает и администрирует самостоятельно. Гибридную платформу подключают к облаку по оптике. При этом каждая компания сама решает, как разделить платформу на облачную и собственную части:

• вынести только архивные данные в облако и подключить их к собственным сервисам;

• хранить данные на собственной инфраструктуре, а обрабатывать в облаке;

• публичные данные хранить и обрабатывать в облаке, а конфиденциальные — на собственной инфраструктуре.

Оптимизировать затраты помогут несколько решений:

• использовать подходящие типы хранилищ для различных данных;

• использовать разные классы хранения данных в объектном хранилище;

• автоматически масштабировать сервисы по мере изменения нагрузки;

• пересматривать вычислительные мощности по мере роста объема обрабатываемых данных и отказываться от простаивающих ресурсов.