Подпишитесь, чтобы получать новые статьи
ПодписатьсяМатериал поможет вам оценить затраты на проект по внедрению BI-аналитики Yandex DataLens. Непосредственно сам инструмент — бесплатный, однако в зависимости от потребностей бизнеса и архитектуры проекта, может понадобиться подключение определённых сервисов. В этой статье расскажем о наиболее популярных на наш взгляд примерах архитектуры и о том, как рассчитать стоимость проекта.
«Если правильно объяснить людям «зачем», они всегда найдут способ “как”.» — Джордан Белфорт
Рассмотрим разработку архитектуры на основе двух типовых кейсов.
Условная компания «Tech Evolution» занимается производством и дистрибьюцией оборудования по всему миру. Для генерального директора компании поиск данных для обработки и анализа был ежедневной рутинной, которая отнимала много рабочего времени. Он обратился в ИТ-компанию «Ёлва» для оптимизации данного процесса.
Чтобы решить задачу заказчика, наша команда приступила к реализации BI-приложения в инструменте визуализации данных Yandex DataLens. На первом этапе необходимо собрать и проанализировать требования.
Вопросы, которые интересуют заказчика для анализа динамики роста компании, подразделяются на два типа:
- Общие, такие как: идет ли рост прибыли за определенный промежуток времени относительно прошлого? Каковы продажи, насколько прибыльна компания? Сравнение плановых и фактических показателей.
- Более конкретные, например, время от времени заказчик хочет детально анализировать клиентов компании, объемы продаж менеджеров и перспективные страны для дистрибьюции.
Архитектура проекта для типовой компании на основе PostgreSQL
В первом кейсе рассмотрим в качестве источника данных компании только свободную объектно-реляционную систему управления базами данных — PostgreSQL, в которой собираются все данные о клиентах, заказах, продуктах, менеджерах, транспортировке и остальных деталях.
После этапа анализа и проектирования необходимо разработать наиболее оптимизированную архитектуру подключения Yandex DataLens к базе данных PostgreSQL для быстрой и корректной обработки данных.
Рис. 1. Архитектура сервисов подключения DataLens к реляционной БД
Если в качестве источника используется реляционная база данных, например, PostgreSQL или MySQL, то необходимо включить в архитектуру управляемый сервис — Storage (хранилище данных), а с помощью сервиса DataTransfer производить копирование и реплицирование. DataTransfer используется в качестве Transport/ETL инструмента, то есть с помощью этого сервиса выполняется первоначальное копирование всей базы данных заказчика в Yandex Cloud, благодаря чему возможно практически мгновенно производить корректирование облачной базы новыми или изменёнными данными. Далее при помощи простого интеграционного движка все собранные и обработанные данные отправляются в систему управления базами данных для выполнения аналитических запросов ClickHouse с последующей визуализацией в DataLens.
Переходим к самому интересному и важному этапу — ценообразование. Стоимость данного проекта была вычислена с помощью онлайн- калькулятора тарификации Yandex Cloud. В YandexCloud можно быстро и легко просчитать различные варианты наборов ресурсов для конкретной архитектуры. Платите только за используемые сервисы и резервируйте определенные объемы на 1 или 3 года.
Необходимо обязательно сбросить все выборы сервисов (см. рис. 2)
Рис. 2. Калькулятор прозрачного ценообразования
Так как используется управляемое хранилище PostgreSQL для вычислений и обработки данных, для дальнейшего хода проекта мы выбрали соответственный сервис. Следующий этап: обязательный выбор класса хоста, который определяет вычислительные мощности. Для нашего кейса достаточно средней мощности качественного «s2.medium (vCPU 8 cores / Память 32 Гб)». Выбор размера хранилища зависит от количества и веса записей в базе данных. Мы указываем «network-ssd» размером 1 Тб. Результат расчета стоимость представлен на рисунке 3.
Рис. 3. Расчет стоимости PostgreSQL в качестве хранилища
В разработанной типовой архитектуре сервисы DataTransfer и Yandex DataLens не тарифицируются. Оба продукта являются полностью бесплатными и открытыми. Поэтому, чтобы рассчитать итоговую стоимость, осталось добавить в стоимость ClickHouse. При выборе данного ресурса основные настройки автоматически переносятся, необходимо лишь выбрать объем хранилища также равный 1 Тб, исходя из данных базы компании «Tech Evolution». Общая стоимость расходов для архитектуры в месяц представлена на рисунке 4.
Рис. 4. Расчет общей стоимости реализации архитектуры первого кейса
Архитектура BI-приложения на основе BigData
Во втором кейсе усложним разработанную архитектуру дополнительными источниками данных. Заказчик решил, что хочет анализировать данные не только собранные в PostgreSQL, но также из базы корпоративных приложений Database Business Systems, к которой можно подключиться через Java DataBase Connectivity (JDBC) или Open Database Connectivity (ODBC) и Web-services API. Таким образом, на первом этапе архитектуры имеются 3 массивных источника, а это значит, что работа осуществляется с большими данными.
В качестве Storage (хранилища) будем использовать аналитическую колоночную массивно-параллельную СУБД — Greenplum, предназначенную для сложной аналитики по большим объёмам данных. Как и в первом кейсе для миграции данных из PostgreSQL используем DataTransfer, а для новых источников необходимо добавить и настроить Apache Kafka, чтобы реплицировать данные в общее хранилище. Усложненная дополнительными источниками архитектура представлена на рисунке 5.
Рис. 5. Усложненная архитектура для реализации второго кейса
В связи с тем, что во втором кейсе идет работа с BigData, стоимость архитектуры в месяц увеличится (см. рис 6). Для расчета ценообразования выбираем только тарифицируемые сервисы: ClickHouse и Greenplum. Настройки повторяем из первого кейса: класс хоста — s2.medium, размер хранилища = 1 Тб. Итоговая стоимость расходов для архитектуры в месяц представлена на рисунке 6.
Рис. 6. Ценообразование реализации второго кейса
Специалисты «Ёлва» готовы не только ответить на любые вопросы, но и провести индивидуальное демо для вашей компании. Свяжитесь с нами по почте: request@yolva-it.ru
Добавить комментарий