Почему для Yandex DataLens нужен ClickHouse?

DataLens работает с разными источниками с возможностью объединения данных. В этом материале расскажем про один из наиболее популярных источников — сервис ClickHouse. Поговорим о том, как и откуда загружать данные, каким компаниям подходит данный инструмент и почему сочетание ClickHouse + Yandex DataLens одно из самых популярных для бизнес-аналитики.

Что такое Yandex DataLens?

DataLens — это сервис визуализации данных, применяемый как для обычного анализа данных, так и для решения задач WEB и бизнес-аналитики. С помощью DataLens можно не только строить диаграммы и графики, но и объединять их с данными из разных источников и создавать пользовательские дашборды. DataLens входит в инфраструктуру Yandex.Cloud (Яндекс.Облако).

Чем привлекателен Yandex DataLens?

Во-первых, сервис DataLens, как инструмент визуализации данных, предоставляется бесплатно, без ограничений по количеству пользователей и запросов.

Во-вторых, WEB ориентирован и не требует установки дополнительного программного обеспечения на компьютерах пользователей. DataLens поддерживает совместную работу с аналитикой внутри команды, с партнёрами или заказчиками.

В-третьих, DataLens прост в освоении и одинаково подходит как для офисного, так и для удаленного режима работы.

Также не маловажно, что DataLens внесён в реестр отечественного ПО и соответствует российским и международным стандартам безопасности (ФЗ-152 о защите персональных данных).

Источники данных для Yandex DataLens

DataLens работает с разными источниками с возможностью объединения данных, например: ClickHouse, PostgreSQL, Greenplum, MySQL, Oracle DB, YDB, Google Sheets, Яндекс Метрика, Yandex AppMetrica.

И это не полный список, дополнительные коннекторы доступны в Yandex Cloud Marketplace.(https://cloud.yandex.ru/marketplace)

Зачем Yandex DataLens использует ClickHouse?

ClickHouse — быстрая аналитическая База данных. Также это инструмент для структурирования в виде колонок аналитических данных, с использованием SQL-запросов в реальном времени. Здесь удобно агрегировать информацию, которая собирается из разных, в том числе распределенных, систем. Сервис доступен всему миру как Open Source.

ClickHouse является сервисом Yandex Cloud, поэтому развернуть его можно в несколько кликов. Стоимость рассчитывается в зависимости от платформы виртуальной машины, типа жесткого диска, размера хранилища и других параметров. Существует возможность остановки ресурсов, что позволяет дополнительно экономить бюджет в случае необходимости.

Таким образом, ClickHouse можно назвать витриной ваших данных. На основе такой витрины будут построены все дашборды с мгновенным отображением визуализаций в DataLens.

Как появился ClickHouse?

ClickHouse изначально разрабатывался для обеспечения работы Яндекс.Метрики, второй крупнейшей в мире платформы для веб аналитики, и продолжает быть её ключевым компонентом.

Первый прототип ClickHouse появился в 2009 году. На апрель 2014года в Яндекс.Метрику поступало около 12 миллиардов событий (показов страниц и кликов мыши) ежедневно.

Какие задачи решает ClickHouse?

ClickHouse изначально создан для решения практических задач, в частности используется для:

• построение отчётов в режиме онлайн по агрегированным и неагрегированным данным;
• для обработки промежуточных данных;
• для построения глобальных отчётов аналитиками;
• для анализа логов работы API и пользовательского интерфейса.

ClickHouse позволяет выполнять аналитические запросы в интерактивном режиме по данным, обновляемым в реальном времени. Система способна масштабироваться до десятков триллионов записей и петабайт хранимых данных.

Как и откуда загружать данные в ClickHouse?

ClickHouse должен стать единым и основным подготовленным хранилищем данных для подключения в DataLens. Для этого данные необходимо загружать в ClickHouse единовременно или на периодической основе из разных источников и разными средствами загрузки.

Например, можно воспользоваться встроенными функциями сервиса Yandex Managed Service for ClickHouse. Данный инструмент позволяет визуализировать структуру данных на вашем ClickHouse-кластере и отправлять SQL-запросы к базам из консоли управления Yandex Cloud.

Также можно использовать готовые инструменты для интеграции, загруженные из Yandex Marketplace или разработать самописный инструмент для интеграции источников данных в ClickHouse.

Каким компаниям подходит ClickHouse?

Сервис ClickHouse создан прежде всего для вычисления аналитических функций и хранения большого объема данных, а значит отлично подходит для бизнеса, где на периодической основе требуется следить за пользовательской активностью во внутренних системах. Это может быть генерация кликов, регистрация и исполнение задач, создание финансовых проводок и т.д.

В настоящее время многие компании успешно используют ClickHouse, в том числе: Cloudflare, Bloomberg, ВКонтакте, Rambler, Тинькофф банк, NIC Labs Chile, Amadeus, Avito.ru, Criteo, ContentSquare, СМИ2, ivi.ru, Mail.ru, Adtelligent, Carto, Lifestreet, Infinidat, SemRush и др.

Удачное сочетание: ClickHouse + Yandex DataLens

Эксперты IT компании «Ёлва» в ходе анализа пришли к выводу, что связка ClickHouse + DataLens — особо удачное сочетание для бизнес-аналитики и вот почему:

• Наличие бесплатного сервиса визуализации данных DataLens.
• У конечного пользователя есть возможность самостоятельно создавать и настраивать Дашборды, Графики, Таблицы.
• Возможность использовать в качестве источника данных множество внешних хранилищ и баз данных.
• Облачная инфраструктура: не требуется приобретение и установка серверного оборудования, а также последующая эксплуатация.
• Линейное масштабирование и почти безграничный размер кластера для хранения больших данных.
• Гибкое ценообразование — платите только за то, чем пользуетесь.

Если хотите узнать подробнее о системе бизнес-аналитики Yandex DataLens или заказать индивидуальное демо для вашей отрасли, свяжитесь с нами по почте request@yolva-it.ru

#BI#ClickHouse#Cloud#DataLens#DB