Visiology или Apache Superset. Какое решение оптимально подходит для потребностей вашего бизнеса?

О системах

Visiology

Платформа появилась в 2016 году, в момент своего старта она была ориентирована в первую очередь на корпорации, нуждающейся в хранении чувствительных данных именно отечественному решению — госсектор и другие компании, обладающие чувствительными данными, а также компании которым запрещено было пользоваться зарубежными платформами хранения данных и программным обеспечением, которые отображают BI-отчеты.

Visiology —это целая экосистема продуктов, помимо самой аналитической платформы, в коробку также входят уже встроенные продукты, такие как:

• Smart Forms (умные формы), которые позволяют вводить данные напрямую во внутреннее хранилище системы.
• аналитическая база vCube 2.0 (для исключения потребности арендовать какие-то дополнительные ресурсы/ аналитические хранилища)
• инструмент для ETL-обработки, vExtract, в случае использования каких-то сложных обработок или неоднозначных источников.
• умный бот (VTolk), который готов проконсультировать по вопросам относительно данных, которые отображаются на дашбордах

Apache SuperSеt

Решение было создано в рамках одного из хакатонок в 2017 году. Основателем решения является Максим Башмин и компания Airbnb.

Apache SuperSеt — это не совсем BI-система, это открытое программное обеспечение для исследования и визуализации данных, ориентированное в первую очередь на большие данные. Распространение в мире SuperSet получил из-за бесплатности лицензии.

В России SuperSet стал распространяться в двух направлениях:

• SuperSet стали использовать технологические компании, где много высококвалифицированных IT-специалистов, способных его поддерживать.
• второе направление — это госкомпании, у которой были условия на открытость ПО и отсутствие оплаты лицензий.

Примечателен тот факт, что на сегодня создатель SuperSet Максим Башмин основал компанию Preset, которая представляет облачное решение SuperSet для компаний, у которых нет ресурсов на развертывание и поддержку системы.

Поддержка вендора

Visiology

Так как Visiology это коммерческий продукт, у него есть вполне конкретная команда разработки, которая анонсирует все будущие релизы, оказывает качественную поддержку по продукту:

• Клиентам всегда доступна поддержка в мессенджере
• Есть портал поддержки, где можно создать тикет по проблеме или вопросу
•  При возникновении критических проблем команда разработки предоставляет конкретный функциональный элемент или доработку
• Поддержка открыта для любого рода предложений по улучшению продукта.

Основной момент, касаемые поддержки, это понятный roadmap развития.

• Roadmap на 2023 год был полностью реализован, новые релизы выходили каждые 2-3 месяца.
• Сейчас доступен roadmap на 2024 год, который можно посмотреть на сайте Visiology и ознакомиться с функционалом, который скоро будет добавлен в платформу.

Apache SuperSеt

У superset нет самого вендора, то есть официальной поддержки – нет, и ответственность за работу платформы полностью ложится на сотрудников компании-интегратора или саму компанию, если она устанавливает superset самостоятельно.

Продукт развивается, происходит обновление функционала, устранение багов, но часть компаний сталкивается с проблемой, что при обновлении или добавлении новых фич ломается старый функционал и так как это open source, приходится либо ждать исправления этого функционала, либо править все самим.

По поводу roadmap, планы развития superset в GitHub существуют, но в реальности достаточно сложно понять, что и когда будет реализовано.

Функционал решения

Visiology

Помимо основного назначения системы Visiology, разработка аналитических отчетов, в системе есть много дополнительного функционала, который поставляется прямо из коробки в рамках единой рецензии и упрощает работу с отчетностью, с BI-платформой:

• возможность мониторинга ресурсов сервера. (возможность промониторить проблему путем отслеживания загрузки ресурсов)
• функционал автоматической рассылки отчетов на электронную почту
• внутреннее аналитическое хранилище (позволяет снять нагрузку с источника и избавляет от необходимости развертывание настройки и подготовки аналитического хранилища отдельно от самой платформы)
• селф-сервис (для обеспечения более понятной работы с особенностями конкретного хранилища)
• при работе с не структурированными/ не оцифрованными данными, система поддерживает функционал ручного ввода данных напрямую в аналитическое хранилище при помощи умных форм.

Apache SuperSеt

Superset обладает хорошим базовым функционалом – это самая распространенная визуализация, агрегационные метрики и простые системы фильтров. Однако, если нужно что-то более сложное, то здесь могут возникнуть некоторые моменты.

Наиболее часто встречаемые проблемы:

• расчетные метрики.

В SuperSеt есть опция стандартных агрегационных метрик — это количество, сумма, минимальное, максимальное, ну и так далее.

• отображения данных без временных шкал.

Superset был полностью ориентирован на то, что у данных всегда есть временные метки.

• отсутствие внутреннего аналитического хранилища,

Необходимо реализовать не только хранилище, но и весь механизм ETL с очисткой и переподготовкой данных.

• системы логирования и продвинутого мониторинга технического состояния сервера в Superset — отсутствует, но есть система мониторинга данных и система простых алертов.
• Рассылки отчетов на почту пока – нет, но планируется в будущих реализациях.

Локализация для русского языка

Visiology

Visiology не требует локализация, потому что сам продукт был первоначально создан в России на русском языке.

Apache SuperSеt

SuperSеt — это англоговорящее решение и полной локализации продукта не существует.

Интеграторы делают локализацию продукта, но чаще всего встречается микс вариант, что часть пунктов на русском, часть на английском (общеупотребимые термины).

Также есть серьезная проблема коммуникации сообщества, русскоговорящее сообщество не такое большое и в случае возникновения вопросов придётся общаться на английском языке + часто бывает разрыв по часовому поясу. (В России есть отдельный Telegram чат)

И еще одна из проблем с локализацией, это использование геокарт, стандартные геокарты, которые есть в superset — это Россия без новых территорий.

Self-service

Visiology

Большая часть функционала Visiology настраивается в интуитивно понятном интерфейсе.

Благодаря тому, что в системе имеется встроенное аналитическое хранилище, дашборды обладают высокой скоростью построения и перестроение при выборе какой-либо фильтрации.

Для подготовки/разработки дашбордов по умолчанию в системе доступен набор визуализации, на который можно кликнуть и прямо в интерфейсе дракендропом вывести на визуализацию необходимые поля.

Также в системе присутствуют широкие возможности кастомизации визуализации.

Во вкладках есть большое количество параметров, которые можно редактировать, но, если вдруг этих параметров недостаточно, можно доработать визуализацию при помощи кода.

Apache SuperSеt

Развертывание и подключение SuperSеt требует значительной экспертизы DevOps, так как этот программный продукт должен быть синтегрирован с другими компонентами системы:

• Kafka (для распределенной обработки потоковых данных в режиме реального времени)
• ETL-процессы
• Kubernetes (в случае микросервисов)

Самостоятельно можно работать в рамках существующего конструктора создания дашбордов.

Обучающие материалы по платформе

Visiology

Visiology имеет достаточно подробная документация по всем возможностям предлагаемых платформой, то есть даже когда публикуется новая версия продукта, на портале, в этот же момент, выходит новая версия документации, которая описывает полностью весь функционал системы, включая новый добавленный функционал.

Также присутствует:

• активная помощь от команды поддержки вендора
• активная комьюнити в Telegram-канале
• центр компетенций вендора, который регулярно проводит обучение.

Обучение проходит как для партнеров, так и просто для всех желающих по продукту путем проведения различных обучающих практических вебинаров.

Apache SuperSеt

В SuperSеt присутствует базовый материал по установке и началу работы. (в интернете существует открытый, достаточно подробные туиториалы) Также существует большое количество роликов, снятых энтузиастами по решению тех или иных проблем, но так как система постоянно развивается, некоторые материалы могут быть неактуальны.

Порядка 95% всей информации распространяется на английском языке, конечно, есть российские компании, которые предоставляют видеокурсы, но их значительно меньше.

Кроме того, существуют конференции и митапы, особенно когда идут обновления.

Стилизация и визуализация

Visiology

В Visiology есть возможности различной стилизации и визуализации, прямо в интерфейсе, доступны широкие возможности работы с палитрой, подписями, шрифтами, стилями отображения.

Также есть возможность более тонкой настройки при помощи кода, что бы стилистического отображения и визуализации в системе отображали данные в удобном и приятном порядке.

В том числе в системе есть возможность выгрузить тему визуализации и применить эти настройки для любой другой визуализации.

Apache SuperSеt

В SuperSеt присутствует более 50 стандартных визуализаций.

Часто используемые бар-чаты, арея-чаты, таблицы, практически изжили свои баги, однако менее используемые встречаются еще с “детскими болезнями”.

Стилизация:

• Есть возможность выбрать палитры и кастомные цвета
• Cтилизация визуала возможна с помощью шаблонов CSS

Также существует базовый функционал кастомизации графиков, однако в случае чего-то более сложного может возникнуть проблема, что либо это будет очень сложно сделать, либо для это придётся значительно перерабатывать систему.

Другие возможности стилизации

Visiology

Важно отметить, что если работа над дашбордом выполняется по макету, то в таком случае важна pixel perfect верстка.

Хорошим преимуществом Visiology является отсутствие ограничения на кастомизацию визуализации. (всегда есть возможность доработки визуализации при помощи кода)

В том числе одним из преимуществом является, что визуализацию можно располагать в любом месте дашборда без привязки к колонкам или сетке.

Apache SuperSеt

В Apache SuperSet реализована верстка по сетке и имеется возможность добавлять на лист строки и столбцы в них, как в контейнере, можно помещать визуальные компоненты будущего отчета, но имеется ограничение двенадцати колонок по горизонтали и распределить между ними графики и таблицы можно только по кратности, однако если необходимо присутствие непропорциональной композиции из пяти или семи элементов, то разделить их по сетке красиво не получится.

Кастомные чарты из открытых библиотек

Visiology

Большим плюсом среди других вендоров (в том числе и иностранных) – это возможность добавление кастомных чартов из открытых JS библиотек таких как Highcharts, Echarts и др.

По умолчанию в системе можно добавить кастомную диаграмму из открытой библиотеки просто взяв её код, указав необходимы поля для данных и визуализацию. В дальнейшем ее можно переиспользовать на любом дашборде без повторного добавления.

Apache SuperSеt

В SuperSеt доступны все исходники визуализации и можно применить другие типы визуализации из e-чарта. Однако, несмотря на возможность разработки своего плагина, его включение в официальный образ достаточно сложно исполнимо. (механизм добавления плагина в SuperSеt описан в официальной документации) Также при миграции SuperSеt на новую версию может потребоваться как модификация существующего плагина, так и копирование даже целых разделов фронтенда из официального репозитория.

Стоит отметить, что на данный момент в roadmap обозначены планы на введение функционала визуализации из python библиотек.

Встроенный язык запросов и скорость вычислений

Visiology

В Visiology используется встроенный язык запросов — универсальный язык DAX.

DAX — это очень мощный аналитический язык, который позволяет выполнять вычисления на уровне схемы данных, то есть мера пишется один раз, вычисляемая и используется уже на необходимых визуализациях в необходимом контексте.

Apache SuperSеt

В Superset используется SQL Alchemy.

С одной стороны, это, конечно, удобен, так как много программистов и аналитиков знают SQL-запросы, однако это прямо пропорционально сказывается на скорости запросов —

при отсутствии аналитического хранилища SQL-запросы с множеством джойнов может значительно сказаться на скорости, поэтому должна быть реализована витрина данных и вычисления на стороне базы данных, а также она должна быть сконфигурирована таким образом, чтобы на эти данные была возможность наложить агрегационные функции Superset.

Тем не менее данный недочет был исправлен в платном варианте, который, к сожалению, недоступен в РФ.

Функционал создания моделей данных и обработки данных

Visiology

В Visiology имеется стандартный функционал создания моделей данных. Получение данных и таблиц происходит напрямую из источников. (все данные загружаются во внутреннее хранилище)

Схема данных разрабатывается при помощи интуитивно понятного интерфейса, в котором таблицы соединяются между собой и таким образом образуются связи между таблицами, а также на уровне разработки схемы данных — данные уже хранятся во внутреннем аналитическом хранилище и системе неважно, из какого источника какая таблица пришла, то есть для системы это все один источник. (внутренняя аналитическая база данных vCoop 2.0 основана на принципах работы Clickhouse)

Apache SuperSеt

Про ETL обработку данных уже упоминалось выше, что необходимо реализовывать весь механизм с очисткой и преподготовкой данных.

Стоит обратить внимание на то, чтобы данные не просто были, получены, обработаны, но и были обработаны все пропуски в данных, которые возможны в передаче, потому что Superset очень плохо обрабатывает пропуски.

Ролевой доступ

Visiology

В разрезе безопасности данных в Visiology есть широкие возможности по ограничению прав доступа как к объектам, так и к конкретным данным, на уровне платформы.

Возможность в рамках ролевой модели есть возможность закрыть:

• определенные объекты и данные от пользователя
• выполнить ограничения на уровне данных (на уровне строк данных)

В зависимости от уровня ограничений можно гибко настраивать ролевые модели.

Также то, что касается безопасности — это, что систему можно развернуть как в облаке, так и на собственных мощностях (собственном сервере) и полностью лишить этот сервер к доступу к интернету.

Apache SuperSеt

Ролевой доступ в SuperSet реализован на базовом уровне.

Расширенный ролевой доступ Role Base Access Control, Role Level Control, появились только в платной версии.

Относительно безопасности, с одной стороны, за время существования SuperSet было найдено много уязвимостей и проделана большая работа по повышению безопасности, особенно заметно в SuperSet 3.0., но если для компании безопасность приложения/ данных достаточно важны, то этот вопрос нужно рассматривать не в рамках SuperSet, а в рамках более глобальной системы безопасности.

Итоги

Visiology

С точки зрения затрат можно выделит несколько преимуществ закрытого ПО:

• У вендора есть большая сеть партнеров
• Внутри платформы встроены необходимые большинству функциональные модули
• Система обладает постоянной поддержкой со стороны вендора (постоянные обновления)
• Поддержка всегда готова помочь в реализации того или иного функционала, а также разобраться с возникшими вопросами/ проблемами
• Высокий уровень безопасности

Подводя итог, можно сказать, что Visiology — это решение для глубокой аналитики с возможностью создания полноценной и сложной модели данных, а также для стратегических важных отчетов, включающих в себя высокие требования с точки зрения производительности, надежности и требований к визуализациям.

Apache SuperSеt

SuperSet, это идеальное решение, если:

• У вас достаточно простые графики и вы готовы пойти на какие-то компромиссы в визуализации.
• Вы хотите сэкономить на стоимости лицензии и готовы производить поддержку инфраструктуры (оставить продукт без поддержки достаточно рискованно)
• Требуется открытость кода
• Необходима мелкая, локальная, middle-level аналитика (для больших компаний наряду с серьезной BI-аналитикой)

Это не идеальное решение если:

• у вас сложная глубокая аналитика с множеством полноценны связей
• важны права, доступ, имеются серьезные разграничения
• ваши отчеты требуют бесперебойности, безотказности и это стратегически важные отчеты

Подводя итог, можно сказать Apache SuperSet – это лучшее решение на сегодняшний момент с открытым кодом для визуализации базовой аналитики. В целом, SuperSet хорошо показывает себя в своей нише, продолжается развитие, на его базе активно создаются различные решения с большим функционалом.

Вывод

Visiology — это коммерческая BI-решение с широким набором функций. Его преимущества включают в себя понятный интерфейс, разнообразные инструменты визуализации и высокую производительность. Продукт также предлагает интеграцию с различными источниками данных и очень хорошую поддержку.

Superset, с другой стороны, является открытым ПО для исследования и визуализации больших данных. Продукт также предоставляет широкий спектр функций, включая разнообразные инструменты визуализации и поддержку синтаксиса SQL. Однако к минусам Superset можно отнести более сложный процесс установки, настройки и кастомизации, а также ограниченную поддержку.

При выборе инструмента компании нужно учитывать её масштабы, потребности в визуализации и используемые практики работы. Visiology – отличный выбор, если вам важны безопасность и возможность разграничения прав доступа, при условии, что вы готовы потратить денежные средства на BI. Это также полезный инструмент для компании, которая захочет встраивать аналитику на веб-сайты или порталы и предоставлять доступ к дашбордам отдельным лицам для персональной работы.

Apache Superset подойдёт тем, кто готов самостоятельно разбираться, как её устанавливать, и имеет ресурсы, чтобы её на них разместить. Несмотря на некоторые существующие ограничения, нужно учитывать, что Apache Superset находится на стадии разработки и в дальнейшем они, возможно, будут устранены. Большое преимущество программы: бесплатность, но это условно, так как необходимо задействовать команду бизнес-аналитиков.

Все перечисленные факторы важны, но не стоит забывать, что определяющим фактором при выборе программы должны быть рабочая нагрузка и расширяемость.

#BI#Visiology