Реализация процесса CI/CD в Visiology

В современных BI-системах, таких как Visiology, удобное и надежное резервное копирование данных является критическим фактором для поддержания бизнес-процессов. Однако стандартные методы часто требуют участия системных администраторов, использования консольных команд и других неинтуитивных процессов, что усложняет работу пользователей, сокращает системность ведения процесса создания резервных копий и увеличивает риск ошибок и потерь данных.

IT-интегратор Ёлва одна из первых компаний в России разработала собственное решение по интеграции с CI/CD пайплайнами GitLab в Visiology. Наша разработка позволяет автоматизировать резервное копирование и развертывание данных в графическом интерфейсе GitLab, что делает управление данными удобным и доступным для всех участников процесса.

Интуитивно понятный интерфейс позволяет пользователю выбрать соответствующий его задачи блок действий, которое он планирует выполнить (создать резервную копию или опубликовать ее), а затем указать соответствующую среду и запустить процесс.

Этапы работы

1. Создание резервной копии:

• Пользователь запускает пайплайн в GitLab.

• Скрипт инициирует процесс резервного копирования через API Visiology.

• Данные разбиваются на отдельные компоненты (дашборды, наборы данных, визуализации) и сохраняются в GitLab.

• Ветка latest обновляется новой резервной копией, а предыдущая версия архивируется с меткой даты и времени.

2. Развертывание резервной копии:

• Пользователь выбирает необходимую ветку с резервной копией и запускает пайплайн развертывания.

• Скрипт автоматически переносит данные на целевой сервер Visiology.

• Данные синхронизируются, а пользователь может проверить результаты через интерфейс платформы.

3. Частичное развертывание и экспорт:

• Пайплайн позволяет экспортировать или развертывать только необходимые рабочие области или дашборды, что особенно полезно для частичного переноса и тестирования.

• Пользователи задают параметры с помощью переменных, например, выбирая конкретную ветку данных.

Технические детали реализации

1. Работа с ветками GitLab.

• Каждая резервная копия сохраняется в отдельной ветке с именем, содержащим дату и время создания.

• Ветка latest всегда хранит актуальную версию резервной копии, упрощая доступ к последним данным.

• Архивирование старых версий позволяет отслеживать изменения и восстанавливать данные из любой точки времени.

2. Обработка данных.

• Файлы резервных копий разбиваются на отдельные SQL-скрипты для каждой таблицы, что упрощает их анализ и обновление.

• Конфиденциальные данные, такие как пароли и логи, исключаются из резервных копий, чтобы избежать проблем с безопасностью.

• Дашборды сохраняются в формате JSON, что позволяет легко восстанавливать и редактировать их структуру.

3. Гибкость настройки.

• Пользователи могут использовать переменные для настройки пайплайнов. Например, можно указать рабочую область для копирования, адрес сервера или параметры подключения.

• Это позволяет адаптировать решение под конкретные сценарии, такие как тестирование новых функций или восстановление удаленных данных.

4. Логирование и мониторинг.

• Каждый этап пайплайна сопровождается логированием, что упрощает диагностику и решение возможных проблем.

• В случае ошибок пользователи могут перезапустить отдельные шаги пайплайна, не нарушая общий процесс.

5. Оптимизация производительности.

• Процесс создания и развертывания копий оптимизирован для работы с большими объемами данных. Это достигается за счет параллельной обработки задач и минимизации объема запросов к API.

Преимущества для бизнеса

• Экономия времени: автоматизация процесса значительно сокращает время на создание, хранение и развертывание резервных копий.

• Снижение рисков: исключается человеческий фактор, а использование версионности GitLab позволяет минимизировать потери данных.

• Гибкость: возможность частичного копирования данных и адаптации пайплайнов под конкретные задачи делает решение универсальным и покрывает большое количество различных бизнес-кейсов заказчиков.

• Прозрачность: полное логирование всех процессов позволяет легко отслеживать изменения и выявлять ошибки.

• Доступность: графический интерфейс GitLab упрощает доступ к данным для всех категорий пользователей.

Применение в реальных кейсах

Наше решение уже успешно применяется для автоматизации процессов резервного копирования и развертывания в крупных компаниях. Например, в одном из проектов пользователи смогли быстро восстановить данные, удаленные по ошибке, благодаря доступу к архивным веткам в GitLab.

Другой кейс включает тестирование новой функциональности: резервная копия продуктивной среды развертывалась на тестовом сервере, где проводились изменения. После проверки исправления данные возвращались в продуктив, минимизируя риски для бизнеса.

Решение также используется для создания резервных копий на случай форс-мажоров, обеспечивая восстановление в минимальные сроки.

В вебинаре мы продемонстрировали, как процесс CI/CD может улучшить вашу текущую инфраструктуру данных на конкретном уникальном примере.
Поделились последними обновлениями BI-платформы Visiology, которые заявлены вендором как масштабные, и разобрали так ли это. Леонид Соловьев, ведущий бизнес-аналитик IT-компании Ёлва, поделился своим опытов и инсайтами:

Заключение

Решение от IT-интегратора «Ёлва» объединяет возможности GitLab и Visiology, создавая мощный инструмент для управления резервными копиями и хранения данных разработок. Оно упрощает процессы резервного копирования и развертывания, делая их доступными и понятными для всех участников.

Если вас заинтересовало данное решение, вы хотите повысить надежность и упростить работу с резервными копиями в Visiology, оставьте заявку на нашем сайте, и мы поможем вам внедрить это решение в вашу инфраструктуру.