Программный продукт: «Модус:Управление корпоративным хранилищем данных (ETL)» (сокращенное название — Modus ETL), разработан на платформе 1С с использованием «1С:Библиотека стандартных подсистем 8» (далее — БСП) и является 1С-конфигурацией, позволяющей выгружать данные из разных источников (учетных систем, баз данных, web-сервисов, файлов), обрабатывать полученные данные по предварительно настроенным правилам (сценариям) и сохранять результаты в базу данных хранилища.
Конфигурация-1С программного продуктапредназначена для автоматизации ETL-процессов (от англ. «Extract, Transform, Load» — «извлечение, преобразование, загрузка») извлечения данных из различных источников, подготовки и загрузки данных в хранилище.
Программный продуктможет являться частью программного комплекса, включающей помимо Modus ETL, хранилище данных (DWH) и программный продукт для визуализации данных Модус:Аналитический портал (см. рисунок ниже):
Случаи использования:
получение больших массивов данных из разнообразных источников;
объединение/консолидация данных из разных источников;
обработка данных — очистки, дополнения, стандартизации, агрегации, расчета показателей и т.д. — по разнообразным правилам;
обновление данных по расписанию.
Как это работает:
настраиваем доступ к источникам данных;
настраиваем правила получения данных из каждого типа источников;
проверяем доступность источников;
получаем данные, пользуясь интерфейсом «Выгрузка в отчет» (ручной режим);
проверяем, что данные получены без ошибок;
анализируем полученные данные и определяем необходимость и алгоритмы обработки данных для конкретной задачи;
настраиваем правила (сценарии) обработки данных;
настраиваем ETL-пакет, включающий стадии получения и обработки данных;
настраиваем расписание ETL-пакета;
контролируем получение данных по расписанию.
1 - Варианты использования Modus ETL
Для ModusETL существуют базовые и продвинутые способы получения, загрузки и обработки данных.
Базовый вариант — использует встроенные в приложение ModusETL механизмы:
для сбора данных — стандартный механизм, когда полученные из источника данные сначала размещаются во временных массивах и структурах, а затем сохраняются в базу данных хранилища целиком.
для интеграции с 1С-источниками — «Внешнее-соединение» (COM-коннектор).
Продвинутый варинат (более производительный и масштабируемый) предполагает, использование вместе с ModusETL специально разработанных дополнительных модулей:
«Агент ETL» (разработан на языке Golang) для многопоточной обработки данных. При работе под OC Linux использование «Агента ETL» обязательно.
Возможно использование с одним ETL нескольких агентов, размещенных как-правило на разных серверах, что обеспечивает горизонтальную масштабируемость получения-обработки данных;
«Адаптер ETL для 1С» — http-сервис, для получения данных из 1С-приложений.
Этот компонент устанавливается в 1С-источники как отдельная подсистема в конфигурацию базы-источника или как расширение конфигурации.
Сравнение и особенности вариантов, а также названия инструкций по установке-настройке дополнительного ПО представлены в таблице ниже.
Сравнение вариантов получения данных и интеграции с 1С-источниками
Функционал
Базовый вариант
Продвинутый вариант с дополнительным ПО (Инструкция)
Сбор и обработка данных
Стандартные механизмы приложения: - Получаемые из источников данные сохраняются во временных массивах-и-структурах и, затем записываются в БД хранилища целиком
Агент ETL Многопоточное получание данных с управлением порциями и очередями. (+) производительность (+) масштабируемость (+) работа под ОС Linux
Modus ETL. Руководство по установке Агента
Коннектор для 1С-источников
Внешнее соединение/COM-коннектор: (-) Ограничение: 1С-источник и ETL должны иметь одинаковые версии 1С-платформы/ СОМ-коннектора
Адаптер ETL для 1С -http-сервис, встраиваемый в 1С-источник (+) нативные способы получения данных из 1С
Модус ETL. Руководство по установке и настройке. [Приложение П1. Инструкция по встраиванию “Адаптера ETL-1С” в 1С базу-источник](../3.5 Инструкция по встраиванию Адаптера ETL-1C в 1С базу-источник/index.md)
Схема компонентов аналитической системы с использованием Агента ETL и Адаптера ETL-1С представлена на рисунке ниже:
При открытии программы отображается интерфейс «Начальная страница». На эту страницу выведены ссылки для настройки основных функций системы, ссылки сгруппированы в смысловые блоки:
Основные:
«Мастер сбора данных» — функции подключения и правил получения данных из сторонних источников;
«Источники данных» — функции подключения и настройки источников получения данных и баз данных-приемников;
«Сбор данных» — функции настройки правил получения данных;
«Обработка» — функции по настройке трансформации данных в хранилище;
«Пакеты» — функции настройки ETL-пакетов, за пускающихся по расписанию и объединяющих процессы сбора, трансформации и загрузки данных в хранилище.
Дополнительные:
«Справочники» — выведены ссылки на наиболее часто использующиеся справочники;
«Сервис» — выведены ссылки на основные сервисные функции;
«Отчеты» — выведены ссылки на наиболее часто использующиеся отчеты.
Также на начальной странице расположены средства для мониторинга процессов получения данных.
В блоке «Контроль работы» отображаются последние запуски пакетов на получение и обработку данных, их текущее состояние и наличие ошибок:
Синий — пакет находится в процессе работы:
Зеленый — пакет закончил работу и отработал без ошибок:
Красный — работа пакета прервана из-за ошибки:
Для работающих или завершенных с ошибкой ETL-пакетов возможно по ссылке перейти в лог «Выполнение пакета» и далее последовательно в логи этапов и шагов выполнения пакета, что позволяет быстро выявить текущий этап (для работающего пакета) или шаг, выполнение которого было прервано из-за ошибки (для пакета, выполнение которого было прервано).
В блоке «Текущая очередь» показываются работающие в настоящее время процессы получения данных. Индикатор выполнения (прогресс-бар) показывает процент обработанных источников данных, а строка сообщений выводит количество обработанных источников из общего количества источников:
Разделы ETL
Все функции системы доступны через разделы меню:
Нажимая кнопки разделов, можно включать подменю в разделах и получить доступ ко всем функциональным возможностям системы.
Нажимая на название раздела, можно перейти к его функциям:
Если в системе открыты какие-либо формы, к функциям меню можно перейти через подразделы:
