Начало работы

Программный продукт: «Модус:Управление корпоративным хранилищем данных (ETL)» (сокращенное название — Modus ETL), разработан на платформе 1С с использованием «1С:Библиотека стандартных подсистем 8» (далее — БСП) и является 1С-конфигурацией, позволяющей выгружать данные из разных источников (учетных систем, баз данных, web-сервисов, файлов), обрабатывать полученные данные по предварительно настроенным правилам (сценариям) и сохранять результаты в базу данных хранилища.

Конфигурация-1С программного продуктапредназначена для автоматизации ETL-процессов (от англ. «Extract, Transform, Load» — «извлечение, преобразование, загрузка») извлечения данных из различных источников, подготовки и загрузки данных в хранилище.

Программный продуктможет являться частью программного комплекса, включающей помимо Modus ETL, хранилище данных (DWH) и программный продукт для визуализации данных Модус:Аналитический портал (см. рисунок ниже):

Случаи использования:

• получение больших массивов данных из разнообразных источников;
• объединение/консолидация данных из разных источников;
• обработка данных — очистки, дополнения, стандартизации, агрегации, расчета показателей и т.д. — по разнообразным правилам;
• обновление данных по расписанию.

Как это работает:

• настраиваем доступ к источникам данных;
• настраиваем правила получения данных из каждого типа источников;
• проверяем доступность источников;
• получаем данные, пользуясь интерфейсом «Выгрузка в отчет» (ручной режим);
• проверяем, что данные получены без ошибок;
• анализируем полученные данные и определяем необходимость и алгоритмы обработки данных для конкретной задачи;
• настраиваем правила (сценарии) обработки данных;
• настраиваем ETL-пакет, включающий стадии получения и обработки данных;
• настраиваем расписание ETL-пакета;
• контролируем получение данных по расписанию.