Начало работы

Программный продукт: «Модус:Управление корпоративным хранилищем данных (ETL)» (сокращенное название - Modus ETL), разработан на платформе 1С с использованием «1С:Библиотека стандартных подсистем 8» (далее – БСП) и является 1С-конфигурацией, позволяющей выгружать данные из разных источников (учетных систем, баз данных, web-сервисов, файлов), обрабатывать полученные данные по предварительно настроенным правилам (сценариям) и сохранять результаты в базу данных хранилища.

Конфигурация-1С программного продуктапредназначена для автоматизации ETL-процессов (от англ.Extract, Transform, Load- «извлечение, преобразование, загрузка») извлечения данных из различных источников, подготовки и загрузки данных в хранилище.

Программный продуктможет являться частью программного комплекса, включающей помимо Modus ETL, хранилище данных (DWH) и программный продукт для визуализации данных Модус:Аналитический портал (см. Рисунок 1).

Рисунок 1. Modus ETL как компонент программного комплекса ModusBI

Случаи использования:

• Необходимость получать большие массивы данных из разнообразных источников;
• Необходимость объединения/консолидации данных из разных источников;
• Необходимость обработки данных - очистки, дополнения, стандартизации, агрегации, расчета показателей и т.д. - по разнообразным правилам;
• Необходимость обновлять данные по расписанию.

Как это работает:

• Настраиваем доступ к источникам данных;
• Настраиваем правила получения данных из каждого типа источников;
• Проверяем доступность источников;
• Получаем данные, пользуясь интерфейсом “Выгрузка в отчет” (ручной режим);
• Проверяем, что данные получены без ошибок;
• Анализируем полученные данные и определяем необходимость и алгоритмы обработки данных для конкретной задачи;
• Настраиваем правила (сценарии) обработки данных;
• Настраиваем ETL-пакет, включающий стадии получения и обработки данных;
• Настраиваем расписание ETL-пакета;
• Контролируем получение данных по расписанию.