Начало работы
2 минутное чтение
Программный продукт: «Модус:Управление корпоративным хранилищем данных (ETL)» (сокращенное название - Modus ETL), разработан на платформе 1С с использованием «1С:Библиотека стандартных подсистем 8» (далее – БСП) и является 1С-конфигурацией, позволяющей выгружать данные из разных источников (учетных систем, баз данных, web-сервисов, файлов), обрабатывать полученные данные по предварительно настроенным правилам (сценариям) и сохранять результаты в базу данных хранилища.
Конфигурация-1С программного продуктапредназначена для автоматизации ETL-процессов (от англ.Extract, Transform, Load- «извлечение, преобразование, загрузка») извлечения данных из различных источников, подготовки и загрузки данных в хранилище.
Программный продуктможет являться частью программного комплекса, включающей помимо Modus ETL, хранилище данных (DWH) и программный продукт для визуализации данных Модус:Аналитический портал (см. Рисунок 1).
Рисунок 1. Modus ETL как компонент программного комплекса ModusBI
Случаи использования:
- Необходимость получать большие массивы данных из разнообразных источников;
- Необходимость объединения/консолидации данных из разных источников;
- Необходимость обработки данных - очистки, дополнения, стандартизации, агрегации, расчета показателей и т.д. - по разнообразным правилам;
- Необходимость обновлять данные по расписанию.
Как это работает:
- Настраиваем доступ к источникам данных;
- Настраиваем правила получения данных из каждого типа источников;
- Проверяем доступность источников;
- Получаем данные, пользуясь интерфейсом “Выгрузка в отчет” (ручной режим);
- Проверяем, что данные получены без ошибок;
- Анализируем полученные данные и определяем необходимость и алгоритмы обработки данных для конкретной задачи;
- Настраиваем правила (сценарии) обработки данных;
- Настраиваем ETL-пакет, включающий стадии получения и обработки данных;
- Настраиваем расписание ETL-пакета;
- Контролируем получение данных по расписанию.