Сценарии обработки данных
3 минутное чтение
Полученные из источников учетных систем данные необходимо подготовить для использования в отчетах.
Подготовка данных включает процедуры-инструкции на языках SQL, 1C, Python для очистки, дополнения, агрегации, объединения и т.п. данных, расчета показателей, а также для сервисных операций выгрузки, загрузки, перемещения файлов, удаления архивных копий таблиц и т.д.
Для настройки процедур подготовки данных служит документ «Сценарий обработки данных», в котором настраиваются шаги сценария.
Список (журнал) сценариев вызывается либо с начальной страницы (см. Рисунок 1), либо из меню «Главная\Настройки\Сценарии».
Рисунок 1. Доступ к списку сценариев.
В списке сценариев (внешний вид см. Рисунок 2) можно создать новый сценарий (см. Рисунок 2, 1 ), отредактировать существующий и запустить сценарий.
Рисунок 2. Сценарии обработки данных
Кнопка позволяет запустить на выполнение шаги сценария (см. Рисунок 2, 2 ). Кнопка [Только примитивы] включает отбор служебных сценариев (примитивов) (см.Рисунок 2, 3 ). Отключить этот отбор можно еще раз нажав на эту кнопку.
1. Настройка сценария обработки данных
Внешний вид документа представлен на Рисунке 3, а варианты настройки и представления шагов сценария на Рисунок 4.
Рисунок 3. Сценарий – внешний вид документа
Порядок настройки «Сценария обработки данных»:
- На вкладке [Основное] необходимо заполнить поля
- Наименование сценария;
- База данных (выбор из списка БД);
- Тип - заполняется автоматически как «Произвольная последовательность шагов». Другие типы используются для автоматически создаваемых сценариев обработки данных, таких как «Трансформация» или «Верификация данных»);
- Комментарий - текстовое поле при необходимости возможно заполнить дополнительной информацией по обработке данных.
- Для настройки шагов сценария существуют два варианта
-
Вариант 1. На вкладке [Шаги сценария] создать и настроить шагисценария, написав для каждого шага скрипт на языке SQL\1С или использовать для настройки и авто-генерации скрипта для шага - готовые шаблоны.
-
Вариант-2. На вкладке [WorkFlow] настроить шаги обработки данных в визуальном интерфейсе WorkFlow (см. [эту статью](../8.2 Сценарии обработки данных часть 2/index.md) и Рисунок 4, 2 ).
Вариант с интерфейсом WorkFlow для визуального проектирования ETL является более удобным и более функциональным, т.к. кроме основного процесса трансформации данных возможно дополнительно настроить сохранение информации по профилированию данных – сэмплы данных, статистику по значениям и качеству данных; а также сохранение и просмотр логов работы. Кроме того, шаги сценария, спроектированного в интерфейсе WorkFlow могут выполняться параллельно (см. Рисунок 4, 2 ). Таким образом, для новых сценариев обработки данных рекомендуется использовать WorkFlow, а вариант с таблицей шагов сценария использовать для изменения старых сценариев, для которых интерфейс WorkFlow недоступен и система сообщает о несовместимости
Рисунок 4. Варианты настройки шагов сценария
- в таблице [Шаги сценария]
- в интерфейсе WorkFlow
- На закладке [Параметры сценария] возможно ввести параметры, которые будут использоваться в настройках/тексте скриптов шагов (см. Рисунок 5). Значения параметров можно и не заполнять, если предполагается запуск сценария только через «Пакеты обработки данных» (подробно см. в [этом разделе](../9. Пакеты обработки данных/index.md#1-настройка-пакета/index.md#1-настройка-пакета)).
Рисунок 5. Параметры сценария
- По кнопке [Записать и закрыть] на основной вкладке Сценарий сохраняется.