Пакеты обработки данных

3 минутное чтение

Пакет обработки данных предназначен для настройки автоматического запуска заданий по обновлению данных.

В состав пакета могут входить следующие шаги

Составы выгрузок данных
Сценарии обработки данных
Другие пакеты обработки данных.

Перейти к списку Пакетов можно через Начальную страницу или через меню «Главное \ Настройки \ Пакеты обработки данных».

В открывшемся окне появится список доступных пользователю пакетов. Пакеты могут быть сгруппированы в папки.

Настройка пакета

Для настройки пакета обработки данных в документе необходимо заполнить Наименование, Группу (может остаться пустой) и Проект.

Можно настроить список рассылки оповещения о выполнении пакета по email, выбрав получателей в списке рассылок, в подменю “Контроль работы”.

Выбор режима выполнения

При настройке пакета пользователь может выбрать два режима выполнения: последовательно или параллельно. При выборе режима “Последовательно” все шаги пакета будут выполняться друг за другом. В случае выбора режима “Параллельно” настройка выполнения шагов будет выполняться в отдельной форме “Состав пакета”.

Последовательное выполнение

Для добавления шага необходимо нажать кнопку [Добавить] и выбрать тип шага из списка

Составы выгрузок;
Сценарий;
Пакеты обработки данных (шагом может являться другой пакет получения данных).

После выбрать в качестве шага элемент из соответствующего списка.

Шаг пакета можно исключить из выполнения. Для этого нужно снять флаг в колонке “Включить”.

Параллельное выполнение

При параллельном выполнении пакета, шаги пакета выполняются по заданным правила очередности. Настройка состава пакета происходит в интерфейсе WorkFlow. Для настройки параллельного выполнения необходимо:

В пакете выбрать “Режим выполнения: Параллельно”;
Перейти на вкладку «Состав пакета»;
Откроется интерфейс WorkFlow, где необходимо произвести настройку шагов

Порядок работы в интерфейсе WorkFlow состава пакета аналогичен порядку работы с интерфейсом WorkFlow в сценарии:

На поле WorkFlow переносится нужный тип шага сценария;
С помощью кнопки “Редактировать шаг” на шаблоне открывается форма выбора элемента сценария, в соответствии с выбранным типом;
Шаги соединяются между собой связью портов;
Запуск до конкретного шага осуществляется через кнопку «Выполнить до этого шага».

Настройка параметров

При необходимости можно заполнить параметры, которые будут действовать для всех шагов пакета. А если настроить параметры для нескольких запусков, то пакет будет выполняться столько раз, сколько пакетов параметров настроено.

Вывод схемы выполнения пакета

Визуальная схема - позволяет увидеть, как взаимодействуют разные шаги получения и обработки данных, не изучая исходные документы и тексты скриптов. Пример графического представления состава пакета представлен ниже.

Открыть схему можно из списка пакетов, нажав на кнопку. Схема строится на основе указания названия баз данных и таблиц в документах (Состав выгрузки, Сценарий).

Установка расписания запуска

Для настройки автоматического запуска пакета

Для активации расписания регламентного задания установить флаг «Активно» на форме редактирования пакета;
Настроить расписание запуска регламентного задания по сбору данных, нажав на ссылку “Расписание не задано”.

Просмотреть настроенное расписание можно через меню «Главное \ Сервис \ Планировщик запуска пакетов». В расписании по дням и часам визуально представлены запланированные к запуску пакеты. Длительность и цвет пакетов в расписании отображены исходя из настроек.

Лог выполнения пакетов обработки данных

Для отслеживания процесса получения и обработки данных можно воспользоваться журналом выполнения пакетов. Доступ к журналу через меню «Главная \ Логи \ Выполнение пакета».

В журнале пакетов можно просмотреть записи о выполненных и выполняющихся пакетах. Цветом указано состояние пакета и был ли он выполнен успешно

Зеленый – завершен и выполнен успешно;
Синий – в процессе работы;
Красный – выполнен с ошибками.

Каждый лог о выполнении можно открыть и просмотреть подробные данные о каждом шаге

Документ «Выполнение пакета» отображает следующую информацию о начале, окончании и длительности выполнения пакета, наименование пакета, а также информацию о состоянии выполнении пакета.

В табличной части выводится «Шаг пакета», признаки «Шаг начат» и «Шаг выполнен», ссылка на документ Лога выполнения шага (при нажатии на ячейку будет открыт документ лога с подробностями шагов выполнения состава выгрузки, сценария пост-обработки или пакета), Информация о работе шага, список ошибок во время работы пакета.