Настройка процесса выгрузки данных

• 1: Однократный запуск получения данных (запуск «вручную»)
• 2: Автоматический (регулярный) сбор данных
• 3: Логирование выгрузки данных

1 - Однократный запуск получения данных (запуск «вручную»)

В случае, когда требуется получить данные разово («ad-hoc»), а также для тестирования правил выгрузки (рекомендуется тестировать вручную на ограниченном наборе данных), возможно получить данные однократно, не настраивая расписание запуска.

Есть два варианта ручного запуска выгрузки данных:

• выгрузка в отчет (возможна выгрузка в отчет на экране, в файл, в SQL-таблицу, указанную в правиле выгрузки);
• запуск состава выгрузки (производится выгрузка в SQL-таблицу, указанную в правиле выгрузки).

Основное отличие этих вариантов в случае выгрузки в таблицу в том, что при выгрузке в отчет используются настройки и параметры из документа «Установить правила выгрузки», а при выгрузке с использованием документа «Состав выгрузки» настройки и параметры из документа «Состав выгрузки». Вместе с этим, при запуске с помощью выгрузки в отчет создается специальный, служебный «Состав выгрузки».

1. Запуск выгрузки данных в отчет

Перейти к обработке выгрузки в отчет можно через «Начальную страницу» или через меню «Главное» / «Сервис» / «Выгрузка в отчет»:

«Выгрузка в отчет» это полнофункциональный вариант получения данных, с тем лишь отличием, что при выводе данных на экран, либо при сохранении в файл, все собранные данные хранятся во временных структурах базы Modus ETL. Поэтому не рекомендуется использовать этот вариант для получение большого количества данных.

Сервис «Выгрузка в отчет» предлагается в трёх вариантах:

• вывод на экран — выведет данные в таблицу на экран;
• выгрузка в файл — выведет данные в файл выбранного формата в выбранный каталог;
• выгрузка в таблицу БД — запишет данные в таблицу БД, если она указана в выбранном правиле выгрузки.

Порядок настройки:

• выбрать набор источников (см. рисунок выше, 1);
• выбрать правило выгрузки (см. рисунок выше, 2);
• для вывода данных на экран дополнительные настройки не нужны, достаточно нажать кнопку «Вывести на экран» (см. рисунок выше, 3);
• для выгрузки в файл по умолчанию установлен тип файла «xlsx», можно установить переключатель на другой тип файла («dbf»/«mxl»/«xls»/«xlsx») и нажать кнопку «Выгрузить в файл» (см. рисунок выше, 4);
• для выгрузки в таблицу нужно выбрать режим записи (аналогично режимам записи в составе выгрузки), установить при необходимости флаг «Заменить спец. символы» (см. рисунок выше, 7) (если предполагается, что выходной набор данных может содержать текстовые поля со спец. символами типа перевод строки, кавычки и т.п.) и нажать кнопку «Загрузить в таблицу БД» (см. рисунок выше, 5).

Прогресс процесса выгрузки данных можно наблюдать на индикаторе процесса (см. рисунок выше, 8).

Остановить процесс можно, нажав на кнопку «Остановить выполнение» (см. рисунок выше, 9).

2. Запуск выгрузки данных в таблицу через Состав выгрузки

Открыть справочник «Составы выгрузки» (меню «Главное» / «Настройки» / «Составы выгрузок»).

Для ручного запуска состава выгрузки, выбрать в списке нужный элемент справочника и нажать кнопку «Направить задание в очередь».

2 - Автоматический (регулярный) сбор данных

Для регулярного сбора и обработки данных, а также для рационального распределения ресурсов при получении больших массивов данных рекомендуется настроить расписание работы.

1. Настройка состава выгрузок и расписания запуска сбора данных

Размещение: меню: «Главное» / «Настройки» / «Составы выгрузок». Интерфейс (справочник)» «Составы выгрузок» также предназначен для настройки расписания выгрузок (подробно о заполнении состава выгрузок).

2. Настройка расписания запуска сбора данных

Порядок действий показан в таблице ниже.

Настройка расписания запуска сбора данных

Закладка	Настройка	Скрин
Общий	ДатаНачала; Повторять каждые ___ (дн.);
Дневное	Время начала
Недельное	Дни_недели
Месячное	Месяцы

3. Механизм очередей

Механизм очередей разработан для управления ресурсами при одновременном получении данных разными заданиями, разделения получения данных из большого количества источников на порции и управления ими.

Общие правила работы с очередями

Со стороны пользователя для настройки работы необходимо заполнить:

• основные настройки
• создать «Состав выгрузок» с указанием набора, правил, расписания запуска.

Для интерактивного контроля за работой очереди в форме списка «Составы выгрузок» внизу формы есть сводная информация по очереди «Набор» / «Правило» / «Количество элементов». Из формы «Составы выгрузок» можно направить выбранный состав в очередь вручную, для этого предназначена команда «Направить задание в очередь»:

Разработано три «службы» (регламентных задания) для работы с очередью получения данных.

3.1. Постановщик источников в очередь

Данная служба привязана к «Составам выгрузок». В нем настраивается связь «Набор источников» — «Правило выгрузки». Если «Состав выгрузок» активен и настроено расписание, создается регламентное задание для постановки источников в очередь из выбранного набора.

• При запуске регламентного задания выполняются подготовительные действия в соответствии с «Режимом записи данных» («Добавить», «Очистить и добавить», «Скопировать и добавить»). Если в «Составе выгрузок» режим записи не указан, то берется режим из основных настроек.
• При создании состава выгрузок можно указать приоритет при выгрузке – чем меньше число, тем выше приоритет.
• Также при постановке «набора» по «правилу» в очередь, создается документ «Факт выгрузки». Логи обработки очереди привязаны к этому документу.

3.2. Запуск заданий обработки очереди

Служба анализирует сколько уже запущено фоновых заданий по обработке очереди. Анализируются настройки максимального количество возможных заданий и выполняется до-запуск нужного количество фоновых заданий-обработчиков.

Каждое фоновое задание «ОбработкаОчередиРегламентом» анализирует очередь, и выбирает «порцию» согласно основным настройкам. В элементы очереди, которые заняты конкретным фоновым заданием, записывается Id фонового задания.

При записи данных во внешнюю базу происходит удаление элемента из очереди по источнику. Это происходит в одной транзакции, поэтому не должно быть ситуация, когда во внешний источник записали данные, а из очереди не удалили.

3.3. Перепостановка элементов очереди

Регламентное задание, которое анализирует текущие фоновые задания «ОбработкаОчередиРегламентом» и если в очереди есть задания с Id, которого нет среди работающих, то Id записи очищается и считается, что данный источник необходимо обработать заново.

В очереди также хранятся дополнительные данные:

• количество попыток — сколько раз пытались обработать этот источник;
• зависшие задания — массив Id заданий, которые «зависли». Заполняется для будущего анализа.

4. Обработка «Контроль работы»

Форма (см. рисунок выше) состоит из двух списков, которые автоматически обновляются каждые 60 секунд:

1. список последних выполняемых пакетов с указанием даты и времени запуска, названием пакета и статусом выполнения;
2. список текущей очереди выполняемых выгрузок данных, который содержит набор источников, правило выгрузки, факт выгрузки, количество элементов, количество работающих фоновых заданий.

По двойному клику по наименованию пакета открывается форма выполнения пакета.

Выбрав пакет двойным кликом в подчиненных документах, можно открыть форму пошагового выполнения пакета.

Также можно открыть правило выгрузки, набор источников или посмотреть факт выгрузки у текущего задания.

Через меню: «Главное» / «Сервис» / «Очередь обработки данных» можно посмотреть очередь из оставшихся источников выгрузки данных и количество попыток соединения с ними.

3 - Логирование выгрузки данных

В ходе выгрузки данных осуществляется логирование процесса — создаются записи в регистре сведений «Журнал событий сбора данных» и документ «Факт выгрузки», который отображает записи регистра для конкретной выгрузки данных.

Логирование происходит как при автоматической, так и при ручной выгрузке данных.

Есть два способа просмотреть лог выгрузки данных:

• документ «Факт выгрузки»;
• отчет «Анализ логов загрузки».

1. Документ «Факт выгрузки»

Просмотр списка документов — меню «Главное» / «Логи» / «Факт_выгрузки».

Документ формируется при выгрузке данных и отображает информацию об этапах выгрузки, ошибочных ситуациях и количественных показателях (времени выполнения, количестве строк данных, полученных из источника, и т.д.):

2. Отчет «Анализ логов загрузки»

Запуск отчета — «Начальная страница» / «Анализ логов загрузки»:

В интерфейсе отчета можно выбирать вариант (форму отчета) «Обычная» / «По областям» и настраивать отборы (период, документ и т.д.).

Возможно выводить только ошибки, установив соответствующий флаг: