Автоматический (регулярный) сбор данных

3 минутное чтение

Для регулярного сбора и обработки данных, а также для рационального распределения ресурсов при получении больших массивов данных рекомендуется настроить расписание работы.

1. Настройка состава выгрузок и расписания запуска сбора данных

Размещение: меню: «Главное» / «Настройки» / «Составы выгрузок». Интерфейс (справочник)» «Составы выгрузок» также предназначен для настройки расписания выгрузок (подробно о заполнении состава выгрузок).

2. Настройка расписания запуска сбора данных

Порядок действий показан в таблице ниже.

Настройка расписания запуска сбора данных

Закладка	Настройка	Скрин
Общий	ДатаНачала; Повторять каждые ___ (дн.);
Дневное	Время начала
Недельное	Дни_недели
Месячное	Месяцы

3. Механизм очередей

Механизм очередей разработан для управления ресурсами при одновременном получении данных разными заданиями, разделения получения данных из большого количества источников на порции и управления ими.

Общие правила работы с очередями

Со стороны пользователя для настройки работы необходимо заполнить:

основные настройки
создать «Состав выгрузок» с указанием набора, правил, расписания запуска.

Для интерактивного контроля за работой очереди в форме списка «Составы выгрузок» внизу формы есть сводная информация по очереди «Набор» / «Правило» / «Количество элементов». Из формы «Составы выгрузок» можно направить выбранный состав в очередь вручную, для этого предназначена команда «Направить задание в очередь»:

Разработано три «службы» (регламентных задания) для работы с очередью получения данных.

3.1. Постановщик источников в очередь

Данная служба привязана к «Составам выгрузок». В нем настраивается связь «Набор источников» — «Правило выгрузки». Если «Состав выгрузок» активен и настроено расписание, создается регламентное задание для постановки источников в очередь из выбранного набора.

При запуске регламентного задания выполняются подготовительные действия в соответствии с «Режимом записи данных» («Добавить», «Очистить и добавить», «Скопировать и добавить»). Если в «Составе выгрузок» режим записи не указан, то берется режим из основных настроек.
При создании состава выгрузок можно указать приоритет при выгрузке – чем меньше число, тем выше приоритет.
Также при постановке «набора» по «правилу» в очередь, создается документ «Факт выгрузки». Логи обработки очереди привязаны к этому документу.

3.2. Запуск заданий обработки очереди

Служба анализирует сколько уже запущено фоновых заданий по обработке очереди. Анализируются настройки максимального количество возможных заданий и выполняется до-запуск нужного количество фоновых заданий-обработчиков.

Каждое фоновое задание «ОбработкаОчередиРегламентом» анализирует очередь, и выбирает «порцию» согласно основным настройкам. В элементы очереди, которые заняты конкретным фоновым заданием, записывается Id фонового задания.

При записи данных во внешнюю базу происходит удаление элемента из очереди по источнику. Это происходит в одной транзакции, поэтому не должно быть ситуация, когда во внешний источник записали данные, а из очереди не удалили.

3.3. Перепостановка элементов очереди

Регламентное задание, которое анализирует текущие фоновые задания «ОбработкаОчередиРегламентом» и если в очереди есть задания с Id, которого нет среди работающих, то Id записи очищается и считается, что данный источник необходимо обработать заново.

В очереди также хранятся дополнительные данные:

количество попыток — сколько раз пытались обработать этот источник;
зависшие задания — массив Id заданий, которые «зависли». Заполняется для будущего анализа.

4. Обработка «Контроль работы»

Форма (см. рисунок выше) состоит из двух списков, которые автоматически обновляются каждые 60 секунд:

список последних выполняемых пакетов с указанием даты и времени запуска, названием пакета и статусом выполнения;
список текущей очереди выполняемых выгрузок данных, который содержит набор источников, правило выгрузки, факт выгрузки, количество элементов, количество работающих фоновых заданий.

По двойному клику по наименованию пакета открывается форма выполнения пакета.

Выбрав пакет двойным кликом в подчиненных документах, можно открыть форму пошагового выполнения пакета.

Также можно открыть правило выгрузки, набор источников или посмотреть факт выгрузки у текущего задания.

Через меню: «Главное» / «Сервис» / «Очередь обработки данных» можно посмотреть очередь из оставшихся источников выгрузки данных и количество попыток соединения с ними.