Настройка процесса выгрузки данных
5 минутное чтение
Для настройки связи правил выгрузки с набором источников данных, а также для уточнения параметров выгрузки и для возможности настраивать расписание получения данных (не обязательно) служит объект (справочник) « Составы выгрузок ».
Размещение. «Быстрый доступ с Начальной страницы (см. Рисунок 1) или через меню: Главная\ Настройки \Составы выгрузок».
Рисунок 1. Начальная страница \ Сбор данных \Составы выгрузок
Рисунок 2. Интерфейс работы с составами выгрузки
Для создания нового элемента нажать кнопку [Создать] (см. Рисунок 2, 1 ).
Возможна настройка запуска получения данных по расписанию и вручную. Для запуска получения данных с настроенным правилом выгрузки и набором данных (Состав выгрузки) вручную, нужно выбрать «Состав выгрузки» и нажать кнопку [Направить задание в очередь] (см. Рисунок 2, 2 ).
Недавно запущенные составы выгрузок можно увидеть в нижней части формы «Составы выгрузок» (см. Рисунок 2, 3 ).
Рисунок 3. Форма для создания Состава выгрузок
Порядок заполнения:
- Заполнить «Набор источников» и «Правила выгрузки » (см. Рисунок 3, 2 и 3 ) – наименование выгрузки (Рисунок 3, 1 ) заполнится автоматически из названия набора источников и правила выгрузки;
- В поле «Таблица выгрузки (из правила)» отобразится таблица, в которую по умолчанию записываются данные. Потягивается из выбранного правила выгрузки (Рисунок 3, 4 ).
- В поле «Таблица выгрузки (альтернативная)» можно ввести альтернативную таблицу, в которую требуется получить данные, вместо таблицы по умолчанию. Таблица должна быть в БД (Рисунок 3, 5 ).
- Установить режим записи данных (см. Рисунок 3, 6 ):
- Добавить – дополнить исходную таблицу новыми данными;
- Очистить и добавить – очистить исходную таблицу и добавить туда полученные данные;
- Скопировать и добавить – скопировать исходную таблицу (у таблицы-копии добавится к названию исходной таблицы суффикс, содержащий дату и время обновления данных), после этого очистить таблицу и добавить туда полученные данные;
- Установить флаг «Делить на потоки по параметрам» (см. Рисунок 3, 7 ), если требуется разделить получение данных на потоки, зависящие от пакетов (наборов) параметров. Не используется при получении данных правилом выгрузки вида «Загрузка из файла».
- Установить требуемые параметры и пакеты параметров (см. Рисунок 3, 8 ).
1. Параметры для получения данных
Для настройки параметров в «Составе выгрузки» переходим по ссылке «Настроить параметры» («Изменить параметры») (см. Рисунок 3, 8 ):
- По умолчанию набор и значения параметров заполняются из выбранного «Правила выгрузки», значения параметров в «Составе выгрузки» можно изменить;
- Если в правиле выгрузки требуется несколько параметров, то нужно добавить и заполнить их;
- Если необходимо использовать несколько запусков получения данных и соответственно несколько групп параметров (например, несколько раз запускать получение данных за разные месяцы), то каждой группе назначаем номер запуска (вручную, для каждого параметра из группы) (см. Рисунок 4, 1 );
- Параметры можно задавать не только константой (см. Рисунок 4, 2 ) , но и вычисляемым выражением (см. Рисунок 4, 3 ), в этом случае проверить значение выражения можно в специальном поле. Для этого нужно установить курсор на выражение в параметре и его значение отобразиться в поле «Значение» (см. Рисунок 4, 6 ). Также можно вручную написать текст для вычисления выражения в поле «Выражение для вычисления параметра» (см. Рисунок 4, 4 ) и нажать на кнопку [=] (см. Рисунок 4, 5 );
- Пока не включен флаг у выражения, оно не будет включаться в запрос получения данных, в этом случае будет использовано значение параметра в виде константы.
Рисунок 4. Вычисление выражения.
Параметры тип дата можно заполнить, используя функции для работы с датами:
ТекущаяДата()– Текущая (системная) дата.ДобавитьМесяц(<Дата>, <ЧислоМесяцев>)– Добавляет (или вычитает) к указанной дате заданное число месяцев. Если<ЧислоМесяцев>принимает отрицательное значение, то число месяцев вычитается.НачалоГода(<Дата>)– Определяет дату и время начала года для указанной даты.НачалоКвартала(<Дата>)– Определяет дату и время начала квартала для указанной даты.НачалоМесяца(<Дата>)– Определяет дату и время начала месяца для указанной даты.НачалоНедели(<Дата>)– Определяет дату и время начала недели для указанной даты.НачалоДня(<Дата>)– Определяет дату и время начала дня для указанной даты.НачалоЧаса(<Дата>)– Определяет дату и время начала часа для указанной даты.НачалоМинуты(<Дата>)– Определяет дату и время начала минуты для указанной даты.КонецГода(<Дата>)– Определяет дату и время конца года для указанной даты.КонецКвартала(<Дата>)– Определяет дату и время конца квартала для указанной даты.КонецМесяца(<Дата>)– Определяет дату и время конца месяца для указанной даты.КонецНедели(<Дата>)– Определяет дату и время конца недели для указанной даты.КонецДня(<Дата>)– Определяет дату и время конца дня для указанной даты.КонецЧаса(<Дата>)– Определяет дату и время конца часа для указанной даты.КонецМинуты(<Дата>)– Определяет дату и время конца минуты для указанной даты.
2. Обработчики
Когда требуется дополнительно обработать данные или скорректировать параметры выполнения (до того как будет получен результат и записан в таблицу хранилища), используются обработчики – специальные скрипты, которые можно внести в поле на вкладке «Обработчики» (см. Рисунок 5):
- Перед постановкой в очередь – используется в основном для обработки данных с помощью плагинов (вид правила – «Произвольный код»), если требуется дополнительная обработка данных до записи их в таблицу хранилища;
- После получения параметров – для переопределения параметров и шаблонов запроса. Может использоваться, например, для инкрементального получения данных с даты последнего обновления - с помощью произвольного кода 1С возможно устанавливать Параметр в Составе выгрузки в значение, с учетом Даты обновления данных, которое сохранено в определеном поле таблицы хранилища. Подробности для разработчика описаны в разделе [Подсказка] – см. Рисунок 6.
Рисунок 5. Составы выгрузок, вкладка Обработчики
Рисунок 6. Подсказка на вкладке «После получения параметров»
3. Дополнительные настройки
Необязательные настройки вынесены на закладку Дополнительно.
Рисунок 7. Составы выгрузок. Дополнительные настройки.
Для установки автоматического запуска получения данных используется «Расписание запуска регламентного задания» (см. Рисунок 7, 1 ). Как настроить расписание, подробно описывается в этой статье.
Дополнительно можно установить приоритет состава выгрузки (см. Рисунок 7, 2 ). Приоритет учитывается в случае, когда одновременно запущены процессы получения данных через несколько составов выгрузки. Т.к. каждый процесс получения делится на потоки, и они работают по очереди, первым будет обрабатываться процесс с более высоким приоритетом.
Идентификатор регламентного задания (см. Рисунок 7, 3 ) устанавливается системой автоматически и используется для отслеживания работы процессов.
Агент для получения данных (см. Рисунок 7, 4 ) выбирается, если требуется получение данных с помощью Агента ETL.