Для указания источника данных нужно настроить подключение к базе-источнику данных. Возможно получать данные из нескольких баз-источников. Для удобства работы однотипные источники объединяются в наборы источников. В наборе может быть один или несколько источников данных.

Т.к. источники данных могут менять месторасположение, менять платформу и т.п., а по сути, остаются тем же самым источником данных, для описания набора источников используется многоуровневая структура метаданных:

Для хранения объекта «Набор источников» служит справочник «Набор источников»;
Для хранения объекта «Источник данных» служит справочник «Источники данных»;
Источники данных объединяются в набор при помощи документа «Регистрация набора источников»:

Поддерживается выбор значения по показателям:

для одного набора источников может быть создан один документ «Регистрация набора источников»;
один источник данных может одновременно входить в несколько наборов данных.

Настройка подключения к источнику состоит из трёх этапов:

установить настройку соединения с базой;
создать элемент справочника «Источник данных»;
создать элемент справочника «Набор источников».

Подробное описание настройки источника – ниже.

Установка соединения с базой

Настроить список доступных баз данных можно в разделе меню: «Размещение данных» / «Базы данных».

Нажмите кнопку «Создать», в открывшемся окне заполните название базы данных (см. рисунок ниже, 1).

Для базы 1С установить тип базы «1С» и тип подключения «COM-Connector» или «Адаптер для 1С») (см. рисунок ниже, 2).

Для типа подключения «COM-Connector» выберите версию платформы 1С (см. рисунок ниже, 3) и заполните имя сервера 1С (см. рисунок ниже, 4), и, при необходимости, имя дублирующего сервера, например, сервера с копией базы-источника (если имеется). Укажите имя пользователя и пароль (см. рисунок ниже, 5):

Для базы СУБД:

выбрать тип базы (MS SQL / PostgreSQL / Oracle / Vertica / ClickHouse / …) и способ доступа («ADODB»). Заполните имя сервера, имя пользователя и пароль для подключения:

Сохраните настройки при помощи кнопки «Записать».

После заполнения настроек проверьте наличие подключения к базе при помощи кнопки «Проверить подключение».

Настройка подключения к базе хранилища данных

Настроить список доступных баз данных можно в разделе меню: «Размещение данных» / «Базы данных».

Нажмите кнопку «Создать», в открывшемся окне (см. рисунок ниже) заполните название базы данных (см. рисунок ниже, 1), тип базы установите «MS SQL» или «PostgreSQL» и тип подключения «ADODB» (см. рисунок ниже, 2), укажите сервер, где расположена база (см. рисунок ниже, 3). Укажите имя пользователя и пароль (см. рисунок ниже, 4). Сохраните настройки при помощи кнопки «Записать».

После заполнения настроек проверьте наличие подключения к базе при помощи кнопки «Проверить подключение» (см. рисунок ниже 5).

2 - Источники данных

Источниками данных для ModusETL могут быть:

базы данных (СУБД);
приложения 1С:Предприятие 8 (базы данных 1С);
файлы;
веб-сервисы.

В ModusETL различают сущности «База данных» и «Источник данных».

«База данных» — описывает подключение к базе данных. Содержит тип СУБД, способ и параметры подключения (адрес / путь, логин, пароль). При этом база данных может выступать как источником данных, так и приемником — хранилищем данных.
«Источник данных» — описывает конкретный источник для получения данных. Источник с видом «База данных» и «Файл» содержит ссылку на «Базу данных», дополнительные параметры подключения (например, «Номер области для облачных баз 1С»), а также дополнительные атрибуты («Организация», «Абонент», «Статус данных» и т.п.). Особенностью для «Источника данных« с видом «веб-сервис» является отсутствие ссылки на «Базу данных», так как параметры подключения задаются в правиле выгрузки.

Для обычных баз данных и 1С-приложений: одна «База данных» — это один «Источник».

Для облачных баз данных 1С, работающих по технологии 1C: Fresh — одна база содержит несколько областей данных и номер области служит разделителем учета для разных организаций. В этом случае источником данных в терминах программного продукта будет конкретная область. Для дальнейшего получения данных определенной организации нужно подключиться к базе данных и установить разделитель учета — номер области.

Для настройки получения данных однотипные источники, из которых требуется получать данные в одном ETL-процессе, необходимо объединять в наборы источников. В наборе может быть один или несколько источников данных.

2.1 - Настройка источников данных

1. Создание подключения — настройка «Базы данных»

Для настройки подключения к источникам (базам данных,1С-приложениям, файлам) или приемникам (в т.ч. хранилищам данных), нужно перейти в «База данных» одним из способов: «Начальная страница» / «Источники данных» / «База данных» или меню: «Размещение данных» / «Справочная информация» / «База данных»:

Для добавления нового подключения нажать кнопку «Добавить» (см. рисунок ниже, 1) и в открывшейся форме выбрать прежде всего тип БД / подключения ( рисунок ниже, 2). Для каждого типа подключения специфичны свои настройки:

Из общих настроек здесь следует упомянуть флаг «Используется для получения данных» (см. рисунок ниже, 1), который влияет на отображение в форме списка:

Флаг «Использовать дублирующий сервер» и поле «Дублирующий сервер» (см. рисунок выше, 2) с адресом альтернативного сервера, на котором может быть размещена копия основной БД.

Если флаг не установлен, то строка для неиспользуемого элемента будет отображаться в форме неактивной:

2. Создание нового источника данных

Чтобы создать новый источник данных, нужно перейти в «Источники данных» одним из способов: «Начальная страница» / «Источники данных» или меню: «Размещение данных» / «Справочная информация» / «Источники данных»:

Элемент справочника можно создать кнопкой «Создать» или копированием существующего источника или кнопкой «Создать элементы по шаблону»:

Дальнейшая настройка зависит от вида источника данных.

3. Настройка разных видов источников данных

Источниками данных могут быть:

база данных (1С или СУБД);
веб-сервис;
файл.

3.1. Настройка для вида «База данных»

Если видом источника данных является «База данных», то необходимо заполнить поля «Вид источника» и «База данных»:

«Базу данных» возможно выбрать из списка настроенных подключений (см. рисунок ниже, 1) или создать новое подключение по кнопке «+Добавить» (см. рисунок ниже, 2):

3.2. Настройка для вида «Веб сервис»

Основная настройка доступа к веб-сервису происходит при установке правил выгрузки. В настройке источника данных на вкладке «Основная» нужно указать вид «Веб-сервис» и при необходимости указать доп.атрибуты (например, организацию, к которой будут относиться полученные данные и прочее).

На вкладке «Дополнительные настойки» необходимо указать «Адрес сервера»:

3.3. Настройка для вида «Файл»

Вид источника данных «Файл» предполагает регулярную загрузку данных из файлов (xlsx, xls или csv), которые размещаются в определенном каталоге, а после обработки переносятся в другой каталог — «Каталог обработанных файлов».

Важно: каталоги должны располагаться на сервере, где находится 1С: ETL.

Источники описывают шаблон группы файлов.

Для источников вида «Файл» указываются следующие параметры:

«Вид источника» — файл;
«База данных» — выбор из справочника «Базы данных». Заполняется если получение данных происходит через ADO-ODBC. Настройка базы данных, описывающей конкретный файл или каталог с файлами, подробнее описана ниже в п.3.4;
«Каталог к файлу» — каталог, с новыми файлами для загрузки;
«Маска файлов» — маска, по которой будет происходить поиск новых файлов в Каталоге к файлу;
«Каталог обработанных файлов, Каталог файлов с ошибками» — каталоги, куда после обработки (успешной или нет) будут перемещены новые файлы;

3.4. Настройка подключения к источнику типа «Файл»

Используется при получении данных через ADO-ODBC.

При настройке «Базы данных» для файлов «XLSX» и «XLS» указываются следующие параметры:

«Тип базы данных» — файл;
«Провайдер СУБД» — шаблон строки подключения с драйверами нужной разрядности;
«Способ доступа» — «ADODB»;
«Путь к файлу» — путь к одному из файлов. При получении данных через «Состав выгрузки» этот параметр может быть переопределен в зависимости от настроек конкретного источника данных

При настройке базы данных — файла «CSV» указываются следующие параметры:

«Тип базы данных» — файл;
«Провайдер СУБД» — шаблон строки подключения с драйверами нужной разрядности;
«Способ доступа» — «ADODB»;
«Каталог», из которого будут загружаться «CSV» файлы нужно указывать не в «Пути к файлу», а в другом параметре — «Имя пользователя».

Сохранить настройки, нажав кнопку «Сохранить».

После настройки базы данных можно выполнить проверку корректности настроек — нажать кнопку «Проверить подключение».

3.4.1. Требования к исходным файлам загрузки

Файлы Excel («XLSX», «XLS»):

в заголовках колонок не должно быть символов перевод строки, точка, запятая, точка с запятой (если в заголовке есть пробелы, то заголовок нужно заключать в квадратные скобки в запросе правила);
длина заголовков колонок не должна превышать 64 символа;
у колонок с данными типа дата должен быть определен формат ячеек — «Дата».

Файлы «CSV»:

заголовки не должны содержать символы «.», «,», перевод строки (если в заголовке есть пробелы, то заголовок нужно заключать в двойные кавычки в запросе правила и в схеме);
если значение содержит в себе CRLF, CR, LF (символы-разделители строк), двойную кавычку или запятую (символ-разделитель полей), то заключение значения в кавычки обязательно. В противном случае — допустимо;
если внутри закавыченной части встречаются двойные кавычки, то используется специфический квотинг кавычек в «CSV» — их дублирование;
ограничить длину наименования названия поля (AS) до 20 символов.

4. Регистрация набора источников

«Регистрация набора источников» предназначена для объединения аналогичных по структуре / конфигурации источников в группу, с тем, чтобы получать данные по единым правилам сразу для всей группы. Открыть форму «Регистрации набора источников» возможно либо с начальной страницы, либо через раздел меню: «Главное» / «Настройки» / «Регистрация набора источников»:

4.1. Заполнение «Регистрации набора источников»:

Выбрать существующий или создать и выбрать новый «Набор источников».
Заполнить таблицу «Источники данных». Варианты заполнения:
по кнопке «Добавить» (см. рисунок выше, 1) — добавляется одна строка при выборе из «Источников данных»;
по кнопке «Подбор» (см. рисунок выше, 2) — возможно открыть форму для «Подбора источников для набора…», для добавления / удаления сразу нескольких источников данных, удовлетворяющих условиям отбора (см. рисунок ниже):

Последовательность действий описана ниже.

Настроить отборы в верхней таблице. По кнопке «Добавить новый элемент» (см. рисунок выше, 3) добавляется строка в таблицу отборов. Настройка отбора осуществляется стандартным для 1С образом.
Автоматически заполнится таблица «Новые источники» с подходящими условиями отбора и еще «не зарегистрированными» элементами для этого набора источников (см. рисунок выше, 4). Возможно установить / снять отметки для конкретной строки таблицы или для всех строк, используя кнопки.
Также автоматически заполнится таблица «Источники для удаления», в которую попадают уже зарегистрированные в наборе источники, но которые не соответствуют текущим условиям отбора (см. рисунок выше, 5).
После нажатия кнопки «ОК» (см. рисунок выше, 6) отмеченные в таблицах «Новые источники» / «Источники для удаления» элементы будут добавлены / удалены из Набора источников.

Для облачных баз 1С: Fresh:

по кнопке «Загрузить из файла» (см. рисунок выше, 3 или рисунок выше, 7) — можно загрузить список областей из xlsx-файла, содержащего номера областей 1С:Fresh. Возможно управлять режимом добавления новых строк — при установленном флаге «Отчищать таблицу» (см. рисунок выше, 4), предварительно очищается табличная часть документа;
по умолчанию включенные в набор источники получают признак «Включить», что говорит о том, что из этого источника будут получаться данные. Сняв этот признак можно исключить источник из Набора источников (эта возможность используется обычно для временного выключения источников из набора).
для проставления / снятия признака «Включить» для всех строк служат кнопки (см. рисунок выше, 5);
в наборе источников выведены также информационные панели, отображающие количество источников в наборе («Всего») и количество источников, для которых установлен флаг «Включено» (см. рисунок выше, 6 и 7);
для случаев, когда возникает ошибка подключения, связанная с временной недоступностью источника, следует указать значение для параметра «Таймаут ожидания» — время ожидания в минутах перед повторной попыткой подключения. Если параметр не указывать, повторная попытка подключения произойдет практически сразу (см. рисунок выше, 8).

Для сохранения настроек нажать кнопку «Записать» / «Записать и закрыть».

Аналогичные описанным выше действиям по заполнению и корректировке набора источников, возможно осуществить в интерфейсе, открывающемся по кнопке «Показать регистрацию» и представленном на следующем рисунке:

5 Сервисные функции по управлению источниками данных

5.1. 1С: Fresh-источники. Интеграция с менеджером облачного сервиса для обновление справочной информации о источниках данных

Для облачных баз 1C: Fresh описание источников данных обычно содержится в Менеджере сервиса и возможно обновлять справочник «Источники данных», подключаясь к Менеджеру сервиса с помощью web-сервиса.

Источники данных и связанные с ними справочники — приложения, базы данных, организации — возможно обновлять вручную или автоматически (регламентным заданием).

Для запуска регламентного задания необходимо настроить «Менеджер облачного сервиса», при помощи которого можно получать информацию об источниках данных. Регламентное задание позволяет устанавливать разные режимы обновления. Например, режим обновления «Обновлять имеющиеся, загружать отсутствующие», позволяющий:

для существующих записей (элемент найден по ключу) обновлять изменившиеся поля;
для новых (элемент не найден по ключевому полю) в справочник добавлять новые записи.

Для активации функционала перейти в меню: «Главное» / «Информация» / «Основные настройки» / «Настройки получения данных» и включите флаг «Использовать менеджер сервиса 1С: Fresh»:

5.1.1. Запуск процедуры вручную

Для запуска процедуры вручную — перейти а меню: «Главное» / «Сервис» / «Загрузка справочной информации»:

5.1.2. Автообновление

Настройка регламентного задания загрузки данных об источниках (областях) через web-сервис осуществляется через меню: «Администрирование» / «Обслуживание» / «Регламентные операции» / «Регламентные и фоновые задания» / «Задание» — «Загрузка Справочной Информации». Регламентное задание нужно создать:

Затем установить флаг «Включено» и настроить расписание обновления:

5.2. Проверка доступности баз данных

5.2.1 Для проверки подключения к конкретной базе данных:

Меню: «Размещение данных» / «Базы данных» / «Выбрать базу», кнопка «Проверить подключение»:

В случае недоступности будет выведено подробное сообщение об ошибке:

5.2.2. Для проверки доступности всех БД

Меню: «Размещение данных» / «Базы данных», установить признак «Для всех баз» и запустить по кнопке «Проверить подключение». После проверки будет выведен отчет о доступности всех подключенных баз данных:

2.2 - Регистрация набора источников

Заполнение «Регистрации набора источников»:

Выбрать существующий или создать и выбрать новый «Набор источников».

Заполнить таблицу «Источники данных». Варианты заполнения:
По кнопке «Добавить» (см. рисунок выше, 1) — добавляется одна строка при выборе из «Источников данных»;
По кнопке «Подбор» (см. рисунок выше, 2) — возможно открыть форму для «Подбора источников для набора…», для добавления / удаления сразу нескольких источников данных, удовлетворяющих условиям отбора (см. рисунок ниже):

Последовательность действий описана ниже.

Настроить отборы в верхней таблице. По кнопке «Добавить новый элемент» (см. рисунок выше, 3) добавляется строка в таблицу отборов. Настройка отбора осуществляется стандартным для 1С образом.
Автоматически заполнится таблица «Новые источники» с подходящими условиями отбора и еще «не зарегистрированными» элементами для этого набора источников (см. рисунок выше, 4). Возможно установить/снять отметки для конкретной строки таблицы или для всех строк, используя кнопки.
Также автоматически заполнится таблица «Источники для удаления», в которую попадают уже зарегистрированные в наборе источники, но которые не соответствуют текущим условиям отбора (см. рисунок выше, 5).
После нажатия кнопки «ОК» (см. рисунок выше, 6) отмеченные в таблицах «Новые источники» / «Источники для удаления» элементы будут добавлены / удалены из Набора источников.

Для облачных баз 1С: Fresh:

по кнопке «Загрузить из файла» (см. рисунок выше, 3) — можно загрузить список областей из xlsx-файла, содержащего номера областей 1С: Fresh. Возможно управлять режимом добавления новых строк — при установленном флаге «Отчищать таблицу» (см. рисунок выше, 4), предварительно очищается табличная часть документа;
по умолчанию включенные в набор источники получают признак «Включить», что говорит о том, что из этого источника будут получаться данные. Сняв этот признак можно исключить источник из набора источников (эта возможность используется обычно для временного выключения источников из набора).
для проставления / снятия признака «Включить» для всех строк служат кнопки (см. рисунок выше, 5);
в Наборе источников выведены также информационные панели, отображающие количество источников в наборе («Всего») и количество источников, для которых установлен флаг «Включено» (см. рисунок выше, 6 и 7);
для случаев, когда возникает ошибка подключения, связанная с временной недоступностью источника, следует указать значение для параметра «Таймаут ожидания» — время ожидания в минутах перед повторной попыткой подключения. Если параметр не указывать, повторная попытка подключения произойдет практически сразу (см. рисунок выше, 8).

Для сохранения настроек нажать кнопку «Записать» / «Записать и закрыть».

Аналогичные описанным выше действиям по заполнению и корректировке набора источников, возможно осуществить в интерфейсе, открывающемся по кнопке «Показать регистрацию»:

3 - Загрузка данных из файлов

3.1 - Загрузка файлов csv и xlsx

Функциональность загрузки файлов дает возможность загрузить данные сформированные и / или обработанные вручную в Excel или данные текстовых файлов «CSV» в таблицу хранилища данных. Чтобы загрузка прошла успешно к содержанию и названию файлам предъявляются обязательные требования:

Заголовки столбцов в загружаемых таблицах не должны содержать управляющие спецсимволы:
- «;»;
- «&»;
- переход на новую строку;
Данные в загружаемых таблицах должны быть отформатированы в соответствии с составом данных и содержать однородную информацию в столбцах:
- текст;
- число;
- дата;
В наборах данных не должно быть пустых строк и столбцов.

1. Мастер загрузки

Доступ к сервису осуществляется через меню: «Главное» / «Сервис» / «Загрузка файла в БД (мастер настройки)»:

Порядок работы:

двигайтесь по шагам мастера;
пока не выполнены условия для перехода на следующий шаг, перейти дальше нельзя;
можно возвращаться на предыдущие шаги и изменять введенные настройки загрузки, а потом продолжать настройки;
в любой момент можно остановить настройку с помощью мастера, при этом уже сделанные настройки не сохранятся;
по окончании настройки можно сохранить сделанные настройки и использовать их для последующих загрузок из файлов аналогичной структуры.

Шаг 1 «Выберите исходный файл и место назначения данных»:

укажите, требуется ли выгружать данные (см. рисунок выше, 1);
выберите базу данных-приемник (см. рисунок выше, 2);
выберите в новую или существующую таблицу должны загрузиться данные (см. рисунок выше, 3);
если был выбран вариант загрузки в существующую таблицу, укажите таблицу выгрузки (вручную или выбрав из списка) (см. рисунок выше, 4);
выберите тип файла (см. рисунок выше, 5);
выберите файл для загрузки (см. рисунок выше, 6);
когда выбран файл и приемник, становится доступна кнопка «Далее» (см. рисунок выше, 7), которая переводит процесс на следующий шаг.

Шаг 2 «Выберите лист»:

по умолчанию для загрузки предлагается первый лист в файле, можно выбрать другой лист (см. рисунок выше, 1);
после выбора листа можно просмотреть данные, которые на нем находятся и убедиться, что лист выбран правильно (см. рисунок выше, 2);
если все верно, переходите на следующий шаг кнопка «Далее» (см. рисунок выше, 3).

Шаг 3 «Настройте диапазон загрузки»:

уточните, где на выбранном листе находится строка заголовка (см. рисунок выше, 1);
начало и окончание диапазона загрузки (см. рисунок выше, 2 и 3);
количество строк предпросмотра на экране ограничено значением 50, так как чем больше строк нужно отобразить, тем дольше будет работать мастер. При необходимости можно увеличить количество строк предпросмотра вручную (см. рисунок выше, 4), строки предпросмотра отображаются (см. рисунок выше, 6);
включенный флаг «Распространить значение в объединенных ячейках» означает, что при наличии в выбранном диапазоне объединенных ячеек, мастер разделит их и все заполнит текущим значением, если флаг выключить (см. рисунок выше, 5);
если все настроено верно, переходите на следующий шаг, нажав кнопку «Далее» (см. рисунок выше, 7).

Шаг 4 «Соответствие исходных данных и таблицы-приемника»:

выбирайте в области предпросмотра нужный столбец, нажимая на его заголовок (см. рисунок выше, 1);
проверьте правильность предложенного системой названия поля, при необходимости измените его (см. рисунок выше, 2);
проверьте правильность предложенного системой типа данных, при необходимости измените его (см. рисунок выше, 3);
если столбец загружать не нужно, то установите переключатель «Импортировать поле» в положение «Нет» (см. рисунок выше, 4);
если все столбцы настроены верно, переходите на следующий шаг, нажав кнопку «Далее» (см. рисунок выше, 5).

Шаг 5 «Проверьте структуру новой таблицы»:

проверьте получившуюся структуру перед загрузкой данных, при необходимости можно поменять названия поле и тип данных (см. рисунок выше, 1);
если структура данных настроена верно, переходите на следующий шаг, нажав кнопку «Далее» (см. рисунок выше, 2).

Шаг 6 «Введите название таблицы и запустите процесс»:

введите название таблицы-приемника (см. рисунок выше, 1);
флаг «Сохранить ошибки при загрузке строк из файла» включает запись ошибок (см. рисунок выше, 2);
если все настроено верно, запустите процесс загрузки, нажав кнопку «Далее» (см. рисунок выше, 3).

2. Настройка загрузки вручную

Доступ к сервису через начальную страницу или через меню: «Главное» / «Сервис» / «Загрузка файла в SQL»:

Порядок работы:

на закладке «Основная» — выбрать файл для загрузки (см. рисунок выше, 1);
нажать кнопку «1. Проанализировать файл». При этом заполнится табличная часть со списком полей таблицы (см. рисунок выше, 2);
в табличной части при необходимости возможно отредактировать «Наименование», «Тип» и «Длину поля в создаваемой SQL-таблице» (см. рисунок выше, 3);
на вкладке «Пред. просмотр» возможно посмотреть, как будет выглядеть таблица:

заполнить параметры на закладке «Все настройки»:

«База данных», «Имя таблицы», «Режим записи в SQL» (см. рисунок выше, 1);
параметры файла, в зависимости от типа (см. рисунок выше, 2, 4);
прочие настройки (см. рисунок выше, 3);
вернуться на закладку «Основная» нажать кнопку «Создать таблицу SQL». Если все верно, выведется сообщение о создании таблицы, иначе — описание ошибки;
нажать кнопку «Загрузить данные в SQL» (вкладка «Основная»). Данные из файла запишутся в SQL-таблицу.

3. Особенности использования «ADO-ODBC»

В ETL есть возможность использования «ADO-ODBC» для загрузки данных файлов.

Примечание: для использования «ADO-ODBC», необходимы соответствующие драйвера.

Для таких источников, со способом подключения «ADODB», в правилах выгрузки используется вид правила «Запрос» и формируется обычный SQL-запрос. Из особенностей можно выделить только описание секции FROM в запросе:

для файлов «XLSX» и «XLS» в секции FROM указывается имя листа, из которого получаются данные в формате ИмяЛиста$. Например, для листа «Лист1» секция FROM будет выглядеть как FROM [Лист1$];
для файлов «CSV» в секции FROM указывается имя файла. Например, SELECT * FROM datafile.csv.

При получении данных через «ADO-ODBC», есть возможность использовать Агента ETL:

для Windows — опционально.
для Unix-подобных систем — обязательно.

Для использования Агента ETL необходимо выбрать его в составе выгрузки на вкладке «Дополнительно»:

3.2 - Загрузка JSON файлов

«Сырые» (первичные) данные — данные, полученные от источника, в формате специфичном для источника, но необязательно совпадающем с форматом данных, используемым в хранилище. Если формат «сырых» данных делает невозможным прямое их помещение в хранилище, необходимо применить алгоритмы извлечения. Выбор алгоритма обусловлен типом данных. Алгоритм извлечения данных нуждается в некоторых настройках, предварительно выполненных пользователем. Данные настройки специфичны как для формата данных, так и для конкретной структуры данных.

Сумма таких настроек является правилом разбора данных.

В ETL правила разбора данных находятся в справочнике «Правила разбора данных». Для того, чтобы открыть справочник «Правила разбора данных»,перейдите в «Панель функций», разделы «Главное» / «Настройки» / «Установить правила разбора данных»:

Правило разбора данных

Задача правила — указать алгоритму извлечения, где в данных находится нужная информация, в какие поля таблицы-приёмника и с каким типом следует её поместить.

Форма правила:

Описание табличной части правила

«Колонка таблицы» (2) — имя колонки таблицы, в которую следует поместить значение из первичных данных.
«Тип поля» (3) — тип данных колонки таблицы.
«Путь к элементу» (4) — описание пути к элементу внутри первичных данных. Используется формат, специфичный для типа первичных данных. Для «JSON» — используется JSONPath, для «XML» — XMLPath и т.д.
«Тип элемента» (5) — ожидаемый тип элемента в первичных данных. Используется для проверки / приведения типа.
Если тип элемента в первичных данных не соответствует указанному, данные элемента загружены не будут.
Если выбрать тип элемента аналогичный типу первичных данных (пример: «JSON-json»), то данные элемента будут загружены в оригинальном формате. Таким образом, можно загружать целиком блоки данных, например массив «JSON» можно поместить в одну колонку таблицы с типом «text» или «jsonb». Если тип поля таблицы и тип поля элемента отличаются, будет выполнена попытка приведения типа элемент к типу поля. В ситуациях когда приведение не очевидно, есть варианты для таких типов, например: «Дата строкой (ISO)» подсказывает что данные имеют строковой тип, но представляют собой дату в ISO-формате.
«!» (6) — флаг необязательного элемента. Необязательным является такой элемент, данные из которого не нужны сами по себе, а только совместно с данными обязательных элементов. Следовательно, если данных в обязательных элементах не окажется, не обязательные загружены не будут.
«По умолчанию» (7) — значение по умолчанию для колонки таблицы. Используется если элемент в данных отсутствует, не содержит значение, или не может быть приведён к типу данных колонки таблицы.
«Набор» (1) — произвольное имя, используется для объединения отдельных строк правила в набор. Наборов может быть несколько. Все наборы описывают общую структуру таблицы приёмника, но содержат разные пути к элементам. Позволяет в одну таблицу загружать строки, полученные из разных областей первичных данных.

Общие свойства правила

«Тип данных» — тип первичных данных, требуется для выбора алгоритма при разборе данных по правилу.
«Кодировка» — позволяет точно указать кодировку элементов с типом «текст» в первичных данных.

Конструкторы правил — инструменты для создания правил на основании образца первичных данных.

Открыть конструктор с пустым правилом возможно из формы списка справочника «Правила разбора данных» используя кнопку:

Из формы элемента справочника «Правила разбора данных» можно открыть в конструкторе конкретное правило используя кнопку:

3.2.1 - Конструктор правил разбора JSON

Конструктор правил выборки позволяет создавать правила выгрузки на основании имеющегося образца с данными в формате «JSON», а также просматривать данные в формате «JSON».

Конструктор умеет собирать статистику по повторяющимся структурам в данных «JSON». Используется это для прогнозирования формата данных и размерностей полей таблицы приёмника, а также визуальной оценки заполняемости полей данными.

Ключевые понятия

«Дерево данных» — структура данных свойственная таким типам данных как «JSON», «XML». В такой структуре каждый элемент может находится в отношениях родитель/подчинённый к другим элементам структуры.
«Узел дерева» — синоним элемента структуры дерева.
«Корень (дерева данных)» — первый узел в иерархии подчинённости дерева данных обозначается как «$».
«Путь элемента» — последовательность имен или индексов узлов от корня дерева до указанного элемента (включительно).
Например: $.ServiceResponses[0].application.details.accident[0].accident_date.
«Точка итерации» — элемент дерева, подчиненные элементы которого имеют одинаковую структуру или тип данных. Обозначается как: «<ИмяЭлемента>[<Параметры среза>]».
«Параметры среза» — параметры описывающие какие именно подчиненные элементы участвуют в выборке.
Для типа данных «Объект» допустимо указание параметров среза только:
- [*] — все элементы.
  Для типа данных «Массив»:
- [*] — все элементы;
- [0, 1, 2, 3] — элементы с индексами 0, 1, 2, 3;
- [20:100] — (диапазон) элементы с индексами от 20 до 100;
- [20:100, 200:300] — (диапазон) элементы с индексами от 20 до 100 и от 200 до 300;
- [20:-1] — (диапазон) элементы от 20 до последнего;
- [-1] — последний элемент.
  Все диапазоны указываются включительно (содержат в том числе и граничные элементы)
«Путь итерации» — последовательность имен или индексов узлов от корня дерева до крайней точки итерации с указанием параметров среза точек итерации.
Например: $.ServiceResponses[-].application.details.accident[0:5].
«Итерационный путь элемента» — последовательность имен или индексов узлов от корня дерева до указанного элемента (включительно), с указанием параметров среза точек итерации.
Например: $.ServiceResponses[-].application.details.accident[0:5] .accident_date.
«Правила разбора данных» — совокупность путей до элементов и / или итерационных путей элементов участвующих в выборке, с указанием сопутствующих параметров (типы данных, имена полей и т.д.).
«Набор правил» — совокупность путей до элементов и / или итерационных путей элементов участвующих в выборке, относящихся к одному пути итерации.
«Распределённый элемент» — элемент, присутствующий в разных ветвях дерева данных, но имеющий для всех экземпляров одинаковый итерационный путь элемента.
«Статистика элемента» — расчётные показатели распределённого элемента, такие как:
- тип данных;
- % в наличии;
- % Null;
- % пустых;
- минимальное и максимальное значение;
- рекомендуемая длина и точность поля таблицы приёмника для элемента.
«Псевдоэлемент дерева» — элемент отображаемого дерева данных, не имеющий под собой конкретной основы в данных. Служит для настройки или асоциации с текущим (на момент выборки) элементом. Например элементы отображающие параметры среза для точки итерации, или элементы означающие имя / индекс текущего (на момент выборки) элемента.

Диалог конструктора

Диалог конструктора имеет две рабочие области (область данных и облать правил) и панель с кнопками служебных функций.
При открытии конструктора для редактирования правила, область данных будет скрыта, а область правила показана. При отрытии конструктора для просмотра данных, наоборот область правила будет скрыта, а область данных показана. Если конструктор открывается для создания / редактирования правила, но с передачей в него данных, обе область быдут показаны. Однако вы в любой момент можете включить / выключить видимость нужных вам областей при помощи кнопок на панели функций:

Область данных

Область данных служит для отображения загруженных данных.
Просмотр данных возможен как в виде дерева, так и в виде текста. Снизу расположены вкладки «Данные (дерево)» и «Данные (текст)», перемещаясь по которым можно изменять способ отображения (дерево или текст). Отображение в виде дерева позволяет только просматривать структуру данных. Текст же можно редактировать.
Дерево имеет два режима просмотра: режим просмотра значений элементов и режим просмотра статистики по значениям распределённых элементов.

Область правил

Область правил содержит коллекцию правил выборки элементов и описание структуры полей таблицы приёмника.

Панель служебных функций

Позволяет:

выполнять выборку данных из предварительно загруженных «JSON»-данных;
управлять праметрами выборки;
загружать «JSON»-данные;
выбирать кодировку элементов «JSON» текстового типа;
устанавливать значение предела итераций для области просмотра данных;
управлять видимостью Области данных;
управлять видимостью Области правил;
отслеживать текущие процессы конструктора (отображается в правом верхнем углу);
переключать режим отображения дерева данных (статистика / значения).

Представленные функции

«Загрузить JSON» — позволяет загрузить JSON данные. После загрузки данные будут доступны для просмотра в Области данных.

«Кодировка» — позволяет явно указать какую кодировку нужно использовать при выборки данных текстового типа.
Автоопределение будет срабатывать только при наличии в загруженных данных Byte Order Mark (BOM).

«Предел итераций» — позволяет ограничить количество элементов отображающихся в узле дерева данных выбранным значением.

Также влияет на количество элементов участвующих в расчёте статистики, ограничивая его выбранным значением для каждого узла (точки) итерации (например для значения в 100 элементов при 2 точках итерации (в пути до элемента) фактическое количество будет равно 100 - 100 = 10 000).

Цель данного ограничителя — снизить нагрузку на сервер и тем самым сократить временные задержки в реакции интерфейса пользователя, при разворачивании дерева данных в области данных конструктора.

Если необходимо расчитать статистику максимально точно, целесобразно увеличить значение до максимально необходимого, что конечно приведёт к увеличению задержки при разворачивании узлов дерева.

Предел итераций влияет только на отображаемые данные.
На результат извлечения данных предел итераций никак не виляет.

«Видимость области данных» — включает / выключает отображение области данных конструктора:

«Видимость области правил» — включает / выключает отображение области правил конструктора:

«Выбрать данные» — запускает процесс извлечения данных по правилу. По окончании процесса откроется окно просмотра выбранных по правилу данных:

«Параметры выборки» — позволяет указать дополнительные параметры выборки.

Доступные параметры:

«Использовать null как значение по умолчанию» — при активизации данного параметра алгоритм выборки будет игнорировать настройки правила в части установленных значений по умолчанию, значения отсутствующих элементов будут загружены как null-значения.

Полезно для визуального анализа заполняемости таблицы приёмника данными.

Не влияет на последующее использование правила.

«Выбор режима дерева данных» — позволяет переключать дерево данных (в области данных) между режимами просмотра данных и просмотра статистики.
Состояние выключателя:

включен — дерево отображает статистику;
выключен — дерево отображает значения.

«Текущий путь итерации» — путь итерации текущего набора правил.

Текущий путь итерации имеет два режима отображения. Режим отображения зависит от режима отображения дерева данных:

«Режим отображения дерева данных» — показывать статистику:

Если текущий путь итерации не умещается целиком на экране, при помощи кнопок:

можно сдвигать элементы пути вправо/влево для обзора всех элементов.

«Режим отображения дерева данных» — показывать значения:

«Сбросить текущий путь итерации» — позволяет сбросить текущий путь итерации в одно действие.

Доступна если список правил пуст или область правила откреплена от области данных.

Область данных

Область данных служит для отображение загруженных ранее данных.

Отображение возможно в виде дерева и в виде текста.

Дерево данных может отображать данные в режиме статистики и в режиме значений.

Дерево данных: режим статистики

Описание полей представлено ниже.

«Имя» — имя элемента дерева данных или имя псевдоэлемента или параметры среза в виде строки.
«Признак точки итерации» — обозначает узлы выбранные в качестве точек итерации:

«Тип» — тип «JSON»-элемента. Если элементы, будучи распределёнными, имеют разные типы то они будут перечислены через запятую, а поле окрасится красным цветом. Данные из полей смешанного типа допускается собирать только в виде JSON данных (см. настроку правила).
«Всего %» — процент значений элемента в выборке по текущему правилу от общего числа строк в результате выборки.
«Null %» — процент отсутствующих значений элемента в выборке по текущему правилу от общего числа строк в результате выборки. Сюда входят как элементы со значениям null, так и элементы отсутствующие, но ожидаемые. Элемент является ожидаемым если в некоторых узлах он присутствует, а в других нет.
«Пустые %» — процент пустых значений элемента в выборке от общего числа строк в результате выборки. К пустым относятся пустые строки для текстового типа элемента и нулевое значение элемента для числового типа элемента.
«Мин.» — минимальное значение элемента в выборке. Для числового типа элемента — это минимальное числовое значение элемента. Для текстового типа элемента — это минимальная длина строки. По типам данных элемента отличным от текстового или числового данный показатель не рассчитывается.
«Макс.» — максимальное значение элемента в выборке. Для числового типа элемента — это максимальное числовое значение элемента. Для текстового типа элемента — это максимальная длина строки. По типам данных элемента отличным от текстового или числового данный показатель не рассчитывается.
«Длина» — рекомендуемая для поля таблицы приёмника длина. Для строкового типа — длина строки. Для числового — максимальное количество цифр в числе. Например, для числа 91234567.89 длина — 10. Этот показатель идентичен параметру поля таблицы СУБД character_maximum_length и precision соответственно для строк и чисел. Подсчитывается только для числового и текстового типов элемента.
«Точность» — рекомендуемая для поля таблицы приёмника размер дробной части. Этот показатель идентичен параметру поля таблицы СУБД scale. Подсчитывается только для числового типа элемента.

При наличии точек итерации (относительно которых нижележащие структуры повторяются) в пути к элементу, расчёт показателей статистики происходит с помощью анализа значений повторяющихся структур. В отсутствии точек итерации статистические показатели расчитываются для единичных элементов.

Дерево данных: режим значений

Описание полей представлен ниже.

«Имя» — имя элемента дерева данных или имя псевдоэлемента или параметры среза в виде строки.
«Признак точки итерации» — обозначает узлы выбранные в качестве точек итерации:

«Тип» — тип «JSON»-элемента.
«Значение» — поле отображающее значение элементов чиcловых и булевых типов, а также null.
«Строковое значение» — поле отображающее значение элементов строкового типа.

Разделение на разные колонки отображаемых значений по типам сделано для улучшения читаемости данных в таблице-дереве.
В режиме дерева данных «просмотр значений» функции по работе с точками итерации не доступны (выбор/отмена выбора узла в качестве точки итерации, настройка параметров среза).

Панель функций дерева данных

Позволяет выбрать элемент дерева в качестве точки итерации или отменить выбор элемента в качестве точки итерации. При отмене выбора элемента в качестве точки итерации все нижележащие точки итерации будут также отменены.

Чтобы выбрать элемент в качестве точки итерации его необходимо предварительно развернуть. В момент разворачивания будет прочитана структура нижележащих элементов и проведена оценка возможности использования данного узла в качестве точки итерации. Оценка проводится на предмет совпадения типов данных элементов. Типы должны быть одинаковыми и не содержать смешанные типы.

Доступна только в режиме просмотра статистики.

Кнопка на рисунке выше открывает диалог настройки параметров среза точки итерации. Доступна только для настройки параметров среза элемента типа Массив.

Для настройки параметров среза, необходимо предварительно развернуть узел дерева выбранного в качестве точки итерации. В списке элементов выбрать псевдоэлемент с изображением:

Кнопка функции станет активной.
Доступна только в режиме просмотра статистики.

Кнопка на рисунке выше позволяет посмотреть все значения распределённого элемента. Предварительно нужный элемент необходимо выбрать в дереве данных.

Отображается только в режиме просмотра статистики.

Кнопка на рисунке выше включает / отключает сбор и отображение статистики в режиме просмотра статистики.

Если объём данных большой, а посмотреть нужно только структуру дерева, можно использовать эту функцию и отключить сбор статистики. Вернуться к сбору статистики можно в любой момент.

Отображается только в режиме просмотра статистики.

Кнопка на рисунке выше отображает путь до текущего выбранного элемента дерева.

Псевдоэлементы дерева данных

При выборе элемента дерева в качестве точки итерации элемент сворачивается, а в его содержимом появляется два псевдоэлемента:

«Параметры среза» — отображает текущую настройку среза в виде строки вида “[0:5, 10, 20:-1]” или “[-]”. Содержит в качестве дочерних элементов свернутую структуру повторяющихся элементов. По двойному нажатию открывает диалог настройки параметров среза. В контекстном меню элемента присутствует команда «Параметры среза», которая также открывает диалог настройки параметров среза.

«Текущее положение» — имя элемента зависит от типа радителя, для массива — «Индекс элемента», для объекта «Имя элемента». Используется для формирования правила выборки имени / индекса текущего элемента, методом перетаскивания в область правила. Если в результатах выборки нужно получать не только данные элементов, но и их имена/индексы, используйте этот элемент для формирования соответствующей строки правила.

Контекстное меню дерева данных

Отображается по правому клику мыши на элементе дерева данных.

Функциональность аналогична «Панели функций дерева данных».

Диалог настройки параметров среза

Отображает настройки параметров среза выбранного элемента.
Каждая строка задаёт диапазон значениий или единичный элемент. Единичные элементы указываются ввиде одинаковых индексов для начала и конца диапазона. Нумерация индексов начинается с нуля. Если необходимо указать элементы с конца, необходимо указывать отрицательные знаяения:

«-1» — последний элемент;
«-2» — предпоследний и т.д.

Внесённые изменения применятся при закрытии окна диалога настроек параметров среза.

Если в списке правила присутствуют элементы содержащие в пути настраиваемую точку итерации, их пути автоматически скорректируются под новые параметры среза.

Просмотр данных в виде текста

В нижнем левом углу присутствуют вкладки:

перемещаясь по которым, можно изменять способ отображения данных (дерево или текст). Дерево позволяет только просматривать структуру данных JSON. Текст можно редактировать. Окно просмотра данных в виде текста находится на вкладке «Данные (текст)».

В окне просмотра текста имеется кнопка команды позволяющая отформатировать текст для улучшения читаемости.

Область правила

Область правил содержит коллекцию строк с правилами выбора значений и панель с функциями для работы с коллекцией.

Коллекция строк с правилами выбора значений

Значения колонок таблицы коллекции:

«Имя поля» — имя колонки таблицы в которую следует поместить значение из первичных данных.
«Тип поля» — тип данных колонки таблицы
«Путь к элементу» — описание пути к элементу внутри первичных данных в формате «JSONPath».
«Тип элемента» — ожидаемый тип элемента в первичных данных. Используется для проверки/приведения типа. Если тип элемента в первичных данных не соответствует указанному, данные элемента загружены не будут. Если выбрать тип элемента аналогичный типу первичных данных (пример: «JSON-JSON»), то данные элемента будут загружены в оригинальном формате. Таким образом можно загружать целиком блоки данных, например массив «JSON» можно поместить в одну колонку таблицы с типом text или «JSONb». Если тип поля таблицы и тип поля элемента отличаются, будет выполнена попытка приведения типа элемент к типу поля. В ситуациях когда приведение не очевидно, есть варианты для таких типов, например: «Дата строкой (ISO)» подсказывает, что данные имеют строковой тип, но представляют собой дату в ISO формате.
«!» — флаг необязательного элемента. Необязательным является такой элемент, данные из которого не нужны сами по себе, а только совместно с данными обязательных элементов. Таким образом, если данных в обязательных элементах не окажется, не обязательные загружены не будут.
«По умолчанию» — значение по умолчанию для колонки таблицы. Используется если элемент в данных отсутствует, не содержит значение или не может быть приведён к типу данных колонки таблицы.

Если данные были загружены в конструктор, но отображение панели данных не включено, то будет показана ещё одна колонка:

В этой колонке отображаются кнопки:

по нажатии на которые окрывется панель данных (панель правил при этом скрывается), что позволяет выбрать в дереве данных целевой элемент для строки правила. Выбор осуществляется двойным нажатием кнопки мыши. Такой вариан использования подойдёт, если разрешение монитора не позволяет разместить панель данных и панель правила одновременно на экране.

Внизу коллекции строк находятся вкладки наборов:

Наборы позволяют загружать в одну таблицу строки, полученные из разных областей первичных данных. Все наборы описывают общую структуру таблицы приёмника, но содержат разные пути к элементам. Для добавления / удаления наборов используются кнопки на панели функций.

Панель функций

На панели функций представлены следующие функции для работы с коллекцией.

Перемещение строк коллекции по списку. При этом меняется очерёдность в которой колонки будут описаны при создании таблицы.

Добавляет новую строку правила загрузки элемента в коллекцию.

Сортирует строки коллекции по имени колонки (по возрастанию).

Очищает пути к элементам у всех строк текущего набора.

Полностью очищает коллекцию правил

Заполняет значения по умолчанию типовыми значениями. Заполняются только те позиции в коллекции, значение по умолчанию для которых выставлено в Null.

Открывает коллекцию как таблицу в отдельном окне. Эта функция позволяет сохранить правила в табличный документ (файл), или перенести коллекцию (через буфер обмена) в другое правило или в другой конструктор. Например из ETL тестового контура в рабочий. Таблица доступна для редактирования. Все внесённые изменения отразятся на коллекции правил после закрытия окна с таблицей.

Сохраняет текущее правило в справочник правил разбора данных. Если правило новое, то будет предложено ввести имя. Если правило модифицируется пользователем, то данная кнопка подсвечивается розовым контуром, для сигнализации о необходимости сохранения изменений.

Поле с именем текущего правила разбора данных. При необходимости, правило можно поменять через стандартный диалог выбора из выпадающего списка.

Открепляет / прикрепляет правила к дереву данных. Дерево данных сворачивается согласно пути итерации текущего набора. При модификации пути итерации будет происходить автоматическая синхронизация путей правил с путём итерации. Если необходимо временно отключить автоматическую синхронизацию, то с помощью данной функции это можно сделать. При это откреплённое правило будет отображать свой собственный путь итерации соответствующий правилу

Кнопка:

служит для ручной синхронизации итерационного пути дерева с итерационным путём правила.

Меняет местами панель данных и панель правила.

Показывает / скрывает колонку значений по умолчанию.

Добавляет новый набор.

Позволяет задать произвольное имя текущего набора.

Удаляет текущий набор.

Добавление элементов в коллекцию строк правила

Добавить новый элемент в коллекцию можно:

перетащив его из дерева данных в область правила. При этом, если это единичный элемент будет создана одна строка в правиле. Если элемент содержит дочерние элементы и развернут, то в правило будут добавлены строки соответствующие дочерним элементам с типами строка, число, булево. Если элемент не развёрнут, то он добавится в виде одной строки с типом данных JSON, что позволит загрузить всю ветвь в виде строки в ячейку таблицы;
перетащив его из дерева данных в область правила на поле «Путь к элементу» с незаполненым путем. Имя поля таблицы и тип поля останутся без изменения, а путь и тип элемента заполнятся значениями перетаскиваемого элемента;
предварительно выдилив в дереве данных несколько элементов, перетащить их на область правила. Добавится столько строк правила, сколько было выделено элементов типа строка, число, булево;
при отключенной панели данных двойным щелчком на поле с изображением:

открыть область данных и в ней выбрать (двойным щелчком) целевой элемент дерева.

4 - Настройка выгрузки данных

4.1 - Настройка правил выгрузки данных

Создать новый / отредактировать существующий документ «Установить правила выгрузки».

Заполнение:

«Правило выгрузки» — выбрать из справочника, при необходимости создать новое;
«Тип правила» («Рабочее», «Разовое» и т.п.) — информационное поле для удобства поиска правил с определенным типом / статусом;
«Тип приемника» — выбрать из вариантов:
- «Таблица произвольной СУБД (ADO)» — не требует доп. настроек, используется по умолчанию;
- «Таблица внешнего источника данных» — требует настройки внешнего источника в конфигураторе 1С;
«Вид правила» — от вида правила зависит способ получения данных.
Виды правил выгрузки:
«Вкладка «SQL»:
- база данных (см. рисунок ниже, 1) — выбрать из справочника баз данных базу-приемник;
- таблица выгрузки (см. рисунок ниже, 2) — таблица-приемник. Эта таблица может уже существовать в базе-приемнике или можно ввести название еще несуществующей таблицы, а в последствии, когда ее поля будут описаны на вкладке «SQL» (см. рисунок ниже, 4) создать ее при помощи кнопки «Создать таблицу в SQL» (см. рисунок ниже, 3);
- «Описание полей запроса и полей таблицы-приемника. Описывать поля запроса и поля выгрузки можно после соответствующих настроек для вида правила (см. ниже). Заполнять описание полей не обязательно, если предполагается получать данные разово в отчет или в файл;
- версионирование для таблицы-приемника включается отдельной процедурой;

вкладка «Обработчики» — используется для настройки постобработки данных в особых случаях. Например, для преобразования / форматирования полученных значений; заполнения геокоординат по адресу и т.д.;
вкладка «Служебные поля» — используется для настройки аудиторских полей. После выбора режима, при создании таблицы поля будут добавлены в нее вместе с полями на вкладке SQL. По умолчанию используется режим — основной;
«Провести документ» — кнопка «Провести» / «Провести и закрыть». При проведении происходит запись («Период», «Регистратор», «Правило») в регистр «Правила выгрузки». Этот регистр служит для хранения истории документов-регистраторов для конкретного правила и получения актуального правила и актуального регистратора, что используется, например, в «Обработке выгрузки данных».

Настройка собственно правил получения данных зависит от вида правила выгрузки.

4.1.1 - Настройка служебных полей

В документе «Настройка правил выгрузки» перейти на вкладку «Служебные поля» и выбрать из выпадающего списка режим заполнения служебных полей:

При необходимости можно отредактировать — нажать:

или создать новый режим — нажать:

в выпадающем списке:

При создании добавить нужные поля. Для вывода различных значений можно использовать поле «ATTRIBUTE» (по умолчанию не содержит значения). Или добавить новое поле:

Значения можно выбрать из готового списка реквизитов справочника «Источники данных»:

или использовать выражения в контексте 1C, для вывода определенного значения:

Далее сохранить изменения и закрыть форму, нажав кнопку «Записать и закрыть».

Примечание. При редактировании режима изменения повлияют на все правила, где он используется.

4.1.2 - Настройка правила вида «Запрос»

Перечень дествий описан ниже.

Заполнить «Текст запроса» на языке 1C или SQL. Заполнить «Параметры запроса» (типичным параметром является период выгрузки, в этом случае установить параметры «ДатаНачала» и «ДатаКонца»). Для добавления параметра необходимо перейти на вкладку «Настройка параметров» и нажать ссылку «Настроить параметры»:

Откроется интерфейс, в котором возможно:

заполнить наименования параметров из запроса по кнопке «Заполнить из запроса» (см. рисунок выше, 1);
добавить строки параметров по кнопке «Добавить» (см. рисунок выше, 2) и заполнить поля: «Имя параметра», «Номер пакета / этапа» (если пакет / этап один, то выбрать «=1»), «Значение параметра» (см. рисунок выше, 3).
Вместо значения параметра возможно, проставив соответствующий флаг, заполнить поле «Выражение для вычисления параметра» на языке 1С (см. рисунок выше, 4). Результат расчета выражения возможно проконтролировать в поле «Значение» (см. рисунок выше, 5).
При необходимости следует запускать запрос более 1 раза с разными значениями параметров. Возможно заполнить значения параметров, объединенных в наборы / пакеты, заполняя для строк параметров объединяющий признак «Номер пакета». Это необходимо в случае, если из-за особенностей запроса его можно запускать, например, только помесячно, но требуется получить данные за несколько (N) месяцев — при этом запрос будет запускаться N раз с периодом 1 месяц.
Для параметров типа «дата / дата-время» существует помощник заполнения наборов / пакетов, запускаемый по кнопке «Заполнить наборы параметров» (см. рисунок выше, 6).

В форме необходимо ввести период дат «с … по», периодичность (день / неделя / месяц / квартал), смещение (время в секундах, которое будет добавлено к параметру даты) и вид периода (начало / конец периода) и нажать кнопку «Заполнить»:

Результатом будут заполненные строки параметров для пакетов получения данных:

4.1.3 - Настройка правила вида «Произвольный код»

Такие правила используются для источников отличных от баз данных SQL / 1С, например, получения данных из web-сервисов и разрабатываются квалифицированным разработчиком 1С.

Требуется заполнить вкладки:

«Обработчик получения списка полей таблицы»;
«Обработчик получения данных»;
«Обработчик получения списка параметров»;
«Данные модуля»;
«Настройка параметров».

4.1.4 - Настройка правила вида «Загрузка из файла»

При загрузке из файла необходимо настроить правила работы с данным файлом. Для хранения этих правил создан справочник «Настройки загрузки из файла».

Примечание. Для получения данных через «ADO-ODBC» необходимо использовать правила выгрузки вида «Запрос».

Установка настроек загрузки из файла

Примечание. «Настройки загрузки из файла» удобно формировать с помощью обработок «Загрузка файла в БД» и «Загрузка файла в БД (мастер настройки)», которые подробно описаны в п. 14.1.

Открыть справочник можно из формы документа «Установить правила выгрузки», либо через меню «Главное» / «Настройки» / «Настройки загрузки из файла».

Необходимо создать новый элемент. В новом элементе нужно заполнить название настройки и следующие вкладки:

«Основная» — заполнить путь к файлу и список колонок, содержащихся в файле, название выходного поля, номер колонки в файле и тип данных.

«Правила исключения строк» — можно настроить правила отбора строк, которые не должны загружаться.

«Настройки» — установить настройки куда выгружать данные и режим записи, настройки получения данных из файла.

Дополнительно можно заполнить описание на вкладке «Описание» и использовать обработчики — специальные скрипты, которые можно внести в поле на вкладке «Обработчики».

4.1.5 - Настройка правила вида «Схема источника (СКД)» для 1С-источника

В качестве «Схемы источника» используется настройка отчета через систему компоновки данных (СКД) в базе определенной конфигурации 1С. Такой способ получения данных предполагает управление схемой СКД источника из Modus: ETL, передавая параметры и правила компоновки данных. Способ управления схемой СКД отчета в источнике используется, когда необходимые данные проблематично получить 1С-запросами, например, для среднесписочной численности работников.

Настройки отчета источника сохраняются в специальном справочнике «Отчеты конфигураций». Открыть справочник можно из формы документа «Установить правила выгрузки» (размещение: «Начальная страница» / «Сбор данных» / «Установка правил выгрузки»).

Создайте новый документ «Установить правила выгрузки». Выберите вид правила «Схема источника (СКД)».

Раскройте раздел «Настройки схемы компоновки данных». И в выпадающем списке «Схема источника» нажмите «Показать все» и выберите нужный отчет:

Откроется справочник «Схемы компоновки данных источников». Для создания нового элемента нажмите кнопку «Создать»:

Настройка элемента справочника «Схемы компоновки данных источников»

При настройке элемента справочника «Схемы компоновки данных источников» используются настройки из базы-источника. Для получения этих настроек, в форме нового элемента необходимо выбрать «Расположение схемы» и нажать кнопку «Импортировать из источника»:

Сделайте необходимые установки в мастере для импорта отчета:

выберите базу-источник;
выберите тип метаданных («Отчет» или «Справочники»);
выберите требуемый объект для импорта (настроенный на СКД отчет);
в открывшемся списке схем отчета, настроенного на СКД, выберите схему отчета для импорта (если нужно получать данные по нескольким схемам, для каждой схемы настройте отдельный элемент справочника «Схемы компоновки данных источников»);
выберите вариант настроенного на СКД отчета, (если нужно получать данные по нескольким вариантам отчета, для каждого варианта настройте отдельный элемент справочника «Схемы компоновки данных источников»).

В результате работы мастера по импорту настроек отчета из СКД:

будет автоматически заполнено «Наименование элемента справочника», оно компонуется из названия базы-источника, названия отчета и названия варианта отчета. Таким образом легко идентифицировать импортированные настройки;
будут загружены все настройки из выбранного отчета, выбранной схемы и выбранного варианта на закладах «Отбор», «Параметры», «Порядок», «Условное форматирование», «Поля», «Настройки»;
будут заполнены информационные поля на закладке «Дополнительно»:

Если в исходном отчете дополнительно к схеме есть настройки в виде программного кода, требуется установить флаг «Отчет требует инициализации» на закладке «Дополнительно». Сама инициализация, т.е. получение и запуск программного кода, будет происходить при исполнении отчета (получении данных).

В импортированные настройки можно вносить изменения: добавлять и группировать поля. При добавлении поля можно использовать вложенные данные до второго уровня вложенности. Например, «Организация.ИНН».

Сохраните элемент справочника и выберите его из списка в документе «Установка правил выгрузки».

Настройка правила на основе схемы источника

Настройка схемы компоновки данных:

на вкладке «Страница основная» выберите элемент справочника «Схема источника»;
набор параметров на вкладке «Настройка параметров» заполнится автоматически из настроек схемы отчета в выбранном элементе. Если в исходном варианте отчета на СКД в базе данных были внесены изменения в параметры, можно получить эти изменения при помощи кнопки «Обновить отчет» на вкладке «Страница основная».

Вкладка «SQL»:

поля запроса и выходные поля таблицы заполнены автоматически из настроек выбранного элемента справочника «Схемы компоновки данных источников»;
требуется заполнить типы полей.

На вкладке «Настройки представления полей» требуется указать, поля типа «ссылка» для автоматической генерации представления. При получении данных, ссылки будут заменены на строковые значения полей.

Остальные настройки аналогичны настройкам правила вида «Запрос».

Запуск правила вида «Схема источника» может быть только в автоматическом режиме через механизм «Состав выгрузки». Получить данные через сервис «Выгрузка в отчет» невозможно.

Ограничения при использовании СКД

Расположение схемы «База-источник»

Нельзя использовать СКД, у которых:

в настройках используется кросс-таблица;
в параметрах используются не примитивные типы (ссылки, массивы ссылок и т.п.);
есть набор данных — объект;
запросы в наборах данных требуют программной модификации / перезаполнения.

Расположение схемы «Локально в хранилище ETL»

Здесь действуют те же ограничения, что и в пп. 6.6.3.1, но так как схему можно изменить (создать с нуля), то эти ограничения можно обойти, например, вместо ссылок использовать код или наименование.

Для любых схем

Схему в ETL можно настраивать только в толстом клиенте.

Нельзя получить данные с видом правила «Схема источника» через агента ETL.

Особенности формирования схемы СКД:

Параметры для виртуальных таблиц следует указывать в фигурных скобках:

Период — для таблиц «СрезПоследних», «СрезПервых», «Остатки»;
НачалоПериода, КонецПериода — для таблиц «Обороты», «ОстаткиИОбороты».

Например:

ВЫБРАТЬ ИЗ
РегистрСведений.КурсыВалют.СрезПоследних({&ПараметрДата},
Валюта = &ПараметрВалюта)

В настройках схемы СКД следует, в общем случае, отключить вывод общих итогов по горизонтали и по вертикали.

4.2 - Настройка состава выгрузки данных

Для настройки связи правил выгрузки с набором источников данных, а также для уточнения параметров выгрузки и для возможности настраивать расписание получения данных (не обязательно) служит объект (справочник) «Составы выгрузок».

Размещение: через меню «Главная» / «Настройки» / «Составы выгрузок» или с начальной страницы:

Для создания нового элемента нажать кнопку «Создать» (рисунок выше, 1).

Возможна настройка запуска получения данных по расписанию и вручную. Для запуска получения данных с настроенным правилом выгрузки и набором данных (состав выгрузки) вручную, нужно выбрать «Состав выгрузки» и нажать кнопку «Направить задание в очередь» (рисунок выше, 2).

Недавно запущенные составы выгрузок можно увидеть в нижней части формы «Составы выгрузок» (рисунок выше, 3).

Порядок заполнения:

заполнить «Набор источников» и «Правила выгрузки» (см. рисунок выше, 2 и 3) – наименование выгрузки (рисунок выше, 1) заполнится автоматически из названия набора источников и правила выгрузки;
в поле «Таблица выгрузки (из правила)» отобразится таблица, в которую по умолчанию записываются данные. Потягивается из выбранного правила выгрузки (рисунок выше, 4).
в поле «Таблица выгрузки (альтернативная)» можно ввести альтернативную таблицу, в которую требуется получить данные, вместо таблицы по умолчанию. Таблица должна быть в БД (рисунок выше, 5).
установить режим записи данных (см. рисунок выше, 6):
- Добавить – дополнить исходную таблицу новыми данными;
- Очистить и добавить – очистить исходную таблицу и добавить туда полученные данные;
- Скопировать и добавить – скопировать исходную таблицу (у таблицы-копии добавится к названию исходной таблицы суффикс, содержащий дату и время обновления данных), после этого очистить таблицу и добавить туда полученные данные;
установить флаг «Делить на потоки по параметрам» (см. рисунок выше, 7), если требуется разделить получение данных на потоки, зависящие от пакетов (наборов) параметров. Не используется при получении данных правилом выгрузки вида «Загрузка из файла».
установить требуемые параметры и пакеты параметров (см. рисунок выше, 8).

1. Параметры для получения данных

Для настройки параметров в «Составе выгрузки» переходим по ссылке «Настроить параметры» («Изменить параметры») (см. рисунок выше, 8):

по умолчанию набор и значения параметров заполняются из выбранного «Правила выгрузки», значения параметров в «Составе выгрузки» можно изменить;
если в правиле выгрузки требуется несколько параметров, то нужно добавить и заполнить их;
если необходимо использовать несколько запусков получения данных и соответственно несколько групп параметров (например, несколько раз запускать получение данных за разные месяцы), то каждой группе назначаем номер запуска (вручную, для каждого параметра из группы) (см. рисунок ниже, 1);
параметры можно задавать не только константой (см. рисунок ниже, 2) , но и вычисляемым выражением (см. рисунок ниже, 3), в этом случае проверить значение выражения можно в специальном поле. Для этого нужно установить курсор на выражение в параметре и его значение отобразиться в поле «Значение» (см. рисунок ниже, 6). Также можно вручную написать текст для вычисления выражения в поле «Выражение для вычисления параметра» (см. рисунок ниже, 4) и нажать на кнопку «=» (см. рисунок ниже, 5);
пока не включен флаг у выражения, оно не будет включаться в запрос получения данных, в этом случае будет использовано значение параметра в виде константы.

Рисунок 4. Вычисление выражения.

Параметры тип дата можно заполнить, используя функции для работы с датами:

ТекущаяДата() — текущая (системная) дата;
ДобавитьМесяц(<Дата>, <ЧислоМесяцев>) — добавляет (или вычитает) к указанной дате заданное число месяцев. Если <ЧислоМесяцев> принимает отрицательное значение, то число месяцев вычитается;
НачалоГода(<Дата>) — определяет дату и время начала года для указанной даты;
НачалоКвартала(<Дата>) — определяет дату и время начала квартала для указанной даты;
НачалоМесяца(<Дата>) — определяет дату и время начала месяца для указанной даты;
НачалоНедели(<Дата>) — определяет дату и время начала недели для указанной даты;
НачалоДня(<Дата>) — определяет дату и время начала дня для указанной даты;
НачалоЧаса(<Дата>) — определяет дату и время начала часа для указанной даты;
НачалоМинуты(<Дата>) — определяет дату и время начала минуты для указанной даты;
КонецГода(<Дата>) — определяет дату и время конца года для указанной даты;
КонецКвартала(<Дата>) — определяет дату и время конца квартала для указанной даты;
КонецМесяца(<Дата>) — определяет дату и время конца месяца для указанной даты;
КонецНедели(<Дата>) — определяет дату и время конца недели для указанной даты;
КонецДня(<Дата>) — определяет дату и время конца дня для указанной даты;
КонецЧаса(<Дата>) — определяет дату и время конца часа для указанной даты;
КонецМинуты(<Дата>) — определяет дату и время конца минуты для указанной даты.

2. Обработчики

Когда требуется дополнительно обработать данные или скорректировать параметры выполнения (до того как будет получен результат и записан в таблицу хранилища), используются обработчики — специальные скрипты, которые можно внести в поле на вкладке «Обработчики»:

«Перед постановкой в очередь» — используется в основном для обработки данных с помощью плагинов (вид правила – «Произвольный код»), если требуется дополнительная обработка данных до записи их в таблицу хранилища;
«После получения параметров» — для переопределения параметров и шаблонов запроса. Может использоваться, например, для инкрементального получения данных с даты последнего обновления — с помощью произвольного кода 1С возможно устанавливать параметр в составе выгрузки в значение, с учетом даты обновления данных, которое сохранено в определеном поле таблицы хранилища. Подробности для разработчика описаны в разделе «Подсказка»:

3. Дополнительные настройки

Необязательные настройки вынесены на закладку «Дополнительно».

Для установки автоматического запуска получения данных используется «Расписание запуска регламентного задания» (см. рисунок выше, 1). Как настроить расписание, подробно описывается в этой статье.

Дополнительно можно установить приоритет состава выгрузки (см. рисунок выше, 2). Приоритет учитывается в случае, когда одновременно запущены процессы получения данных через несколько составов выгрузки. Так как каждый процесс получения делится на потоки, и они работают по очереди, первым будет обрабатываться процесс с более высоким приоритетом.

Идентификатор регламентного задания (см. рисунок выше, 3) устанавливается системой автоматически и используется для отслеживания работы процессов.

Агент для получения данных (см. рисунок выше, 4) выбирается, если требуется получение данных с помощью Агента ETL.

4.3 - Механизм извлечения данных с использованием обработок plug-in’ов (модулей получения данных)

Для придания большей гибкости конфигурации в части механизмов получения данных, так как именно эта часть является часто изменяемой, был разработан механизм «Модулей получения данных». На низком уровне он представляет из себя «Дополнительные обработки» библиотеки стандартных подсистем 1С, которые предоставляют стандартный API для простого использования в конфигурации программного продукта.

Последовательность настройки описана ниже.

Создать обработку для получения данных (например, используя сторонние web-сервисы).
Добавить внешнюю обработку в список «Дополнительных обработок».

При добавлении следует особое внимание обратить на режим работы: если предполагается работать с внешними ресурсами, то режим должен быть «Не безопасный».

Добавить обработку в качестве «Модуля получения данных».

При создании нового «Модуля получения данных», в списке «Обработок» отображаются все «Дополнительные обработки». Заполнение таблицы с информацией об обработчиках, предоставляемых Модулем, заполняется с использованием программного интерфейса (API) дополнительной обработки.

Обязательными обработчиками являются:

«Обработчик получения данных» — вызывается при обработке очереди получения данных.
«Обработчик получения параметров при постановке в очередь» — функция,которая формирует коллекцию параметров, в разрезе которых возможнопостроить очередь. Минимально коллекция должна быть из одного параметра, чтобы очередь могла состоять из одного элемента. Параметрами могут быть любые сущности, которые зависят не от пользователя (например, список «Организаций», по которым требуется получить информацию, или список «Видов спорта», по которым нужно получить список действующих тренеров).

Необязательными обработчиками являются:

«Обработчик получения списка полей таблицы» — функция формирования списка типизированных поле, которые являются полями результирующей таблицы данных. В контексте запроса – это поля запроса. Поля используются для сопоставления полей источника и полей приемника в документе «Установка правил выгрузки».
«Обработчик получения списка параметров пользователя» — функция, формирующая список параметров, которые нужно указать пользователю для корректного получения данных.

Настроить правило выгрузки с использованием нового «Модуля получения данных». Для этого в «Виде запроса» выбираем «Произвольный код». На вкладке «Данные модуля» выбираем «Модуль получения данных».

После выбора «Модуля получения данных», автоматически будет заполнен список доступных «Идентификаторов групп обработчиков». Это строки табличной части «Модуля» для упрощенной настройки кода вызова обработчиков.

После заполнения Идентификатора будет предложено автоматически заполнить соответствующие страницы с программным кодом вызова обработчиков.

Важно! Программный код вызова обработчиков можно заполнить и вручную, механизм модулей — это лишь помощь в настройке.

Код может быть произвольным. Контекст вызова каждого обработчика можно посмотреть в «Подсказке» (символ «?» на форме).

Настроить «Состав выгрузки» для правила (более подробно о настройке написано в п. 7).

Ниже приведен пример алгоритма работы получения данных с использованием «Модулей получения данных».

Пусть состав настроен для «Набора источников» который состоит из 6 «Источников» (здесь источник — это просто абстрактная сущность для деления данных на порции в очереди) и «Правила получения данных» по образовательным учреждениям с использованием механизма «Модуля получения данных».

При формировании очереди вызывается обработчик «Перед постановкой в очередь» из состава выгрузки (в данном обработчике пусть получается список Идентификаторов образовательных учреждений, к примеру, список состоит из 1200 образовательных учреждений). Список из 1200 образовательных учреждений делится на 6 «Источников» и записывается очередь в разрезе Источников.
При получении данных из очереди для каждого источника вызывается «Обработчик получения данных» из «Установки правила выгрузки данных» в контексте 200 образовательных учреждений из очереди, данные формализуются в виде таблицы значений и отдаются механизму сопоставления полей и записи в «Хранилище данных (DWH)».

4.4 - Настройка инкрементальной загрузки из 1С

Инкрементальная загрузка из 1С предназначена для получения измененных данных из 1С в целевое хранилище ETL. Регистрация изменений в базе источнике выполняется на узлах обмена, а в ETL выполняется получение только зарегистрированных к отправке данных. После успешного получения данных регистрация изменений очищается.

Перед настройкой база-источник должна быть подключена в ETL при помощи Адаптера ETL, а также между ETL и базой-источником должна проходить проверка соединения

Настройка на стороне источника

Выбрать план обмена, который будет выполнять регистрацию сведений. Подробней про планы обмена можно прочитать по ссылке https://v8.1c.ru/platforma/plan-obmena/. Вам необходимо выбрать или создать такой план обмена, чтобы на нем регистрировались метаданные конфигурации, которые вы намерены получить. Можно выбирать любой план обмена, который есть в конфигурации, или создать свой при помощи доработки конфигурации или создания расширения, которое будет содержать новый план обмена.
После выбора плана обмена, необходимо перейти в список узлов выбранного плана обмена и создать новый Узел обмена. Для каждого объекта метаданных необходимо создавать свой экземпляр узла, каждый экземпляр узла должен иметь уникальный код и наименование.
Например, необходимо загружать изменения справочника «Контрагенты» и справочника «Номенклатура», тогда для каждого справочника вам нужно создать собственный элемент узла плана обмена.
Установить код у предопределенного узла обмена «Этот узел». «Этот узел» это специальный узел обмена, который создается автоматически. Для того чтобы механизм инкрементальной загрузки работал корректно нужно указать любой код в его карточке. Проверить регистрацию на узлах можно при помощи стандартной обработки «Регистрация изменений для обмена», которая есть в типовых конфигурациях или при помощи внешней обработки https://its.1c.ru/db/metod8dev/content/5013/hdoc.

На стороне ETL

Загрузить информацию о плане обмена. Для этого необходимо в разделе «Источники данных» выбрать источник данных, который соответствует вашей базе в его карточке, на вкладке «Дополнительные настройки» нажать «Загрузить узлы планов обмена».
Создать новые правила выгрузки данных и в верхней части документа установить признак «Загрузка изменений по плану обмена (1С)».
Написать запрос для получения данных. Запрос к данным должен получать только измененные данные. Для этого в языке запросов 1С есть специальная конструкция «<ИмяТаблицы.Изменения». Обращаясь к таблице изменений объекта метаданных, пользователь получает информацию о ссылках на измененные или удаленные объекты или ключи регистов сведений, по которым произошли изменения.

Например, текст запроса получения данных контрагентов имеет следующий вид:

   ВЫБРАТЬ
	Контрагенты.Ссылка,
	Контрагенты.ИНН,
	Контрагенты.КПП,
	Контрагенты.Наименование,
	Контрагенты.Ответственный
ИЗ
	Справочник.Контрагенты КАК Контрагенты

Для получения изменений его необходимо привести в следующий вид:

ВЫБРАТЬ
	Контрагенты.ИНН,
	Контрагенты.КПП,
	Контрагенты.Наименование,
	Контрагенты.Ответственный,
	КонтрагентыИзменения.Ссылка КАК Ссылка
ИЗ
	Справочник.Контрагенты.Изменения КАК КонтрагентыИзменения
		ЛЕВОЕ СОЕДИНЕНИЕ Справочник.Контрагенты КАК Контрагенты
		ПО КонтрагентыИзменения.Ссылка = Контрагенты.Ссылка
ГДЕ
	КонтрагентыИзменения.Узел = &ПланОбмена_Узел
	И &ПланОбмена_НомерПринятогоСообщения <> -1

В запросе необходимо обязательно указать два обязательных параметра = &ПланОбмена_Узел, &ПланОбмена_НомерПринятогоСообщения.

Для параметра &ПланОбмена\_НомерПринятогоСообщения рекомендуется устанавливать конструкцию-заглушку &ПланОбмена_НомерПринятогоСообщения <> -1.
Выполнить оставшуюся настройку правил выгрузки, провести и закрыть документ.
Создать состав выгрузки, указать созданные выше правила выгрузки. При выборе правила инкрементальной загрузки в форме появится раздел «Узлы обмена». В открывшейся таблице нужно нажать кнопку «Заполнить» и после загрузки списка узлов, заполнить колонку «Узел обмена».
Записать и закрыть состав выгрузки.

Ссылка	ИНН	КПП	Наименование	Ответственный
1	83b70f0d-f7f4-11e5-943d-00155d000f03	8813084210	495445951	ООО «Рога и Копыта»
2	511c9ecf-584c-11e8-944c-00155d000f02

Пример создания инкрементальной выгрузки

Получим данные по изменениям контрагентов из конфигурации «Документооборот 2.0». В качестве плана обмена выберем «Полный обмен данными». Перейдем в функции для технического специалиста, выберем план обмена «Полный обмен данными».

Убедимся, что в форме есть предопределенный узел с признаком «Этот узел», у которого заполнен код.

Создадим узел обмена «Контрагенты»:

Изменим один элемент, и убедимся при помощи обработки «Регистрация изменения для обмена», что изменения зарегистрировались на узле.

В ETL, в источниках данных, обновим информацию о узлах обмена.

Создадим новое правило выгрузки данных, установим текст запроса:

ВЫБРАТЬ
	Контрагенты.ИНН,
	Контрагенты.КПП,
	Контрагенты.Наименование,
	Контрагенты.Ответственный,
	КонтрагентыИзменения.Ссылка КАК Ссылка
ИЗ
	Справочник.Контрагенты.Изменения КАК КонтрагентыИзменения
		ЛЕВОЕ СОЕДИНЕНИЕ Справочник.Контрагенты КАК Контрагенты
		ПО КонтрагентыИзменения.Ссылка = Контрагенты.Ссылка
ГДЕ
	КонтрагентыИзменения.Узел = &ПланОбмена_Узел
	И &ПланОбмена_НомерПринятогоСообщения <> -1

Перейдем в состав выгрузки и укажем правило, вкладке дополнительно выберем нужный узел обмена.

Направим задание в очередь, проверим полученные данные. Настройка инкрементального получения выполнена.

4.5 - Загрузка данных в таблицу из файлов JSON

Загрузка данных состоит из трёх этапов:

подготовка источников данных;
разбор файла «JSON»;
создание правила выгрузки.

Подготовка источников данных

Для обработки файла «JSON» первым шагом необходимо настроить его как источник данных. Для этого перейдите в раздел «Источники данных» и создайте новый источник данных с типом «файл».

Далее, необходимо зарегистрировать набор источников. Подробнее про источники данных можно почитать тут.

Разбор файла JSON

Для подробного ознакомления с интерфейсом конструктора правил разбора «JSON» можно перейти по ссылке.

Необходимо перейти в «Конструктор правил выборки «JSON». Это можно сделать через раздел «Сервис».

После, необходимо загрузить файл «JSON» для того, чтобы ETL получил структуру файла. Необходимо нажать на кнопку «Загрузить JSON», загрузить сам файл и нажать на «Показывать данные».

Следующий этап — разбор файла. Для этого необходимо перенести столбцы в поле выбора. Если они расположены в массиве, нужно нажать на строчку и поставить точку итерации.

Правило разбора данных готово! Осталось его сохранить и использовать в правилах выгрузки.

Создание правила выгрузки

Подробно про правила выгрузки можно почитать тут.

Последовательность действий описана ниже.

Создать новое правило выгрузки и выбрать вид правила «Произвольный код».

Перейти в «Настройки произвольного кода» / «Данные модуля» и выбрать в «Модуль получения данных» значение «Разбор JSON по правилам», в «Идентификатор группа обработчиков» выбрать «Выбрать данные из файла» и подтвердить заполнение обработчиков. Результат можно посмотреть во вкладке «Получение списка полей».

После заполнения раздела «Получение списка полей», необходимо записать правило выгрузки и перейти во вкладку «Настройки параметров».

В «Настройках параметров выполнения» необходимо нажать на «Заполнить согласно модулю сбора» и для единственного параметра выбрать то правило разбора данных, которое было создано выше и сохранить настройки.

В настройках произвольного кода в разделе «Настройка параметров» появится новый параметр.

Далее, необходимо заполнить соответствие полей и создать таблицу, в которую будут выгружены данные из файлов.

4.6 - Загрузка данных из Битрикс24

Для примера интеграции с Битрикс24 разработана дополнительная обработка «Загрузка из Битрикс». Для работы с обработкой ее необходимо разместить во внешних отчетах и обработках. Их настройка описывается в этой статье.

Для установки правил разбора можно использовать конструктор запросов к веб сервису. Тексты запросов можно посмотреть в режиме отладки.

Ссылка на архив

4.7 - Получение данных из web сервисов

Вместе с ETL поставляется модуль получения данных из различных web сервисов с помощью относительно простых http запросов.

Предварительная настройка правила выгрузки

Для получения данных из web сервиса при помощи простого http запроса выполните следующие предварительные действия.

Создайте «Установку правила выгрузки» с новым правилом выгрузки.
Задайте вид правила: «Произвольный код».
Разверните группу формы «Произвольный код».
Перейдите на вкладку «Данные модуля».
В качестве модуля получения данных выберите «WEB сервис».
Нажмите кнопку сохранить.

Открываем мастер настройки простого запроса кнопкой:

Описание настроек мастера

Тип запроса — «POST» или «GET».
Строка запроса — URL ресурса. Для GET запроса можно указать вместе с параметрами запроса.
Таймаут — таймаут запроса в секундах. При превышении интервала — соединение разрывается, а запрос завершается ошибкой.
Вкладка «Параметры» — параметры запроса. Таблица вида ключ-значение. Для «GET»-запроса таблица синхронизирована с URL сервиса, изменения в таблице влияют на URL, изменения URL в части параметров отражаются в таблице. Для «POST»-запроса данная вкладка доступна только при отсутствии тела запроса и по сути заменяет его, содержимое таблицы кодируется как JSON объект и размещается в теле.
Вкладка «Тело запроса» — тело «POST-запроса.

Вкладка «Заголовки» — таблица вида ключ-значение, содержит заголовки запроса.
Кнопка «Типовые заголовки» — добавляет в таблице заголовков типовые заголовки.

Вкладка «Куки» — таблица вида ключ-значение, позволяет сопровождать запрос куками.
Конвертирует содержимое таблицы в строку вида key1=val1;key2=val2;key3=val3;....

Вкладка «Редирект» — позволяет настроить прараметры редиректа:
- «Переключатель «Выполнять переход» — включает / отключает функцию редиректа;
- «Параметр «Максимум переходов» — ограничивает количество переходов при редиректе;
- «Переключатель «Использовать заголовки основного запроса» — позволяет использовать в запросах перехода заголовки от основного запроса;
- «Переключатель «Использовать логин и пароль основного запроса» — позволяет использовать в запросах перехода параметры аутентификации основного запроса.

Вкладка «Авторизация» — позволяет настроить параметры авторизации для запроса.

Поддерживаемые варианты:

«Basic access authentication» — логин и пароль;
заранее полученный токен. Можно указать имя ключа токена и место его размещения — тело / заголовки.

Токен получаемый предварительным запросом. Для этого варианта использования токена, нужно:
- в секции «Получение»:
  1. поставить переключатель «Требуется автоматическое получение токена» в положение «Включено»;
  2. выбрать тип запроса авторизации «GET / POST»;
  3. указать URL запроса;
  4. можно указать значение логина, имя ключа логина и место его расположения;
  5. можно указать значение пароля, имя ключа пароля и место его расположения;
  6. иИмя ключа того параметра в котором ожидается токен, а также место его расположения.
- в секции «Использование»:
  1. Указать имя ключа для полученного токена и его местоположение при запросе

Правило

Нижняя часть окна мастера отведена под функции работы с правилом разбора данных.
По кнопке «Открыть в конструкторе» мастер выполнит запрос по ранее настроенным параметрам и откроет полученные данные в конструкторе в режиме просмотра.

Если необходимо выполнить тестовый запрос нужно нажать кнопку:

Если запрос выполнится без ошибок, то мастер предложит сохранить полученные данные в файл.
Если во время выполнения запроса произошла ошибка — будет выведен лог исполнения вместе с подробным описанием ошибки.

Переключатель:

в верхней части окна, позволяет выполнять тестовые запросы в режиме отладки, при котором подробно фиксируются все параметры запроса, и по окончании выполнения показывается окно с полным списком имеющихся параметров.
Окно отладки:

Лог отладки

Лог отладки — инструмент для детального анализа процесса выполнения web запроса. Имеет в своём составе следующие компоненты:

«Консоль лога» — список событий с описаниями;
«Просмотр значений» — окно просмотра значения отдельных элементов запроса (тело запроса, тело ответа, заголовки запроса, заголовки ответа). Для отображения в окне просмотра значения, его нужно выбрать в списке запросов;
«Ответ как веб документ» — диалог для просмотра тела ответа в окне встроенного браузера;
«Список запросов» — таблица в которой строки — отдельные запросы, а колонки — значения элементов запроса доступные для просмотра (тело запроса, тело ответа, заголовки запроса, заголовки ответа). Для запроса без редиректа содержит одну строку. Если был осуществлён переход по адресам редиректа, то для каждого перехода (запроса) будет отдельная строка.

Повторное использование настроенного правила запроса к web сервису

По завершению этапа подготовки запроса к web сервису, необходимо настроить поля, которые впоследствии станут колонками в таблице хранилища. Эта таблица предназанчена для хранения даныых полученых из web сервиса.

Настройка повторной выгрузки

Находясь в подготовленном окне запроса к web сервису, нажать кнопку «Открыть в конструкторе», произвести настройку полей и сохранить правило разбора.
Закрыть окно «Конструктора» и окно «Источник данных: Web сервис».
Перейти на вкладку «Настройка параметров». Если всё настроено верно, в данной вкладке отображаются порядка 20 строк параметров.

Стоит обратить внимание на строку 3 «ПравилоРазбора», если она пустая, необходимо перейти в параметры и из выпадающего списка выбрать настроенное ранее правило.

Далее производится стандартная настройка правила выгрузки

Настройка источника

В качестве источника данных для использования в составе выгрузки, необходимо применять настроенный заранее источник и зарегистрировать этот источник в наборе.

Состав выгрузки

По завершению всех настроек, источник и правило получения данных необходимо объединить в состав выгрузки.

Обратите внимание, что при выборе настроенного на web сервис правила, все параметры должны появится на вкладке «параметры запроса” данного состава выгрузки.

По завершению настройки состава, станет возможным многократный запрос к web сервису и сохранение полученных данных в таблицу хранилища.

5 - Настройка процесса выгрузки данных

5.1 - Однократный запуск получения данных (запуск «вручную»)

В случае, когда требуется получить данные разово («ad-hoc»), а также для тестирования правил выгрузки (рекомендуется тестировать вручную на ограниченном наборе данных), возможно получить данные однократно, не настраивая расписание запуска.

Есть два варианта ручного запуска выгрузки данных:

выгрузка в отчет (возможна выгрузка в отчет на экране, в файл, в SQL-таблицу, указанную в правиле выгрузки);
запуск состава выгрузки (производится выгрузка в SQL-таблицу, указанную в правиле выгрузки).

Основное отличие этих вариантов в случае выгрузки в таблицу в том, что при выгрузке в отчет используются настройки и параметры из документа «Установить правила выгрузки», а при выгрузке с использованием документа «Состав выгрузки» настройки и параметры из документа «Состав выгрузки». Вместе с этим, при запуске с помощью выгрузки в отчет создается специальный, служебный «Состав выгрузки».

1. Запуск выгрузки данных в отчет

Перейти к обработке выгрузки в отчет можно через «Начальную страницу» или через меню «Главное» / «Сервис» / «Выгрузка в отчет»:

«Выгрузка в отчет» это полнофункциональный вариант получения данных, с тем лишь отличием, что при выводе данных на экран, либо при сохранении в файл, все собранные данные хранятся во временных структурах базы Modus ETL. Поэтому не рекомендуется использовать этот вариант для получение большого количества данных.

Сервис «Выгрузка в отчет» предлагается в трёх вариантах:

вывод на экран — выведет данные в таблицу на экран;
выгрузка в файл — выведет данные в файл выбранного формата в выбранный каталог;
выгрузка в таблицу БД — запишет данные в таблицу БД, если она указана в выбранном правиле выгрузки.

Порядок настройки:

выбрать набор источников (см. рисунок выше, 1);
выбрать правило выгрузки (см. рисунок выше, 2);
для вывода данных на экран дополнительные настройки не нужны, достаточно нажать кнопку «Вывести на экран» (см. рисунок выше, 3);
для выгрузки в файл по умолчанию установлен тип файла «xlsx», можно установить переключатель на другой тип файла («dbf»/«mxl»/«xls»/«xlsx») и нажать кнопку «Выгрузить в файл» (см. рисунок выше, 4);
для выгрузки в таблицу нужно выбрать режим записи (аналогично режимам записи в составе выгрузки), установить при необходимости флаг «Заменить спец. символы» (см. рисунок выше, 7) (если предполагается, что выходной набор данных может содержать текстовые поля со спец. символами типа перевод строки, кавычки и т.п.) и нажать кнопку «Загрузить в таблицу БД» (см. рисунок выше, 5).

Прогресс процесса выгрузки данных можно наблюдать на индикаторе процесса (см. рисунок выше, 8).

Остановить процесс можно, нажав на кнопку «Остановить выполнение» (см. рисунок выше, 9).

2. Запуск выгрузки данных в таблицу через Состав выгрузки

Открыть справочник «Составы выгрузки» (меню «Главное» / «Настройки» / «Составы выгрузок»).

Для ручного запуска состава выгрузки, выбрать в списке нужный элемент справочника и нажать кнопку «Направить задание в очередь».

5.2 - Автоматический (регулярный) сбор данных

Для регулярного сбора и обработки данных, а также для рационального распределения ресурсов при получении больших массивов данных рекомендуется настроить расписание работы.

1. Настройка состава выгрузок и расписания запуска сбора данных

Размещение: меню: «Главное» / «Настройки» / «Составы выгрузок». Интерфейс (справочник)» «Составы выгрузок» также предназначен для настройки расписания выгрузок (подробно о заполнении состава выгрузок).

2. Настройка расписания запуска сбора данных

Порядок действий показан в таблице ниже.

Настройка расписания запуска сбора данных

Закладка	Настройка	Скрин
Общий	ДатаНачала; Повторять каждые ___ (дн.);
Дневное	Время начала
Недельное	Дни_недели
Месячное	Месяцы

3. Механизм очередей

Механизм очередей разработан для управления ресурсами при одновременном получении данных разными заданиями, разделения получения данных из большого количества источников на порции и управления ими.

Общие правила работы с очередями

Со стороны пользователя для настройки работы необходимо заполнить:

основные настройки
создать «Состав выгрузок» с указанием набора, правил, расписания запуска.

Для интерактивного контроля за работой очереди в форме списка «Составы выгрузок» внизу формы есть сводная информация по очереди «Набор» / «Правило» / «Количество элементов». Из формы «Составы выгрузок» можно направить выбранный состав в очередь вручную, для этого предназначена команда «Направить задание в очередь»:

Разработано три «службы» (регламентных задания) для работы с очередью получения данных.

3.1. Постановщик источников в очередь

Данная служба привязана к «Составам выгрузок». В нем настраивается связь «Набор источников» — «Правило выгрузки». Если «Состав выгрузок» активен и настроено расписание, создается регламентное задание для постановки источников в очередь из выбранного набора.

При запуске регламентного задания выполняются подготовительные действия в соответствии с «Режимом записи данных» («Добавить», «Очистить и добавить», «Скопировать и добавить»). Если в «Составе выгрузок» режим записи не указан, то берется режим из основных настроек.
При создании состава выгрузок можно указать приоритет при выгрузке – чем меньше число, тем выше приоритет.
Также при постановке «набора» по «правилу» в очередь, создается документ «Факт выгрузки». Логи обработки очереди привязаны к этому документу.

3.2. Запуск заданий обработки очереди

Служба анализирует сколько уже запущено фоновых заданий по обработке очереди. Анализируются настройки максимального количество возможных заданий и выполняется до-запуск нужного количество фоновых заданий-обработчиков.

Каждое фоновое задание «ОбработкаОчередиРегламентом» анализирует очередь, и выбирает «порцию» согласно основным настройкам. В элементы очереди, которые заняты конкретным фоновым заданием, записывается Id фонового задания.

При записи данных во внешнюю базу происходит удаление элемента из очереди по источнику. Это происходит в одной транзакции, поэтому не должно быть ситуация, когда во внешний источник записали данные, а из очереди не удалили.

3.3. Перепостановка элементов очереди

Регламентное задание, которое анализирует текущие фоновые задания «ОбработкаОчередиРегламентом» и если в очереди есть задания с Id, которого нет среди работающих, то Id записи очищается и считается, что данный источник необходимо обработать заново.

В очереди также хранятся дополнительные данные:

количество попыток — сколько раз пытались обработать этот источник;
зависшие задания — массив Id заданий, которые «зависли». Заполняется для будущего анализа.

4. Обработка «Контроль работы»

Форма (см. рисунок выше) состоит из двух списков, которые автоматически обновляются каждые 60 секунд:

список последних выполняемых пакетов с указанием даты и времени запуска, названием пакета и статусом выполнения;
список текущей очереди выполняемых выгрузок данных, который содержит набор источников, правило выгрузки, факт выгрузки, количество элементов, количество работающих фоновых заданий.

По двойному клику по наименованию пакета открывается форма выполнения пакета.

Выбрав пакет двойным кликом в подчиненных документах, можно открыть форму пошагового выполнения пакета.

Также можно открыть правило выгрузки, набор источников или посмотреть факт выгрузки у текущего задания.

Через меню: «Главное» / «Сервис» / «Очередь обработки данных» можно посмотреть очередь из оставшихся источников выгрузки данных и количество попыток соединения с ними.

5.3 - Логирование выгрузки данных

В ходе выгрузки данных осуществляется логирование процесса — создаются записи в регистре сведений «Журнал событий сбора данных» и документ «Факт выгрузки», который отображает записи регистра для конкретной выгрузки данных.

Логирование происходит как при автоматической, так и при ручной выгрузке данных.

Есть два способа просмотреть лог выгрузки данных:

документ «Факт выгрузки»;
отчет «Анализ логов загрузки».

1. Документ «Факт выгрузки»

Просмотр списка документов — меню «Главное» / «Логи» / «Факт_выгрузки».

Документ формируется при выгрузке данных и отображает информацию об этапах выгрузки, ошибочных ситуациях и количественных показателях (времени выполнения, количестве строк данных, полученных из источника, и т.д.):

2. Отчет «Анализ логов загрузки»

Запуск отчета — «Начальная страница» / «Анализ логов загрузки»:

В интерфейсе отчета можно выбирать вариант (форму отчета) «Обычная» / «По областям» и настраивать отборы (период, документ и т.д.).

Возможно выводить только ошибки, установив соответствующий флаг:

6 - Загрузка данных из временных таблиц

При использовании временных таблиц в качестве источника, необходимо учитывать особенности конкретной СУБД.

PostgreSQL

При создании временной таблицы вы не можете явно указать схему (schema) для таблицы. Все временные таблицы в PostgreSQL попадают в соответствующую схему с именем pg_temp_xxx, где «xxx» — номер сессии (например pg_temp_8 или pg_temp_165). Схема для сессии создаётся автоматически самим PostgreSQL.

Для возможности сделать запрос к временной таблице, необходимо указать правильную схему, что является не тривиальной задачей при периодическом обновлении. Скорее всего понадобится специальная обработка для ETL.

Если подразумевается единоразовая выгрузка, то необходимо определить схему, в которой создалась временная таблица и указать её в запросе либо в шаблоне сценария.

Запрос должен строится следующем образом:

SELECT col1, col2, col-n From pg_temp_xxx.tmp_table_name

где «xxx» — номер сессии, а tmp_table_name — наименование временной таблицы.

Для определения схемы временной таблицы можно воспользоваться запросом:

SELECT schemaname FROM pg_catalog.pg_tables where tablename ='tmp_table_name'

MS SQL

После создания все временные таблицы сохраняются в схеме tempdb, которая имеется по умолчанию в MS SQL. Временные таблицы существуют на протяжении сессии базы данных.

Для взаимодействия с временными таблицами MS SQL через ETL, они должны быть глобальными, т.е. при создании указывается два знака ##.

Так же в запросе указывается схема временной таблицы:

SELECT * FROM  tempdb.##tmp_table_name

7 - Мастер интеграции

Мастер интеграции – это универсальный инструмент ETL, который позволяет аналитику без привлечения программиста настраивать интеграцию с различными Сервисами-источниками для получения из них данных.

Интеграция с каждым Сервисом-источником осуществляется при помощи специального драйвера-коннектора. Пользователь при работе с Мастером интеграции выбирает доступный драйвер-коннектор к соответствующему Сервису-источнику и пошагово осуществляет настройку получения данных из этого Сервиса.

Список доступных драйверов-коннекторов:

P.S.: Список доступных драйверов-коннекторов Мастера интеграции будет постепенно расширяться, чтобы охватить наиболее востребованные Сервисы-источники.

Мастер интеграции, на основании созданной пользователем настройки, автоматически генерирует весь стандартный набор Объектов ETL, необходимых для получения данных (Источники, Наборы источников, Правила выгрузки, Составы выгрузки, Пакеты обработки данных и т.д).

Мастер интеграции позволяет проще и быстрее настраивать получение данных из различных информационных систем и сервисов, минимизируя необходимость вручную настраивать сложные параметры или писать код для обработки и передачи данных. Он обеспечивает удобный интерфейс для выбора источников данных, настройки параметров и создания интеграционных потоков, что делает процесс более доступным для пользователей без глубоких технических знаний.

7.1 - Общие настройки Мастера интеграции

Для начала работы с Мастером интеграции, перейдите на начальную страницу и выберите соответствующий пункт в меню.

Отображение Мастера интеграции

Если на начальной странице ETL Мастер интеграции не отображается его необходимо включить. Для отображения Мастера интеграции необходимо пользователю с ролью администратор:

Выбрать на начальной странице ETL “Информация” → “Основные настройки”.
В подменю “Управление хранилищем” проверить, установлена ли галочка напротив “Использовать управление хранилищем”.
В подменю “Прочее” выбрать опцию “Использовать Мастер интеграции”. Поскольку Мастер интеграции использует функционал по управлению хранилищем, даже если настройка “Управление хранилищем” не выбрана, соответствующий функционал будет автоматически активирован.

Основное меню Мастера интеграции

После входа в конфигуратор мастера интеграции пользователю предоставляется возможность либо выбрать существующий мастер интеграции, либо создать новый. Функционал мастера позволяет объединять группы интеграции для более эффективного управления данными.

Режим просмотра: С помощью кнопки ЕЩЕ пользователь может выбрать необходимый режим просмотра, такой как “Дерево”, “Список” или “Иерархический список”. Это обеспечивает удобство при визуализации и организации данных в соответствии с предпочтениями пользователя.

Мастер интеграции состоит из 6 шагов, представленных в виде вкладок, на каждой из которых производятся различные настройки. Перемещение между этими вкладками осуществляется с помощью кнопок Назад и Далее. Также можно перейти к предыдущему шагу, кликнув по названию соответствующей вкладки.

1. Вкладка “Сервис-источник”

Выбор Сервиса-источника: На этой вкладке пользователю предоставляется возможность настройки подключения к существующему сервису-источнику или создание нового. Для выбора существующей настройки подключения сервиса-источника - необходимо выбрать нужный сервис-источник и нажать кнопку Выбрать. После этого название источника будет выделено жирным шрифтом.

Создание новой настройки сервиса-источника: При создании нового сервиса-источника, система запросит указать и выбрать файл драйвера сервиса в формате *.epf. Можно отказаться от загрузки файла. В меню необходимо ввести название конфигурации, затем выбрать Вид объекта - Обработка конфигурации или Дополнительная обработка. В поле Основная обработка выбрать нужный драйвер-коннектор и нажать “Сохранить”. После этого, в разделе “Параметры” будет предложено ввести параметры подключения (например: webhook, логин и пароль). Параметры могут отличаться в зависимости от выбранного драйвера-коннектора. Нажмите на кнопку “Проверить подключение” (если поддерживается), чтобы убедиться, что подключение успешно установлено. По завершении настройки необходимо нажать Сохранить и закрыть.

Важно отметить, что создание нового подключения к Сервису-источнику доступно исключительно для пользователя ETL, обладающего ролью Администратора. Аналитики могут только открывать, просмотривать и использовать (выбирать) существующие подключения при создании настройки Мастера интеграции.

Кнопка Инсталлировать (Отображается, если данное действие поддерживается драйвером-коннектором) позволяет выполнить инсталляционные действия и заполнить параметры.

Кнопка Деинсталлировать (Отображается, если данное действие поддерживается драйвером-коннектором) позволяет выполнить деинсталляционные действия.

Кнопка Проверить подключение (Отображается, если данное действие поддерживается драйвером-коннектором) позволяет проверить корректность параметров подключения.

2. Вкладка “Разделы сервиса”

На данной вкладке пользователь имеет возможность выбора и настройки раздела сервиса.

Выбор раздела сервиса: для выбора нужного раздела необходимо нажать кнопку Выбрать. Важно учесть, что выбрать можно только один раздел сервиса.

Обновление списка разделов сервиса: если возникает необходимость обновить список разделов в соответствии с данными драйвера, следует нажать кнопку Обновить по данным сервиса.

Создание раздела сервиса вручную (если поддерживается): пользователь может создать раздел сервиса самостоятельно, указав все требуемые параметры, для этого необходимо нажать кнопку Создать.

3. Вкладка “Параметры раздела”

На этой вкладке пользователь вносит параметры раздела сервиса. Специфика и состав этих параметров варьируются в зависимости от выбранного сервиса. Важно отметить, что все параметры являются необязательными к заполнению. Для некоторых Сервисов-источников разделы могут вовсе не содержать параметров. В такой ситуации рекомендуется пропустить этот шаг, нажав кнопку Далее.

4. Вкладка “Объекты-источники”

На данной вкладке Отображаются только те объекты-источники, которые принадлежат выбранному разделу сервиса.

Для выбора объекта-источника необходимо нажать на кнопку Выбрать. Пользователь имеет возможность выбирать один или несколько объектов-источников для последующей настройки. Для отказа от ранее выбранного объекта следует нажать Отменить выбор.

Если необходимо обновить список объектов в соответствии с актуальными данными драйвера, можно воспользоваться кнопкой Обновить.

Для перехода к запросу примеров данных можно использовать кнопку Перейти, если драйвер поддерживает данную функциональность.

Создание объекта-источника вручную (если поддерживается): пользователь имеет возможность самостоятельно создать объект-источник, заполнив необходимые параметры. При созданни объекта-источника кнопка Заполнить по о правилу разбора данных (если поддерживается) позволяет автомматически заполнить поля объекта-источника в соответствии с установленными правилами разбора данных.

5. Вкладка “Таблицы-приемники”

На данной вкладке пользователь решает задачу создания и настройки Таблицы-приемника для каждого выбранного Объекта-источника. Этот процесс включает в себя выстраивание соответствия между полями Объекта-источника и полями Таблицы-приемника.

Пошаговая инструкция:

Выбор Объекта-источника: В левой части интерфейса пользователь выбирает объект сервиса 1 и поля 2, которые требуется передать в Таблицу-приемник.
Настройка таблицы-приемника 3:

Выбор базы данных: Определяется база данных, в которой будет расположена Таблица-приемник.
Выбор таблицы модели: Пользователь может использовать уже существующую таблицу, создать новую или изменить существующую. Для создания новой таблицы следует нажать кнопку + Создать и заполнить необходимые данные. После завершения настройки таблица будет создана в базе данных.
Выбор режима записи данных: Определяется методика записи данных в таблицу. Доступные варианты: “Добавить”, “Очистить и добавить”, “Скопировать и добавить”.

Сопоставление полей: Опции сопоставления полей:

Кнопка Автосопоставление - позволяет автоматически сопоставить поля объекта-источника и поля таблицы-приемника по именам и типам. Кнопка Очистить сопоставление - позволяет полностью очистить существующее сопоставление полей. Двойное нажатие на символ “х” в правой части таблицы позволяет очистить сопоставление по конретному полю.

Важные уточнения

Пользователь может выбрать как существующую Таблицу-приемник, так и создать новую.

При необходимости состав полей Таблицы-приемника можно изменить, что приведёт к её пересозданию. Следует учесть, что при этом все ранее записанные данные будут утеряны, и таблицу нужно будет заполнить заново.

Переход к следующему шагу возможен только после того, как будут сопоставлены поля для всех выбранных ранее объектов сервиса.

6. Вкладка “Дополнительно”

На вкладке «Дополнительно» пользователь выполняет шаги для завершения настройки Мастера интеграции. Здесь можно создать расписание для «Пакета обработки данных», добавить в пакет сценарий обработки данных.

Также на этой вкладке пользователь может выполнить дополнительные действия:

Кнопка Создать объекты/Обновить объекты позволяет создать или обновить пакет обработки данных и вспомогательные объекты ETL.
Кнопка Запустить пакет позволяет запустить сбор данных по созданному пакету обработки данных.
Переключатель и гиперссылка Выполнять по расписанию позволяет настроить выполнение пакета обработки данных ETL “по расписанию”.

Важные уточнения

После каждого изменения настроек Мастера интеграции необходимо обновить созданные объекты ETL.

Настройка Мастера интеграции становится недоступной для редактирования во время выполнения пакета ETL. Для внесения изменений дождитесь завершения процесса, либо прервите выполнение пакета.

Редактирование объектов ETL, созданых при помощи Мастера интеграции, возможно только через изменения параметров соответствующей настройки Мастера интеграции.

7.2 - Настройка мастера интеграции для Битрикс24

Мастер интеграции ETL позволяет настроить подключение к сервису Битрикс24, чтобы получать из него данные для их дальнейшей обработки и использования при построении визуализций.

Для успешной работы с этим инструментом необходимо выполнить первоначальные настройки, описанные в статье “Общие настройки мастера интеграции. Перед началом работы с Мастером интеграции необходимо непосредственно в сервисе Битрикс24 настроить вебхук для вызова REST API. Настройка вебхука требуется, чтобы Мастер интеграции смог подключиться к сервису Битрикс24. Для настройки вебхука пользователь должен иметь права администратора в рамках сервиса Битрикс24. Детальную инструкцию по настройке вебхука можно найти по ссылке: инструкция по настройке вебхука. https://helpdesk.bitrix24.ru/open/code_12337906/

1. Вкладка “Сервис-источник”

Для создания нового подключения к сервис-источнику в Битрикс24, Можно отказаться от загрузки файла. В меню необходимо ввести название конфигурации, за тем выбрать Вид объекта - Обработка конфигурации, основную обработку выбрать требуемую и нажать “Сохранить”. После этого, в разделе “Параметры” будет предложено ввести параметры подключения webhook, логин и пароль (параметры могут отличаться в зависимости от конфигурации). Нажмите на кнопку “Проверить подключение”. Если все данные введены верно, система выведет сообщение о том, что подключение успешно установлено. По завершении настройки необходимо нажать Сохранить и закрыть.

Важно отметить, что создание нового подключения к Сервису-источнику доступно исключительно для пользователя ETL, обладающего ролью Администратора. Пользователи с ролью аналитик могут только открывать существующие подключения, осуществлять их просмотр и выбирать подходящие для применения в рамках текущих настроек Мастера интеграции.

2. Вкладка “Разделы сервиса”

На этой вкладке пользователь выбирает необходимый раздел сервиса, используя кнопку Выбрать. Изначально список разделов отображается пустым. Чтобы отобразить список разделов сервиса в соответствии с данными драйвера, необходимо нажать кнопку Обновить по данным сервиса.

В структуре списка разделов, используемого при настройке Мастера интеграции, предусмотрены два смысловых уровня. Первый уровень представляет собой смысловые блоки из Битрикс24, такие как CRM, задачи, календари и так далее. Второй уровень обеспечивает более детализированное разделение в соответствии с логикой работы сервиса Битрикс24, включая более мелкие подразделы внутри каждого из блоков.

Для адаптации отображения и лучшего понимания иерархии разделов предусмотрена возможность выбора одного из трех режимов просмотра. Для этого необходимо воспользоваться кнопкой ЕЩЕ, затем выбрать опцию Режим просмотра. Этот шаг позволит увидеть и лучше понять разделение на уровни, облегчая процесс выбора необходимых разделов для работы в Мастере интеграции.

Пользователю предоставляется возможность выбора как разделов первого уровня, так и разделов второго уровня для настройки Мастера интеграции. Выбор раздела первого уровня автоматически предоставляет доступ ко всем объектам-источникам, относящимся к данному блоку, включая те, что находятся в разделах второго уровня. Важно помнить, что можно выбрать только один раздел для работы.

3. Вкладка “Параметры раздела”

Для Сервиса «Битрикс24» заполнение параметров не требуется и этот шаг следует пропускать, нажимая на кнопку Далее.

4. Вкладка “Объекты-источники”

На данной вкладке пользователь имеет возможность выбирать один или несколько объектов-источников для последующей настройки. Изначально список разделов отображается пустым. Чтобы отобразить список разделов сервиса в соответствии с данными драйвера, необходимо нажать кнопку Обновить по данным сервиса.

Для выбора доступно нажатие на кнопки Выбрать для подтверждения выбора или Отменить выбор для отказа от ранее выбранного объекта. Отображаются только те объекты, которые принадлежат выбранному разделу сервиса.

Создание объекта-источника вручную: пользователь имеет возможность самостоятельно создать объект-источник, заполнив необходимые параметры.

Заполнение по правилу разбора данных: Если драйвер предоставляет такую функцию, кнопка Заполнить по правилу разбора данных позволяет автоматически заполнить поля объекта сервиса в соответствии с установленными правилами разбора данных.

На этой вкладке предоставлена возможность просмотра сэмплов данных. При нажатии на ссылку «Перейти» (1) в строке соответствующего объекта открывается окно, где можно запросить (2) пример данных. После получения сэмпла доступен переход в конструктор (3), где предоставляется возможность просмотра и анализа полученного сэмпла данных. В конструкторе также можно настроить правила для разбора данных.

В остальных аспектах настройка Мастера интеграции для извлечения данных из сервиса «Битрикс24» выполняется в соответствии с предоставленными рекомендациями, приведёнными в статье “Общие настройки мастера интеграции

Описание полей выгружаемых мастером интеграции из Битрикс24:

7.2.1 - Описание полей Битрикс24

Раздел CRM

Подраздел “Лиды”

Таблица Лиды

Имя	ТИП	Описание поля
ADDRESS	Строка(max)	Улица, дом, корпус, строение
ADDRESS_2	Строка(max)	Квартира, офис
ADDRESS_CITY	Строка(max)	Город
ADDRESS_COUNTRY	Строка(max)	Страна
ADDRESS_COUNTRY_CODE	Строка(max)	Код страны
ADDRESS_LOC_ADDR_ID	Число	Идентификатор адреса местоположения
ADDRESS_POSTAL_CODE	Строка(max)	Почтовый индекс
ADDRESS_PROVINCE	Строка(max)	Область
ADDRESS_REGION	Строка(max)	Район
ASSIGNED_BY_ID	Число	Ответственный
BIRTHDATE	Строка(max)	Дата рождения контакта
COMMENTS	Строка(max)	Комментарии
COMPANY_ID	Число	Идентификатор компании
COMPANY_TITLE	Строка(max)	Название компании
CONTACT_ID	Число	Идентификатор контакта
CONTACT_IDS	Число	Идентификатор привязанного контакта
CREATED_BY_ID	Число	Создан
CURRENCY_ID	Строка	Идентификатор валюты
DATE_CLOSED	Дата и время	Дата закрытия
DATE_CREATE	Дата и время	Дата создания
DATE_MODIFY	Дата и время	Дата изменения
EMAIL	Строка(max)	e-mail
HAS_EMAIL	Строка	Проверка заполненности поля электронной почты
HAS_IMOL	Строка	Задана открытая линия
HAS_PHONE	Строка	Проверка заполненности поля телефон
HONORIFIC	Строка	Вид обращения
ID	Число	Идентификатор лида.
IM	Строка(max)	Контакт в службе обмена мгновенными сообщениями
IS_MANUAL_OPPORTUNITY	Строка	Флаг “Режим расчета суммы”. По умолчанию “N” - сумма рассчитывается автоматически.
IS_RETURN_CUSTOMER	Строка	Признак повторного лида
LAST_ACTIVITY_BY	Число	LAST_ACTIVITY_BY
LAST_ACTIVITY_TIME	Дата и время	LAST_ACTIVITY_TIME
LAST_NAME	Строка(max)	Фамилия
LINK	Строка(max)	LINK
MODIFY_BY_ID	Число	Изменен
MOVED_BY_ID	Число	Идентификатор автора перемещения элемента на текущую стадию
MOVED_TIME	Дата и время	Дата перемещения элемента на текущую стадию
NAME	Строка(max)	Имя контакта
OPENED	Строка	Флаг “Доступен для всех”
OPPORTUNITY	Число	Предполагаемая сумма
ORIGIN_ID	Строка(max)	Внешний ключ, используется для операций обмена. Идентификатор объекта внешней информационной базы. Назначение поля может меняться конечным разработчиком.
ORIGINATOR_ID	Строка(max)	Идентификатор внешней информационной базы. Назначение поля может меняться конечным разработчиком.
PARENT_ID_159	Строка(max)	Облако Модус
PHONE	Строка(max)	Телефон
POST	Строка(max)	Должность
SECOND_NAME	Строка(max)	Отчество контакта
SOURCE_DESCRIPTION	Строка(max)	Дополнительно об источнике
SOURCE_ID	Строка	Идентификатор источника
STATUS_DESCRIPTION	Строка(max)	Дополнительная информация о статусе
STATUS_ID	Строка	Идентификатор статуса лида
STATUS_SEMANTIC_ID	Строка(max)	Состояние статуса
TITLE	Строка(max)	Название лида. Обязательное поле.
UF_CRM_***	Строка(max)	Пользовательские поля
UTM_CAMPAIGN	Строка(max)	Обозначение рекламной кампании
UTM_CONTENT	Строка(max)	Содержание кампании
UTM_MEDIUM	Строка(max)	Тип трафика
UTM_SOURCE	Строка(max)	Рекламная система
UTM_TERM	Строка(max)	Условие поиска кампании
WEB	Строка(max)	веб-сайт

Таблица Лиды.Адреса

Имя	ТИП	Описание поля
ADDRESS_1	Строка(max)	Улица, дом, корпус, строение.
ADDRESS_2	Строка(max)	Квартира, офис
ANCHOR_ID	Число	Примечание. Эти поля для служебного использования. Они нужны для решения задачи производительности в выборках по старшим сущностям (Компаниям/Контактам) в элементах CRM, которые с ними напрямую не связаны, а связаны опосредовано через другой элемент CRM. При добавлении записи Адреса обязательно указывается непосредственная привязка адреса к старшей сущности - ENTITY_ID, ENTITY_TYPE_ID . Например, это Реквизит. Но в поля записи Адреса ANCHOR_TYPE_ID и ANCHOR_ID автоматически проставится привязка к более старшей сущности самого Реквизита - Компании/Клиенту.
ANCHOR_TYPE_ID	Число	Родительская сущность, с которой связана текущая запись.
CITY	Строка(max)	Город.
COUNTRY	Строка(max)	Страна.
COUNTRY_CODE	Строка(max)	Код страны.
ENTITY_ID	Число	Идентификатор родительской сущности. Обязательное поле.
ENTITY_TYPE_ID	Число	Тип родительской сущности. Возможные типы: “Компания”, “Контакт”. Обязательное поле.
LOC_ADDR_ID	Число	Идентификатор адреса местоположения
POSTAL_CODE	Строка(max)	Почтовый индекс.
PROVINCE	Строка(max)	Область.
REGION	Строка(max)	Район.
TYPE_ID	Число	Тип контакта

Таблица Лиды.Дела

Имя	ТИП	Описание поля
ASSOCIATED_ENTITY_ID	Число	Идентификатор связанной с делом сущности
AUTHOR_ID	Число	Создатель дела
AUTOCOMPLETE_RULE	Число	Автозаполнение
BINDINGS	Строка(max)	Привязки
COMMUNICATIONS	Строка(max)	Канал коммуникации
COMPLETED	Строка	Завершено
CREATED	Дата и время	Создано
DEADLINE	Дата и время	Срок исполнения
DESCRIPTION	Строка(max)	Описание
DESCRIPTION_TYPE	Строка(max)	Тип описания
DIRECTION	Строка(max)	Направление дела: входящее/исходящее.
EDITOR_ID	Число	Кто изменил
END_TIME	Дата и время	Время завершения
FILES	Строка(max)	Добавленные файлы
ID	Число	Идентификатор лида.
IS_INCOMING_CHANNEL	Строка	IS_INCOMING_CHANNEL
LAST_UPDATED	Дата и время	Дата последнего обновления
LOCATION	Строка(max)	Местоположение.
NOTIFY_TYPE	Строка(max)	Тип уведомлений
NOTIFY_VALUE	Число	Параметр уведомления
ORIGIN_ID	Строка(max)	Внешний ключ, используется для операций обмена. Идентификатор объекта внешней информационной базы. Назначение поля может меняться конечным разработчиком.
ORIGINATOR_ID	Строка(max)	Идентификатор внешней информационной базы. Назначение поля может меняться конечным разработчиком.
OWNER_ID	Число	Собственник
OWNER_TYPE_ID	Строка(max)	Тип собственника
PRIORITY	Строка(max)	Приоритет
PROVIDER_DATA	Строка(max)	Данные провайдера
PROVIDER_GROUP_ID	Строка(max)	Тип коннектора
PROVIDER_ID	Строка(max)	Идентификатор провайдера
PROVIDER_PARAMS	Строка(max)	Параметры провайдера
PROVIDER_TYPE_ID	Строка(max)	Идентификатор типа провайдера
RESPONSIBLE_ID	Число	Ответстветнный
RESULT_CURRENCY_ID	Строка(max)	RESULT_CURRENCY_ID
RESULT_MARK	Число	RESULT_MARK
RESULT_SOURCE_ID	Строка(max)	RESULT_SOURCE_ID
RESULT_STATUS	Число	RESULT_STATUS
RESULT_STREAM	Число	Статистика отчётов
RESULT_SUM	Число	RESULT_SUM
RESULT_VALUE	Число	RESULT_VALUE
SETTINGS	Строка(max)	Настройки
START_TIME	Дата и время	Время начала выполнения
STATUS	Строка(max)	Статус
SUBJECT	Строка(max)	Субьект
TYPE_ID	Строка(max)	Тип контакта
WEBDAV_ELEMENTS	Строка(max)	Добавленные файлы

Таблица Лиды.Контакты

Имя	ТИП	Описание поля
CONTACT_ID	Число	Идентификатор контактного лица
IS_PRIMARY	Строка	Первичный
OWNER_ID	Число	Собственник
SORT	Число	Сортировка

Таблица Лиды.ТоварныеПозиции

Имя	ТИП	Описание поля
ID	Число	Идентификатор сделки. Создается автоматически и уникален в рамках БД.
CUSTOMIZED	Строка	Изменен
DISCOUNT_RATE	Число	Величина скидки
DISCOUNT_SUM	Число	Сумма скидки
DISCOUNT_TYPE_ID	Число	Тип скидки
MEASURE_CODE	Число	Код единицы измерения
MEASURE_NAME	Строка(max)	Единица измерения
OWNER_ID	Число	Собственник
OWNER_TYPE	Строка(max)	Тип владельца
PRICE	Число	Цена
PRICE_BRUTTO	Число	PRICE_BRUTTO
PRICE_EXCLUSIVE	Число	Цена без налога со скидкой
PRICE_NETTO	Число	PRICE_NETTO
PRODUCT_ID	Число	Товар
PRODUCT_NAME	Строка(max)	Название товара
QUANTITY	Число	Количество
SORT	Число	Сортировка.
TAX_INCLUDED	Строка	Налог включен в цену
TAX_RATE	Число	Налог
TYPE	Число	TYPE

Подраздел “Сделки”

Таблица Сделки

Имя	ТИП	Описание поля
ADDITIONAL_INFO	Строка(max)	Дополнительная информация
ASSIGNED_BY_ID	Число	Идентификатор ответственного за сделку
BEGINDATE	Строка(max)	Дата открытия сделки
CATEGORY_ID	Строка(max)	Идентификатор воронки. Связь с Таблицей “Сделки.Справочник_Воронки продаж” по полю ID
CLOSED	Строка	Флаг “Сделка закрыта”
CLOSEDATE	Строка(max)	Дата закрытия сделки
COMMENTS	Строка(max)	Комментарии
COMPANY_ID	Число	Идентификатор компании-контрагента сделки
CONTACT_ID	Число	Идентификатор контактного лица
CONTACT_IDS	Число	Идентификатор привязанного контакта
CREATED_BY_ID	Число	Идентификатор создавшего сделку
CURRENCY_ID	Строка	Валюта сделки
DATE_CREATE	Дата и время	Дата создания
DATE_MODIFY	Дата и время	Дата изменения
ID	Число	Идентификатор сделки. Создается автоматически и уникален в рамках БД.
IS_MANUAL_OPPORTUNITY	Строка	Флаг “Режим расчета суммы”. По умолчанию “N” - сумма рассчитывается автоматически.
IS_NEW	Строка	Флаг новой сделки (т. е. сделка в первой стадии)
IS_RECURRING	Строка	Флаг шаблона регулярной сделки (если стоит Y, то это не сделка, а шаблон)
IS_REPEATED_APPROACH	Строка	Повторное обращение
IS_RETURN_CUSTOMER	Строка	Признак повторного лида
LAST_ACTIVITY_BY	Число	LAST_ACTIVITY_BY
LAST_ACTIVITY_TIME	Дата и время	LAST_ACTIVITY_TIME
LEAD_ID	Число	Идентификатор лида
LOCATION_ID	Строка(max)	Местоположение клиента
MODIFY_BY_ID	Число	Идентификатор изменившего сделку
MOVED_BY_ID	Число	Идентификатор автора перемещения элемента на текущую стадию
MOVED_TIME	Дата и время	Дата перемещения элемента на текущую стадию
OPENED	Строка	Флаг “Сделка доступна для всех”
OPPORTUNITY	Число	Сумма в валюте сделки
ORIGIN_ID	Строка(max)	Внешний ключ, используется для операций обмена. Идентификатор объекта внешней информационной базы. Назначение поля может меняться конечным разработчиком.
ORIGINATOR_ID	Строка(max)	Идентификатор внешней информационной базы. Назначение поля может меняться конечным разработчиком.
PROBABILITY	Число	Вероятность заключения сделки (в %)
QUOTE_ID	Число	Идентификатор квоты
SOURCE_DESCRIPTION	Строка(max)	Дополнительно об источнике
SOURCE_ID	Строка	Идентификатор источника
STAGE_ID	Строка	Идентификатор этапа сделки
STAGE_SEMANTIC_ID	Строка(max)	Имя
TAX_VALUE	Число	Ставка налога
TITLE	Строка(max)	Название сделки. Обязательное поле.
TYPE_ID	Строка	Идентификатор типа сделки
UTM_CAMPAIGN	Строка(max)	Обозначение рекламной кампании
UTM_CONTENT	Строка(max)	Содержание кампании
UTM_MEDIUM	Строка(max)	Тип трафика
UTM_SOURCE	Строка(max)	Рекламная система
UTM_TERM	Строка(max)	Условие поиска кампании

Таблица Сделки.Дела

Имя	ТИП	Описание поля
ID	Число	Идентификатор сделки. Создается автоматически и уникален в рамках БД.
ASSOCIATED_ENTITY_ID	Число	Идентификатор связанной с делом сущности
AUTHOR_ID	Число	Создатель дела
AUTOCOMPLETE_RULE	Число	Автозаполнение
BINDINGS	Строка(max)	Привязки
COMMUNICATIONS	Строка(max)	Канал коммуникации
COMPLETED	Строка	Завершено
CREATED	Дата и время	Создано
DEADLINE	Дата и время	Срок исполнения
DESCRIPTION	Строка(max)	Описание
DESCRIPTION_TYPE	Строка(max)	Тип описания
DIRECTION	Строка(max)	Направление дела: входящее/исходящее.
EDITOR_ID	Число	Кто изменил
END_TIME	Дата и время	Время завершения
FILES	Строка(max)	Добавленные файлы
IS_INCOMING_CHANNEL	Строка	IS_INCOMING_CHANNEL
LAST_UPDATED	Дата и время	Дата последнего обновления
LOCATION	Строка(max)	Местоположение
NOTIFY_TYPE	Строка(max)	Тип уведомлений
NOTIFY_VALUE	Число	Параметр уведомления
ORIGIN_ID	Строка(max)	Внешний ключ, используется для операций обмена. Идентификатор объекта внешней информационной базы. Назначение поля может меняться конечным разработчиком.
ORIGINATOR_ID	Строка(max)	Идентификатор внешней информационной базы. Назначение поля может меняться конечным разработчиком.
OWNER_ID	Число	Собственник
OWNER_TYPE_ID	Строка(max)	Тип собственника
PRIORITY	Строка(max)	Приоритет
PROVIDER_DATA	Строка(max)	Данные провайдера
PROVIDER_GROUP_ID	Строка(max)	Тип коннектора
PROVIDER_ID	Строка(max)	Идентификатор провайдера
PROVIDER_PARAMS	Строка(max)	Параметры провайдера
PROVIDER_TYPE_ID	Строка(max)	Идентификатор типа провайдера
RESPONSIBLE_ID	Число	Ответстветнный
RESULT_CURRENCY_ID	Строка(max)	RESULT_CURRENCY_ID
RESULT_MARK	Число	RESULT_MARK
RESULT_SOURCE_ID	Строка(max)	RESULT_SOURCE_ID
RESULT_STATUS	Число	RESULT_STATUS
RESULT_STREAM	Число	Статистика отчётов
RESULT_SUM	Число	RESULT_SUM
RESULT_VALUE	Число	RESULT_VALUE
SETTINGS	Строка(max)	Настройки
START_TIME	Дата и время	Время начала выполнения
STATUS	Строка(max)	Статус
SUBJECT	Строка(max)	Субьект
TYPE_ID	Строка(max)	Идентификатор типа сделки
WEBDAV_ELEMENTS	Строка(max)	Добавленные файлы

Таблица Сделки.Контакты

Имя	ТИП	Описание поля
CONTACT_ID	Число	Идентификатор контактного лица
IS_PRIMARY	Строка	Первичный
OWNER_ID	Число	Собственник
SORT	Число	Сортировка

Таблица Сделки.Направления

Имя	ТИП	Описание поля
entityTypeId	Число	ENTITY_TYPE_ID
id	Число	Идентификатор сделки. Создается автоматически и уникален в рамках БД.
isDefault	Строка(max)	IS_DEFAULT
name	Строка(max)	Имя контакта
originatorId	Строка(max)	ORIGINATOR_ID
originId	Строка(max)	ORIGIN_ID
sort	Число	Сортировка

Таблица Сделки.ТоварныеПозиции

Имя	ТИП	Описание поля
ID	Число	Идентификатор сделки. Создается автоматически и уникален в рамках БД.
CUSTOMIZED	Строка	Изменен
DISCOUNT_RATE	Число	Величина скидки
DISCOUNT_SUM	Число	Сумма скидки
DISCOUNT_TYPE_ID	Число	Тип скидки
MEASURE_CODE	Число	Код единицы измерения
MEASURE_NAME	Строка(max)	Единица измерения
OWNER_ID	Число	Собственник
OWNER_TYPE	Строка(max)	Тип владельца
PRICE	Число	Цена
PRICE_BRUTTO	Число	PRICE_BRUTTO
PRICE_EXCLUSIVE	Число	Цена без налога со скидкой
PRICE_NETTO	Число	PRICE_NETTO
PRODUCT_ID	Число	Товар
PRODUCT_NAME	Строка(max)	Название товара
QUANTITY	Число	Количество
SORT	Число	Сортировка
TAX_INCLUDED	Строка	Налог включен в цену
TAX_RATE	Число	Налог
TYPE	Число	TYPE

Таблица Сделки.Справочник_Воронки продаж

Имя	ТИП	Описание поля
ENTITY_TYPE_ID	Число	Тип родительской сущности. Возможные типы: “Компания”, “Контакт”. Обязательное поле.
ID	Число	Идентификатор сделки. Создается автоматически и уникален в рамках БД
IS_DEFAULT	Строка(max)	IS_DEFAULT
NAME	Строка(max)	Имя контакта
ORIGIN_ID	Строка(max)	Внешний ключ, используется для операций обмена. Идентификатор объекта внешней информационной базы. Назначение поля может меняться конечным разработчиком.
ORIGINATOR_ID	Строка(max)	Идентификатор внешней информационной базы. Назначение поля может меняться конечным разработчиком
SORT	Число	Сортировка

Подраздел “Контрагенты”

Таблица Банковские реквизиты

Имя	ТИП	Описание поля
ID	Число	Идентификатор реквизита. Создается автоматически и уникален в рамках БД.
ACTIVE	Строка	Признак активности
CODE	Строка(max)	Символьный код реквизита
COMMENTS	Строка(max)	Комментарий
COUNTRY_ID	Число	Идентификатор страны
CREATED_BY_ID	Число	Идентификатор создавшего реквизит
DATE_CREATE	Дата и время	Дата создания
DATE_MODIFY	Дата и время	Дата изменения
ENTITY_ID	Число	Идентификатор родительской сущности. Обязательное поле.
MODIFY_BY_ID	Число	Идентификатор изменившего реквизит
NAME	Строка(max)	Название реквизита
ORIGINATOR_ID	Строка(max)	Идентификатор внешней информационной базы. Назначение поля может меняться конечным разработчиком.
RQ_ACC_CURRENCY	Строка(max)	Валюта счёта
RQ_ACC_NAME	Строка(max)	Bank Account Holder Name
RQ_ACC_NUM	Строка(max)	Bank Account Number
RQ_ACC_TYPE	Строка(max)	RQ_ACC_TYPE
RQ_AGENCY_NAME	Строка(max)	RQ_AGENCY_NAME
RQ_BANK_ADDR	Строка(max)	Адрес банка
RQ_BANK_CODE	Строка(max)	RQ_BANK_CODE
RQ_BANK_NAME	Строка(max)	Наименование банка
RQ_BANK_ROUTE_NUM	Строка(max)	Bank Routing Number
RQ_BIC	Строка(max)	BIC
RQ_BIK	Строка(max)	БИК
RQ_CODEB	Строка(max)	RQ_CODEB
RQ_CODEG	Строка(max)	RQ_CODEG
RQ_COR_ACC_NUM	Строка(max)	Кор счёт
RQ_IBAN	Строка(max)	IBAN
RQ_IIK	Строка(max)	ИИК
RQ_MFO	Строка(max)	МФО
RQ_RIB	Строка(max)	RQ_RIB
RQ_SWIFT	Строка(max)	SWIFT
SORT	Число	Сортировка
XML_ID	Строка(max)	Внешний ключ, используется для операций обмена. Идентификатор объекта внешней информационной базы. Назначение поля может меняться конечным разработчиком.

Таблица Компании

Имя	ТИП	Описание поля
ADDRESS	Строка(max)	Улица, дом, корпус, строение (фактический адрес)
ADDRESS_2	Строка(max)	Квартира / офис (фактический адрес)
ADDRESS_CITY	Строка(max)	Город (фактический адрес)
ADDRESS_COUNTRY	Строка(max)	Страна (фактический адрес)
ADDRESS_COUNTRY_CODE	Строка(max)	Код Страны (фактический адрес)
ADDRESS_LEGAL	Строка(max)	Юридический адрес
ADDRESS_LOC_ADDR_ID	Число	Идентификатор адреса местоположения
ADDRESS_POSTAL_CODE	Строка(max)	Почтовый индекс (фактический адрес)
ADDRESS_PROVINCE	Строка(max)	Область (фактический адрес)
ADDRESS_REGION	Строка(max)	Район (фактический адрес)
ASSIGNED_BY_ID	Число	Идентификатор ответственного
BANKING_DETAILS	Строка(max)	Банковские реквизиты
COMMENTS	Строка(max)	Комментарии
COMPANY_TYPE	Строка	Тип компании. Выбирается из списка
CONTACT_ID	Число	Привязка лида к контакту
CREATED_BY_ID	Число	Создал
CURRENCY_ID	Строка	Валюта расчетов
DATE_CREATE	Дата и время	Дата создания
DATE_MODIFY	Дата и время	Дата изменения
EMAIL	Строка(max)	e-mail
EMPLOYEES	Строка	Количество сотрудников. Выбирается из списка
HAS_EMAIL	Строка	Проверка заполненности поля электронной почты
HAS_IMOL	Строка	Задана открытая линия
HAS_PHONE	Строка	Проверка заполненности поля телефон
ID	Число	Идентификатор компании. Создается автоматически и уникален в рамках БД.
IM	Строка(max)	Контакт в службе обмена мгновенными сообщениями
INDUSTRY	Строка	Сфера деятельности. Выбирается из списка.
IS_MY_COMPANY	Строка	Моя компания
LAST_ACTIVITY_BY	Число	Кем осуществлена последняя активность в таймлайне
LAST_ACTIVITY_TIME	Дата и время	Последняя активность
LEAD_ID	Число	Идентификатор лида
LINK	Строка(max)	LINK
LOGO	Строка(max)	Логотип компании
MODIFY_BY_ID	Число	Изменил
OPENED	Строка	Флаг “Доступна для всех”
ORIGIN_ID	Строка(max)	Внешний ключ, используется для операций обмена. Идентификатор объекта внешней информационной базы. Назначение поля может меняться конечным разработчиком.
ORIGIN_VERSION	Строка(max)	Оригинальная версия
ORIGINATOR_ID	Строка(max)	Идентификатор внешней информационной базы. Назначение поля может меняться конечным разработчиком.
PHONE	Строка(max)	PHONE
REG_ADDRESS	Строка(max)	Улица, дом, корпус, строение (юридический адрес)
REG_ADDRESS_2	Строка(max)	Квартира / офис (юридический адрес)
REG_ADDRESS_CITY	Строка(max)	Город (юридический адрес)
REG_ADDRESS_COUNTRY	Строка(max)	Страна (юридический адрес)
REG_ADDRESS_COUNTRY_CODE	Строка(max)	Код Страны (юридический адрес)
REG_ADDRESS_LOC_ADDR_ID	Число	Юридический адрес идентификатор адреса местоположения
REG_ADDRESS_POSTAL_CODE	Строка(max)	Почтовый индекс (юридический адрес)
REG_ADDRESS_PROVINCE	Строка(max)	Область (юридический адрес)
REG_ADDRESS_REGION	Строка(max)	Район (юридический адрес)
REVENUE	Число	Годовой оборот
TITLE	Строка(max)	Название компании. Обязательное поле..
UTM_CAMPAIGN	Строка(max)	Обозначение рекламной кампании
UTM_CONTENT	Строка(max)	Содержание кампании
UTM_MEDIUM	Строка(max)	Тип трафика
UTM_SOURCE	Строка(max)	Рекламная система
UTM_TERM	Строка(max)	Условие поиска кампании
WEB	Строка(max)	веб-сайт

Таблица Компании.Адреса

Имя	ТИП	Описание поля
ADDRESS_1	Строка(max)	Улица, дом, корпус, строение.
ADDRESS_2	Строка(max)	Квартира / офис.
ANCHOR_ID	Число	Примечание. Эти поля для служебного использования. Они нужны для решения задачи производительности в выборках по старшим сущностям (Компаниям/Контактам) в элементах CRM, которые с ними напрямую не связаны, а связаны опосредовано через другой элемент CRM. При добавлении записи Адреса обязательно указывается непосредственная привязка адреса к старшей сущности - ENTITY_ID, ENTITY_TYPE_ID . Например, это Реквизит. Но в поля записи Адреса ANCHOR_TYPE_ID и ANCHOR_ID автоматически проставится привязка к более старшей сущности самого Реквизита - Компании/Клиенту.
ANCHOR_TYPE_ID	Число	Родительская сущность, с которой связана текущая запись.
CITY	Строка(max)	Город.
COUNTRY	Строка(max)	Страна.
COUNTRY_CODE	Строка(max)	Код страны.
ENTITY_ID	Число	Идентификатор родительской сущности. Обязательное поле.
ENTITY_TYPE_ID	Число	Тип родительской сущности. По умолчанию тип: “Реквизит”. Обязательное поле.
LOC_ADDR_ID	Число	Идентификатор адреса местоположения
POSTAL_CODE	Строка(max)	Почтовый индекс.
PROVINCE	Строка(max)	Область.
REGION	Строка(max)	Район.
TYPE_ID	Число	TYPE_ID

Таблица Компании.Дела

Имя	ТИП	Описание поля
ID	Число	Идентификатор реквизита. Создается автоматически и уникален в рамках БД.
ASSOCIATED_ENTITY_ID	Число	Идентификатор связанной с делом сущности
AUTHOR_ID	Число	Создатель дела
AUTOCOMPLETE_RULE	Число	Автозаполнение
BINDINGS	Строка(max)	Привязки
COMMUNICATIONS	Строка(max)	Канал коммуникации
COMPLETED	Строка	Завершено
CREATED	Дата и время	Создано
DEADLINE	Дата и время	Срок исполнения
DESCRIPTION	Строка(max)	Описание
DESCRIPTION_TYPE	Строка(max)	Тип описания
DIRECTION	Строка(max)	Направление дела: входящее/исходящее.
EDITOR_ID	Число	Кто изменил
END_TIME	Дата и время	Время завершения
FILES	Строка(max)	Добавленные файлы
IS_INCOMING_CHANNEL	Строка	IS_INCOMING_CHANNEL
LAST_UPDATED	Дата и время	Дата последнего обновления
LOCATION	Строка(max)	Местоположение.
NOTIFY_TYPE	Строка(max)	Тип уведомлений
NOTIFY_VALUE	Число	Параметр уведомления
ORIGIN_ID	Строка(max)	Идентификатор элемента в источнике данных
ORIGINATOR_ID	Строка(max)	Идентификатор внешней информационной базы. Назначение поля может меняться конечным разработчиком.
OWNER_ID	Число	Собственник
OWNER_TYPE_ID	Строка(max)	Тип собственника
PRIORITY	Строка(max)	Приоритет
PROVIDER_DATA	Строка(max)	Данные провайдера
PROVIDER_GROUP_ID	Строка(max)	Тип коннектора
PROVIDER_ID	Строка(max)	Идентификатор провайдера
PROVIDER_PARAMS	Строка(max)	Параметры провайдера
PROVIDER_TYPE_ID	Строка(max)	Идентификатор типа провайдера
RESPONSIBLE_ID	Число	Ответстветнный
RESULT_CURRENCY_ID	Строка(max)	RESULT_CURRENCY_ID
RESULT_MARK	Число	RESULT_MARK
RESULT_SOURCE_ID	Строка(max)	RESULT_SOURCE_ID
RESULT_STATUS	Число	RESULT_STATUS
RESULT_STREAM	Число	Статистика отчётов
RESULT_SUM	Число	RESULT_SUM
RESULT_VALUE	Число	RESULT_VALUE
SETTINGS	Строка(max)	Настройки
START_TIME	Дата и время	Время начала выполнения
STATUS	Строка(max)	Статус
SUBJECT	Строка(max)	Субьект
TYPE_ID	Строка(max)	Идентификатор типа адреса. Обязательное поле. Элемент перечисления “Тип адреса”.
WEBDAV_ELEMENTS	Строка(max)	Добавленные файлы

Таблица Компании.Контакты

Имя	ТИП	Описание поля
CONTACT_ID	Число	Идентификатор контактного лица
IS_PRIMARY	Строка	Первичный
OWNER_ID	Число	Собственник
SORT	Число	Сортировка

Таблица Компании.Направления

Имя	ТИП	Описание поля
code	Строка(max)	Символьный код реквизита.
entityTypeId	Число	ENTITY_TYPE_ID
id	Число	Идентификатор компании. Создается автоматически и уникален в рамках БД.
isDefault	Строка(max)	IS_DEFAULT
isSystem	Строка(max)	IS_SYSTEM
name	Строка(max)	Имя контакта. Обязательное поле
sort	Число	Сортировка.

Таблица Компании.Реквизиты

Имя	ТИП	Описание поля
ADDRESS_ONLY	Строка	ADDRESS_ONLY
RQ_EMAIL	Строка(max)	E-Mail
RQ_USRLE	Строка(max)	Handelsregisternummer (для страны DE)
RQ_VAT_ID	Строка(max)	VAT ID (идентификационный номер (плательщика) НДС)
RQ_BIN	Строка(max)	БИН
RQ_IDENT_DOC	Строка(max)	Вид документа
XML_ID	Строка(max)	Внешний ключ, используется для операций обмена. Идентификатор объекта внешней информационной базы. Назначение поля может меняться конечным разработчиком.
RQ_DIRECTOR	Строка(max)	Ген директор
RQ_ACCOUNTANT	Строка(max)	Гл бухгалтер
RQ_IDENT_DOC_DATE	Строка(max)	дата выдачи
RQ_COMPANY_REG_DATE	Строка(max)	Дата государственной регистрации
DATE_MODIFY	Дата и время	Дата изменения
RQ_VAT_CERT_DATE	Строка(max)	Дата свидетельства по НДС
DATE_CREATE	Дата и время	Дата создания
RQ_CEO_WORK_POS	Строка(max)	Должность первого руководителя
RQ_DRFO	Строка(max)	ДРФО
RQ_EDRPOU	Строка(max)	ЄДРПОУ
ORIGINATOR_ID	Строка(max)	Идентификатор внешней информационной базы. Назначение поля может меняться конечным разработчиком.
ID	Число	Идентификатор компании. Создается автоматически и уникален в рамках БД.
ENTITY_ID	Число	Идентификатор родительской сущности. Обязательное поле.
PRESET_ID	Число	Идентификатор шаблона реквизитов. Обязательное поле.
MODIFY_BY_ID	Число	Изменил
RQ_IIN	Строка(max)	ИИН
NAME	Строка(max)	Имя контакта. Обязательное поле
RQ_FIRST_NAME	Строка(max)	Имя
RQ_INN	Строка(max)	ИНН
RQ_IFNS	Строка(max)	ИФНС
RQ_KBE	Строка(max)	КБЕ
RQ_IDENT_DOC_ISSUED_BY	Строка(max)	Кем выдан
RQ_IDENT_DOC_DEP_CODE	Строка(max)	Код подразделения
RQ_CONTACT	Строка(max)	Контактное лицо
RQ_KPP	Строка(max)	КПП
RQ_VAT_CERT_NUM	Строка(max)	Номер свидетельства по НДС
RQ_IDENT_DOC_NUM	Строка(max)	Номер
RQ_OGRN	Строка(max)	ОГРН
RQ_OGRNIP	Строка(max)	ОГРНИП
RQ_OKVED	Строка(max)	ОКВЭД
RQ_OKPO	Строка(max)	ОКПО
RQ_OKTMO	Строка(max)	ОКТМО
RQ_SECOND_NAME	Строка(max)	Отчество
RQ_VAT_PAYER	Строка	Платник ПДВ (для страны UA)
RQ_COMPANY_FULL_NAME	Строка(max)	Полное наименование организации
ACTIVE	Строка	Признак активности
RQ_VAT_CERT_SER	Строка(max)	Серия свидетельства по НДС
RQ_IDENT_DOC_SER	Строка(max)	серия
CODE	Строка(max)	Символьный код реквизита
CREATED_BY_ID	Число	Создал
RQ_COMPANY_NAME	Строка(max)	Сокращенное наименование организации
SORT	Число	Сортировка
RQ_RESIDENCE_COUNTRY	Строка(max)	Страна резидента
RQ_PHONE	Строка(max)	Телефон
ENTITY_TYPE_ID	Число	Тип родительской сущности. Возможные типы: “Компания”, “Контакт”. Обязательное поле.
RQ_NAME	Строка(max)	Ф.И.О.
RQ_FAX	Строка(max)	Факс
RQ_LAST_NAME	Строка(max)	Фамилия
RQ_CEO_NAME	Строка(max)	ФИО первого руководителя
RQ_BASE_DOC	Строка(max)	RQ_BASE_DOC
RQ_CAPITAL	Строка(max)	RQ_CAPITAL
RQ_CNPJ	Строка(max)	RQ_CNPJ
RQ_COMPANY_ID	Строка(max)	RQ_COMPANY_ID
RQ_CPF	Строка(max)	RQ_CPF
RQ_IDENT_DOC_PERS_NUM	Строка(max)	RQ_IDENT_DOC_PERS_NUM
RQ_IDENT_TYPE	Строка	RQ_IDENT_TYPE
RQ_KRS	Строка(max)	RQ_KRS
RQ_LEGAL_FORM	Строка(max)	RQ_LEGAL_FORM
RQ_MNPL_REG	Строка(max)	RQ_MNPL_REG
RQ_PESEL	Строка(max)	RQ_PESEL
RQ_RCS	Строка(max)	RQ_RCS
RQ_REGON	Строка(max)	RQ_REGON
RQ_SIREN	Строка(max)	RQ_SIREN
RQ_SIRET	Строка(max)	RQ_SIRET
RQ_STATE_REG	Строка(max)	RQ_STATE_REG
RQ_ST_CERT_DATE	Строка(max)	Дата св. о гос. регистрации
RQ_ST_CERT_NUM	Строка(max)	Номер св. о гос. регистрации
RQ_ST_CERT_SER	Строка(max)	Серия св. о гос. регистрации

Таблица Контакты

Имя	ТИП	Описание поля
ADDRESS	Строка(max)	Улица, дом, корпус, строение
ADDRESS_2	Строка(max)	Квартира, офис
ADDRESS_CITY	Строка(max)	Город
ADDRESS_COUNTRY	Строка(max)	Страна
ADDRESS_COUNTRY_CODE	Строка(max)	Код страны
ADDRESS_LOC_ADDR_ID	Число	Идентификатор адреса местоположения
ADDRESS_POSTAL_CODE	Строка(max)	Почтовый индекс
ADDRESS_PROVINCE	Строка(max)	Область
ADDRESS_REGION	Строка(max)	Район
ASSIGNED_BY_ID	Число	Идентификатор ответственного
BIRTHDATE	Строка(max)	Дата рождения контакта
COMMENTS	Строка(max)	Комментарии
COMPANY_ID	Число	Идентификатор компании
COMPANY_IDS	Число	Привязка контакта к нескольким компаниям.
CREATED_BY_ID	Число	Создан
DATE_CREATE	Дата и время	Дата создания
DATE_MODIFY	Дата и время	Дата изменения
EMAIL	Строка(max)	e-mail
EXPORT	Строка	Флаг разрешения экспорта
FACE_ID	Число	Привязка к лицам из модуля faceid
HAS_EMAIL	Строка	Проверка заполненности поля электронной почты
HAS_IMOL	Строка	Задана открытая линия
HAS_PHONE	Строка	Проверка заполненности поля телефон
HONORIFIC	Строка	Вид обращения
ID	Число	Идентификатор контакта. Создается автоматически и уникален в пределах БД
IM	Строка(max)	Контакт в службе обмена мгновенными сообщениями
LAST_ACTIVITY_BY	Число	Кем осуществлена последняя активность в таймлайне
LAST_ACTIVITY_TIME	Дата и время	Последняя активность
LAST_NAME	Строка(max)	Фамилия Контакта. Обязательное поле
LEAD_ID	Число	Идентификатор лида
LINK	Строка(max)	LINK
MODIFY_BY_ID	Число	Изменен
NAME	Строка(max)	Имя контакта. Обязательное поле
OPENED	Строка	Флаг “Доступен для всех”
ORIGIN_ID	Строка(max)	Внешний ключ, используется для операций обмена. Идентификатор объекта внешней информационной базы. Назначение поля может меняться конечным разработчиком.
ORIGIN_VERSION	Строка(max)	Оригинальная версия
ORIGINATOR_ID	Строка(max)	Идентификатор внешней информационной базы. Назначение поля может меняться конечным разработчиком.
PHONE	Строка(max)	PHONE
PHOTO	Строка(max)	Фотография контакта
POST	Строка(max)	Должность
SECOND_NAME	Строка(max)	Отчество контакта. Обязательное поле
SOURCE_DESCRIPTION	Строка(max)	Подробнее об источнике
SOURCE_ID	Строка	Источник
TYPE_ID	Строка	Тип контакта
UTM_CAMPAIGN	Строка(max)	Обозначение рекламной кампании
UTM_CONTENT	Строка(max)	Содержание кампании
UTM_MEDIUM	Строка(max)	Тип трафика
UTM_SOURCE	Строка(max)	Рекламная система
UTM_TERM	Строка(max)	Условие поиска кампании
WEB	Строка(max)	веб-сайт

Таблица Контакты.Адреса

Имя	ТИП	Описание поля
ADDRESS_1	Строка(max)	Улица, дом, корпус, строение.
ADDRESS_2	Строка(max)	Квартира, офис
ANCHOR_ID	Число	Примечание. Эти поля для служебного использования. Они нужны для решения задачи производительности в выборках по старшим сущностям (Компаниям/Контактам) в элементах CRM, которые с ними напрямую не связаны, а связаны опосредовано через другой элемент CRM. При добавлении записи Адреса обязательно указывается непосредственная привязка адреса к старшей сущности - ENTITY_ID, ENTITY_TYPE_ID . Например, это Реквизит. Но в поля записи Адреса ANCHOR_TYPE_ID и ANCHOR_ID автоматически проставится привязка к более старшей сущности самого Реквизита - Компании/Клиенту.
ANCHOR_TYPE_ID	Число	Родительская сущность, с которой связана текущая запись.
CITY	Строка(max)	Город.
COUNTRY	Строка(max)	Страна.
COUNTRY_CODE	Строка(max)	Код страны.
ENTITY_ID	Число	Идентификатор родительской сущности. Обязательное поле.
ENTITY_TYPE_ID	Число	Тип родительской сущности. Возможные типы: “Компания”, “Контакт”. Обязательное поле.
LOC_ADDR_ID	Число	Идентификатор адреса местоположения
POSTAL_CODE	Строка(max)	Почтовый индекс
PROVINCE	Строка(max)	Область
REGION	Строка(max)	Район
TYPE_ID	Число	Тип контакта

Таблица Контакты.Дела

Имя	ТИП	Описание поля
ID	Число	Идентификатор контакта. Создается автоматически и уникален в пределах БД
ASSOCIATED_ENTITY_ID	Число	Идентификатор связанной с делом сущности
AUTHOR_ID	Число	Создатель дела
AUTOCOMPLETE_RULE	Число	Автозаполнение
BINDINGS	Строка(max)	Привязки
COMMUNICATIONS	Строка(max)	Канал коммуникации
COMPLETED	Строка	Завершено
CREATED	Дата и время	Создано
DEADLINE	Дата и время	Срок исполнения
DESCRIPTION	Строка(max)	Описание
DESCRIPTION_TYPE	Строка(max)	Тип описания
DIRECTION	Строка(max)	Направление дела: входящее/исходящее.
EDITOR_ID	Число	Кто изменил
END_TIME	Дата и время	Время завершения
FILES	Строка(max)	Добавленные файлы
IS_INCOMING_CHANNEL	Строка	IS_INCOMING_CHANNEL
LAST_UPDATED	Дата и время	Дата последнего обновления
LOCATION	Строка(max)	Местоположение.
NOTIFY_TYPE	Строка(max)	Тип уведомлений
NOTIFY_VALUE	Число	Параметр уведомления
ORIGIN_ID	Строка(max)	Внешний ключ, используется для операций обмена. Идентификатор объекта внешней информационной базы. Назначение поля может меняться конечным разработчиком.
ORIGINATOR_ID	Строка(max)	Идентификатор внешней информационной базы. Назначение поля может меняться конечным разработчиком.
OWNER_ID	Число	Собственник
OWNER_TYPE_ID	Строка(max)	Тип собственника
PRIORITY	Строка(max)	Приоритет
PROVIDER_DATA	Строка(max)	Данные провайдера
PROVIDER_GROUP_ID	Строка(max)	Тип коннектора
PROVIDER_ID	Строка(max)	Идентификатор провайдера
PROVIDER_PARAMS	Строка(max)	Параметры провайдера
PROVIDER_TYPE_ID	Строка(max)	Идентификатор типа провайдера
RESPONSIBLE_ID	Число	Ответстветнный
RESULT_CURRENCY_ID	Строка(max)	RESULT_CURRENCY_ID
RESULT_MARK	Число	RESULT_MARK
RESULT_SOURCE_ID	Строка(max)	RESULT_SOURCE_ID
RESULT_STATUS	Число	RESULT_STATUS
RESULT_STREAM	Число	Статистика отчётов
RESULT_SUM	Число	RESULT_SUM
RESULT_VALUE	Число	RESULT_VALUE
SETTINGS	Строка(max)	Настройки
START_TIME	Дата и время	Время начала выполнения
STATUS	Строка(max)	Статус
SUBJECT	Строка(max)	Субьект
TYPE_ID	Строка(max)	Тип контакта
WEBDAV_ELEMENTS	Строка(max)	Добавленные файлы

Таблица Контакты.Направления

Имя	ТИП	Описание поля
code	Строка(max)	Символьный код реквизита.
entityTypeId	Число	ENTITY_TYPE_ID
id	Число	Идентификатор контакта. Создается автоматически и уникален в пределах БД
isDefault	Строка(max)	IS_DEFAULT
isSystem	Строка(max)	IS_SYSTEM
name	Строка(max)	Имя контакта. Обязательное поле
sort	Число	Сортировка.

Таблица Контакты.Реквизиты

Имя	ТИП	Описание поля
ADDRESS_ONLY	Строка	ADDRESS_ONLY
ACTIVE	Строка	Признак активности
CODE	Строка(max)	Символьный код реквизита.
CREATED_BY_ID	Число	Создан
DATE_CREATE	Дата и время	Дата создания
DATE_MODIFY	Дата и время	Дата изменения
ENTITY_ID	Число	Идентификатор родительской сущности. Обязательное поле.
ENTITY_TYPE_ID	Число	Тип родительской сущности. Возможные типы: “Компания”, “Контакт”. Обязательное поле.
ID	Число	Идентификатор контакта. Создается автоматически и уникален в пределах БД
MODIFY_BY_ID	Число	Изменен
NAME	Строка(max)	Имя контакта. Обязательное поле
ORIGINATOR_ID	Строка(max)	Идентификатор внешней информационной базы. Назначение поля может меняться конечным разработчиком.
PRESET_ID	Число	Идентификатор шаблона реквизитов. Обязательное поле.
RQ_ACCOUNTANT	Строка(max)	Гл. бухгалтер.
RQ_BASE_DOC	Строка(max)	RQ_BASE_DOC
RQ_BIN	Строка(max)	БИН
RQ_CAPITAL	Строка(max)	RQ_CAPITAL
RQ_CEO_NAME	Строка(max)	ФИО первого руководителя.
RQ_CEO_WORK_POS	Строка(max)	Должность первого руководителя.
RQ_CNPJ	Строка(max)	RQ_CNPJ
RQ_COMPANY_FULL_NAME	Строка(max)	Полное наименование организации.
RQ_COMPANY_ID	Строка(max)	RQ_COMPANY_ID
RQ_COMPANY_NAME	Строка(max)	Сокращенное наименование организации.
RQ_COMPANY_REG_DATE	Строка(max)	Дата государственной регистрации.
RQ_CONTACT	Строка(max)	Контактное лицо
RQ_CPF	Строка(max)	RQ_CPF
RQ_DIRECTOR	Строка(max)	Ген директор
RQ_DRFO	Строка(max)	ДРФО
RQ_EDRPOU	Строка(max)	ЄДРПОУ
RQ_EMAIL	Строка(max)	E-Mail
RQ_FAX	Строка(max)	Факс
RQ_FIRST_NAME	Строка(max)	Имя
RQ_IDENT_DOC	Строка(max)	Вид документа
RQ_IDENT_DOC_DATE	Строка(max)	Дата выдачи
RQ_IDENT_DOC_DEP_CODE	Строка(max)	Код подразделения
RQ_IDENT_DOC_ISSUED_BY	Строка(max)	Кем выдан
RQ_IDENT_DOC_NUM	Строка(max)	Номер
RQ_IDENT_DOC_PERS_NUM	Строка(max)	RQ_IDENT_DOC_PERS_NUM
RQ_IDENT_DOC_SER	Строка(max)	Серия
RQ_IDENT_TYPE	Строка	RQ_IDENT_TYPE
RQ_IFNS	Строка(max)	ИФНС
RQ_IIN	Строка(max)	ИИН
RQ_INN	Строка(max)	ИНН
RQ_KBE	Строка(max)	КБЕ
RQ_KPP	Строка(max)	КПП
RQ_KRS	Строка(max)	RQ_KRS
RQ_LAST_NAME	Строка(max)	Фамилия
RQ_LEGAL_FORM	Строка(max)	RQ_LEGAL_FORM
RQ_MNPL_REG	Строка(max)	RQ_MNPL_REG
RQ_NAME	Строка(max)	ФИО
RQ_OGRN	Строка(max)	ОГРН
RQ_OGRNIP	Строка(max)	ОГРНИП
RQ_OKPO	Строка(max)	ОКПО
RQ_OKTMO	Строка(max)	ОКТМО
RQ_OKVED	Строка(max)	ОКВЭД
RQ_PESEL	Строка(max)	RQ_PESEL
RQ_PHONE	Строка(max)	Телефон
RQ_RCS	Строка(max)	RQ_RCS
RQ_REGON	Строка(max)	RQ_REGON
RQ_RESIDENCE_COUNTRY	Строка(max)	Страна резидента
RQ_SECOND_NAME	Строка(max)	Отчество
RQ_SIREN	Строка(max)	RQ_SIREN
RQ_SIRET	Строка(max)	RQ_SIRET
RQ_ST_CERT_DATE	Строка(max)	Дата св о гос регистрации
RQ_ST_CERT_NUM	Строка(max)	Номер св о гос регистрации
RQ_ST_CERT_SER	Строка(max)	Серия св о гос регистрации
RQ_STATE_REG	Строка(max)	RQ_STATE_REG
RQ_USRLE	Строка(max)	Handelsregisternummer (для страны DE)
RQ_VAT_CERT_DATE	Строка(max)	Дата свидетельства по НДС
RQ_VAT_CERT_NUM	Строка(max)	Номер свидетельства по НДС
RQ_VAT_CERT_SER	Строка(max)	Серия свидетельства по НДС
RQ_VAT_ID	Строка(max)	VAT ID (идентификационный номер (плательщика) НДС)
RQ_VAT_PAYER	Строка	Платник ПДВ (для страны UA)
SORT	Число	Сортировка
XML_ID	Строка(max)	Внешний ключ, используется для операций обмена. Идентификатор объекта внешней информационной базы. Назначение поля может меняться конечным разработчиком.

Подраздел “Продажи”

Таблица КоммерческиеПредложения

Имя	ТИП	Описание поля
ACTUAL_DATE	Строка(max)	Актуальная дата
ASSIGNED_BY_ID	Число	Идентификатор ответственного за сделку
BEGINDATE	Строка(max)	Дата открытия сделки
CLIENT_ADDR	Строка(max)	Адрес
CLIENT_CONTACT	Строка(max)	Контактное лицо
CLIENT_EMAIL	Строка(max)	E-mail
CLIENT_PHONE	Строка(max)	Телефон
CLIENT_TITLE	Строка(max)	Клиент
CLIENT_TP_ID	Строка(max)	ИНН
CLIENT_TPA_ID	Строка(max)	КПП
CLOSED	Строка	Флаг “Сделка закрыта”
CLOSEDATE	Строка(max)	Дата закрытия сделки
COMMENTS	Строка(max)	Комментарии
COMPANY_ID	Число	Идентификатор компании-контрагента сделки
CONTACT_ID	Число	Идентификатор контактного лица
CONTACT_IDS	Число	Идентификатор привязанного контакта
CONTENT	Строка(max)	Содержание
CREATED_BY_ID	Число	Идентификатор создавшего сделку
CURRENCY_ID	Строка	Валюта сделки
DATE_CREATE	Дата и время	Дата создания
DATE_MODIFY	Дата и время	Дата изменения
DEAL_ID	Число	Сделка
ID	Число	Идентификатор сделки. Создается автоматически и уникален в рамках БД.
LAST_ACTIVITY_BY	Число	LAST_ACTIVITY_BY
LAST_ACTIVITY_TIME	Дата и время	LAST_ACTIVITY_TIME
LEAD_ID	Число	Идентификатор лида
LOCATION_ID	Строка(max)	Местоположение клиента
MODIFY_BY_ID	Число	Идентификатор изменившего сделку
MYCOMPANY_ID	Число	Идентификатор моей компании.
OPENED	Строка	Флаг “Сделка доступна для всех”
OPPORTUNITY	Число	Сумма в валюте сделки
PERSON_TYPE_ID	Число	Тип клиента
QUOTE_NUMBER	Строка(max)	№ предложения
STATUS_ID	Строка	Идентификатор статуса лида
TAX_VALUE	Число	Ставка налога
TERMS	Строка(max)	Условия
TITLE	Строка(max)	Название сделки. Обязательное поле.
UTM_CAMPAIGN	Строка(max)	Обозначение рекламной кампании
UTM_CONTENT	Строка(max)	Содержание кампании
UTM_MEDIUM	Строка(max)	Тип трафика
UTM_SOURCE	Строка(max)	Рекламная система
UTM_TERM	Строка(max)	Условие поиска кампании

Таблица КоммерческиеПредложения.ТоварныеПозиции

Имя	ТИП	Описание поля
ID	Число	Идентификатор сделки. Создается автоматически и уникален в рамках БД.
CUSTOMIZED	Строка	Изменен
DISCOUNT_RATE	Число	Величина скидки
DISCOUNT_SUM	Число	Сумма скидки
DISCOUNT_TYPE_ID	Число	Тип скидки
MEASURE_CODE	Число	Код единицы измерения
MEASURE_NAME	Строка(max)	Единица измерения
OWNER_ID	Число	Собственник
OWNER_TYPE	Строка(max)	Тип владельца
PRICE	Число	Цена
PRICE_BRUTTO	Число	PRICE_BRUTTO
PRICE_EXCLUSIVE	Число	Цена без налога со скидкой
PRICE_NETTO	Число	PRICE_NETTO
PRODUCT_ID	Число	Товар
PRODUCT_NAME	Строка(max)	Название товара
QUANTITY	Число	Количество
SORT	Число	Сортировка
TAX_INCLUDED	Строка	Налог включен в цену
TAX_RATE	Число	Налог
TYPE	Число	TYPE

Таблица Счета(старые)

Имя	ТИП	Описание поля
ACCOUNT_NUMBER	Строка(max)	Номер
COMMENTS	Строка(max)	Комментарии
CREATED_BY	Число	ID пользователя, создавшего элемент.
CURRENCY	Строка(max)	Идентификатор валюты
DATE_BILL	Строка(max)	Дата выставления
DATE_INSERT	Дата и время	Дата создания
DATE_MARKED	Дата и время	Дата отклонения
DATE_PAY_BEFORE	Строка(max)	Срок оплаты
DATE_PAYED	Дата и время	Дата перевода в состояние оплаты
DATE_STATUS	Дата и время	Дата изменения статуса
DATE_UPDATE	Дата и время	Дата изменения
EMP_PAYED_ID	Число	Идентификатор пользователя, который последним перевёл счёт в состояние “оплачен”
EMP_STATUS_ID	Число	Идентификатор пользователя, который последним поменял статус счёта
ID	Число	Идентификатор сделки. Создается автоматически и уникален в рамках БД.
INVOICE_PROPERTIES	Строка(max)	Список свойств
IS_RECURRING	Строка(max)	Флаг шаблона регулярной сделки (если стоит Y, то это не сделка, а шаблон)
LID	Строка(max)	Идентификатор сайта
ORDER_TOPIC	Строка(max)	Тема
PAY_SYSTEM_ID	Число	Идентификатор печатной формы
PAY_VOUCHER_DATE	Строка(max)	Дата оплаты
PAY_VOUCHER_NUM	Строка(max)	Номер документа оплаты
PAYED	Строка(max)	Признак оплаченности
PERSON_TYPE_ID	Число	Идентификатор типа плательщика
PR_LOCATION	Число	Идентификатор местоположения
PRICE	Число	Сумма
PRODUCT_ROWS	Строка(max)	Список товарных позиций
REASON_MARKED	Строка(max)	Комментарий статуса
RESPONSIBLE_EMAIL	Строка(max)	E-mail ответственного
RESPONSIBLE_ID	Число	Ответстветнный
RESPONSIBLE_LAST_NAME	Строка(max)	Фамилия ответственного
RESPONSIBLE_LOGIN	Строка(max)	Логин ответственного
RESPONSIBLE_NAME	Строка(max)	Имя ответственного
RESPONSIBLE_PERSONAL_PHOTO	Число	Идентификатор фото ответственного
RESPONSIBLE_SECOND_NAME	Строка(max)	Отчество ответственного
RESPONSIBLE_WORK_POSITION	Строка(max)	Должность ответственного
STATUS_ID	Строка(max)	Идентификатор статуса лида
TAX_VALUE	Число	Ставка налога
UF_COMPANY_ID	Число	Идентификатор компании
UF_CONTACT_ID	Число	Идентификатор контакта
UF_DEAL_ID	Число	Идентификатор связанной сделки
UF_MYCOMPANY_ID	Число	Идентификатор своей компании
UF_QUOTE_ID	Число	UF_QUOTE_ID
USER_DESCRIPTION	Строка(max)	Комментарий
XML_ID	Строка(max)	Внешний ключ, используется для операций обмена. Идентификатор объекта внешней информационной базы. Назначение поля может меняться конечным разработчиком.

Таблица Счета(старые).ТоварныеПозиции

Имя	ТИП	Описание поля
ID	Число	Идентификатор
CUSTOMIZED	Строка	Изменен
DISCOUNT_RATE	Число	Величина скидки
DISCOUNT_SUM	Число	Сумма скидки
DISCOUNT_TYPE_ID	Число	Тип скидки
MEASURE_CODE	Число	Код единицы измерения
MEASURE_NAME	Строка(max)	Единица измерения
OWNER_ID	Число	Собственник
OWNER_TYPE	Строка(max)	Тип владельца
PRICE	Число	Сумма
PRICE_BRUTTO	Число	PRICE_BRUTTO
PRICE_EXCLUSIVE	Число	Цена без налога со скидкой
PRICE_NETTO	Число	PRICE_NETTO
PRODUCT_ID	Число	Товар
PRODUCT_NAME	Строка(max)	Название товара
QUANTITY	Число	Количество
SORT	Число	Сортировка
TAX_INCLUDED	Строка	Налог включен в цену
TAX_RATE	Число	Налог
TYPE	Число	TYPE

Подраздел “Товары”

Таблица Товары

Имя	ТИП	Описание поля
ACTIVE	Строка	Признак активности.
CATALOG_ID	Число	Каталог
CODE	Строка(max)	Символьный код реквизита.
CREATED_BY	Число	ID пользователя, создавшего элемент.
CURRENCY_ID	Строка(max)	Валюта расчетов
DATE_CREATE	Дата и время	Дата создания
DESCRIPTION	Строка(max)	Описание
DESCRIPTION_TYPE	Строка(max)	Тип описания
DETAIL_PICTURE	Строка(max)	Детальная картинка
ID	Число	Идентификатор компании. Создается автоматически и уникален в рамках БД.
MEASURE	Число	Единица измерения
MODIFIED_BY	Число	Кем изменён
NAME	Строка(max)	Имя контакта. Обязательное поле
PREVIEW_PICTURE	Строка(max)	Картинка для анонса
PRICE	Число	Сумма
PROPERTY_400	Строка(max)	Наименование ПО
SECTION_ID	Число	Раздел
SORT	Число	Сортировка
TIMESTAMP_X	Дата и время	Дата изменения
VAT_ID	Число	Ставка НДС
VAT_INCLUDED	Строка	НДС включён в цену
XML_ID	Строка(max)	Внешний ключ, используется для операций обмена. Идентификатор объекта внешней информационной базы. Назначение поля может меняться конечным разработчиком.

Таблица Каталог

Имя	ТИП	Описание поля
ID	Число	Идентификатор компании. Создается автоматически и уникален в рамках БД.
NAME	Строка(max)	Имя контакта. Обязательное поле
ORIGIN_ID	Строка(max)	Внешний ключ, используется для операций обмена. Идентификатор объекта внешней информационной базы. Назначение поля может меняться конечным разработчиком.
ORIGINATOR_ID	Строка(max)	Идентификатор внешней информационной базы. Назначение поля может меняться конечным разработчиком.
XML_ID	Строка(max)	Внешний ключ, используется для операций обмена. Идентификатор объекта внешней информационной базы. Назначение поля может меняться конечным разработчиком.

Таблица РазделыТоваров

Имя	ТИП	Описание поля
ID	Число	Идентификатор компании. Создается автоматически и уникален в рамках БД.
CATALOG_ID	Число	Каталог
CODE	Строка(max)	Символьный код реквизита.
NAME	Строка(max)	Имя контакта. Обязательное поле
SECTION_ID	Число	Раздел
XML_ID	Строка(max)	Внешний ключ, используется для операций обмена. Идентификатор объекта внешней информационной базы. Назначение поля может меняться конечным разработчиком.

Подраздел “Справочники”

Таблица Валюты

Имя	ТИП	Описание поля
AMOUNT	Число	Номинал
AMOUNT_CNT	Число	Курс обмена
BASE	Строка	Базовая валюта
CURRENCY	Строка(max)	Идентификатор валюты
DATE_UPDATE	Дата и время	Дата изменения
DEC_POINT	Строка(max)	Десятичная точка при выводе
DECIMALS	Число	Количество десятичных знаков
FORMAT_STRING	Строка(max)	Строка формата для вывода валюты
FULL_NAME	Строка(max)	Название
LANG	Строка(max)	Привязка к языку
LID	Строка(max)	Идентификатор сайта
SORT	Число	Сортировка
THOUSANDS_SEP	Строка(max)	Свой разделитель тысяч при выводе

Таблица Единицы измерения

Имя	ТИП	Описание поля
ID	Число	Идентификатор сделки. Создается автоматически и уникален в рамках БД.
CODE	Число	Символьный код реквизита.
IS_DEFAULT	Строка	По умолчанию
MEASURE_TITLE	Строка(max)	Наименование единицы измерения
SYMBOL_INTL	Строка(max)	Условное обозначение (международное)
SYMBOL_LETTER_INTL	Строка(max)	Кодовое буквенное обозначение (международное)
SYMBOL_RUS	Строка(max)	Условное обозначение

Таблица Ставки НДС

Имя	ТИП	Описание поля
ID	Число	Идентификатор реквизита. Создается автоматически и уникален в рамках БД.
ACTIVE	Строка(max)	Признак активности.
C_SORT	Число	Сортировка
NAME	Строка(max)	Имя контакта
RATE	Число	Ставка
TIMESTAMP_X	Дата и время	Дата изменения

Таблица Пользователи

Имя	ТИП	Описание поля
ACTIVE	Строка(max)	Признак активности.
DATE_REGISTER	Строка(max)	Дата регистрации
EMAIL	Строка(max)	E-Mail
ID	Строка(max)	Идентификатор контакта. Создается автоматически и уникален в пределах БД
IS_ONLINE	Строка(max)	IS_ONLINE
LAST_ACTIVITY_DATE	Строка(max)	LAST_ACTIVITY_DATE
LAST_LOGIN	Строка(max)	Последняя авторизация
LAST_NAME	Строка(max)	Фамилия
NAME	Строка(max)	Имя
PERSONAL_BIRTHDAY	Строка(max)	Дата рождения
PERSONAL_CITY	Строка(max)	Город проживания
PERSONAL_COUNTRY	Строка(max)	Страна
PERSONAL_FAX	Строка(max)	Факс
PERSONAL_GENDER	Строка(max)	Пол
PERSONAL_ICQ	Строка(max)	ICQ
PERSONAL_MAILBOX	Строка(max)	Почтовый ящик
PERSONAL_MOBILE	Строка(max)	Личный мобильный
PERSONAL_NOTES	Строка(max)	Дополнительные заметки
PERSONAL_PAGER	Строка(max)	Пейджер
PERSONAL_PHONE	Строка(max)	Личный телефон
PERSONAL_PHOTO	Строка(max)	Фотография
PERSONAL_PROFESSION	Строка(max)	Профессия
PERSONAL_STATE	Строка(max)	Область / край
PERSONAL_STREET	Строка(max)	Улица проживания
PERSONAL_WWW	Строка(max)	Домашняя страничка
PERSONAL_ZIP	Строка(max)	Почтовый индекс
SECOND_NAME	Строка(max)	Отчество контакта
TIME_ZONE	Строка(max)	TIME_ZONE
TIME_ZONE_OFFSET	Строка(max)	TIME_ZONE_OFFSET
TIMESTAMP_X	Строка(max)	TIMESTAMP_X
TITLE	Строка(max)	Список пользователей
UF_DEPARTMENT	Строка(max)	Подразделения
UF_DISTRICT	Строка(max)	Район
UF_EMPLOYMENT_DATE	Строка(max)	Дата принятия на работу
UF_FACEBOOK	Строка(max)	Facebook
UF_INTERESTS	Строка(max)	Интересы
UF_LINKEDIN	Строка(max)	LinkedIn
UF_PHONE_INNER	Строка(max)	Внутренний телефон
UF_SKILLS	Строка(max)	Навыки
UF_SKYPE	Строка(max)	Логин Skype
UF_SKYPE_LINK	Строка(max)	Ссылка на чат в Skype
UF_TIMEMAN	Строка(max)	Учет рабочего времени
UF_TWITTER	Строка(max)	Twitter
UF_WEB_SITES	Строка(max)	Другие сайты
UF_XING	Строка(max)	Xing
UF_ZOOM	Строка(max)	Zoom
USER_TYPE	Строка(max)	USER_TYPE
WORK_CITY	Строка(max)	Город работы
WORK_COMPANY	Строка(max)	Компания
WORK_COUNTRY	Строка(max)	WORK_COUNTRY
WORK_DEPARTMENT	Строка(max)	Отдел
WORK_FAX	Строка(max)	WORK_FAX
WORK_LOGO	Строка(max)	WORK_LOGO
WORK_MAILBOX	Строка(max)	WORK_MAILBOX
WORK_NOTES	Строка(max)	WORK_NOTES
WORK_PAGER	Строка(max)	WORK_PAGER
WORK_PHONE	Строка(max)	Телефон компании
WORK_POSITION	Строка(max)	Должность
WORK_PROFILE	Строка(max)	WORK_PROFILE
WORK_STATE	Строка(max)	WORK_STATE
WORK_STREET	Строка(max)	WORK_STREET
WORK_WWW	Строка(max)	Сайт компании
WORK_ZIP	Строка(max)	WORK_ZIP
XML_ID	Строка(max)	Внешний ключ, используется для операций обмена. Идентификатор объекта внешней информационной базы. Назначение поля может меняться конечным разработчиком.

Таблица Объединенный справочник

Имя	ТИП	Описание поля
CATEGORY_ID	Число	Идентификатор направления
COLOR	Строка(max)	Цвет
ENTITY_ID	Строка(max)	Идентификатор родительской сущности. Обязательное поле.
EXTRA	Строка(max)	Дополнительные поля
ID	Число	Идентификатор
NAME	Строка(max)	Имя контакта
NAME_INIT	Строка(max)	Название по умолчанию
SEMANTICS	Строка	SEMANTICS
SORT	Число	Сортировка
STATUS_ID	Строка(max)	Идентификатор статуса
SYSTEM	Строка	Системный

8 - Выполнение внешних обработок в базах-источниках 1С:Предприятие через адаптер

Внимание: в Базе-источнике должен быть установлен Адаптер ETL не ниже 1.1.11.2.

Выполнение внешних обработок в базах-источниках 1С:Предприятие через адаптер представляет собой механизм получения данных с помощью обработок, встроенных в базы источники 1С. Предназначен для случаев, когда получение данных возможно только с помощью программного кода на языке 1С, либо требуется дополнительная программная обработка данных, полученных запросом/механизмами СКД.

Для выполнения внешних обработок в базах-источниках 1С:Предприятие через адаптер необходимо подготовить информационную базу - источник: разместить модуль получения данных. Обработки для получения данных можно добавлять через расширение или подключать как внешнюю обработку в информационную базу Подключение модуля на стороне ETL.

В ETL необходимо перейти в «Главное» / «Настройки» / «Модули получения данных»

В открывшемся окне списка создать новый элемент «Модуль получения данных из источника»

На форме элементе заполнить поля:

Вид модуля = «Модуль на стороне базы-источника (1)
База источник = Информационная система 1С:Предпиятие, в которой размещен модуль получения данных в п.1. (2)
Вид объекта обработки - «Дополнительная обработка», если обработка добавлена как внешняя или «Обработка конфигурации», если обработка добавлена через расширение или находится внутри конфигурации (3)
Обработка - имя модуля получения данных из п.1.Можно выбрать из списка (кнопка с тремя точками справа от поля)(4). После выбора обработки автоматически заполняется табличная часть с информацией по группам обработчиков. Принудительно обновить информацию в табличной части можно с помощью команды «Обновить данные по обработке». (5)

Настройка получения данных

Для получения данных необходимо создать в документ «Установка правил выгрузки». В документе указать:

Вид правила = «Модули на стороне источника». (1)
В группе «Настройки модуля» (2) на закладке «Данные модуля» в поле «Модуль получения данных» модуль добавленный в п.2. (3)
В поле «Идентификатор группы обработчиков» выбрать группу обработчиков. (3)

Дальнейшая работа с документом (заполнение соответствия полей, настройка таблицы выгрузки) аналогична работе с другими видами правил.

Работа с составом выгрузки, пакетом обработки данных по установке правил аналогична работе с установкой правил по другим видам правил.

Создание обработки для получения данных

Для создания обработки получения данных, воспользуйтесь шаблоном, размещенном в текущей статье ниже При разработке обработки необходимо реализовать процедуры программного интерфейса:

Инициализировать
СписокПолейТаблицы
Данные
СписокПараметровПользователя
ПараметрыПриПостановкеВОчередь
Сведения о внешней обработке (если используется вариант подключения внешней обработки)

Выполнение произвольного кода на стороне информационной системы – источника

Внимание: Выполнение произвольного кода на стороне базы-источника может быть потенциально опасным, так как кодом, выполняемым на стороне приемника управляет другая система. Для промышленного использования рекомендуется избегать выполнения произвольного кода и создавать отдельную обработку на каждую процедуру получения данных.

Для решения задачи хранения кода на стороне ETL и передачи его для исполнения в базу источник создано расширение с обработкой-модулем(примером), в которой реализована концепция передачи произвольного кода через параметры.

Файлы для скачивания:

В обработке используется 2 параметра:

КодПолученияСпискаПолей - параметр для хранения кода, с помощью которого Заполняется таблица соответствия полей в документе установки правил.
КодПолученияДанных - параметр для хранения кода, с помощью которого будут получаться данные. Подготовлена тестовая обработка для ETL - «ЗаполнениеОбработчиков». С помощью этой обработки можно заполнить код для обработчиков выбранного Правила в более удобном интерфейсе. Последовательность действий для использования тестовой обработки:

Обновить ETL до версии 1.6.9.8. Обновить в базе источнике Адаптер до версии 1.1.11.2.
Добавить расширение «МодулиАдаптера» в базу источник.
Пользователю в источнике, под которым ETL подключается к АдаптеруETL добавить роль хс_ИспользованиеМодулейПолученияДанных.
В ETL в модулях подключить обработку-модуль (МА1_ПолучениеДанныхКодом) из расширения источника п.2
Создать новый документ «Установка правил выгрузки», Вид правила = «Модули на стороне источника», выбрать модуль добавленный в п.3. Донастроить документ, сохранить и провести его. Т.к. обработчики для заполнения полей еще не установлены, следует в таблице соответствия полей добавить любую строку с любыми данными, далее она будет перезаполнена. Создавать никакую таблицу-приемник на текущем этапе не следует.
Открыть обработку ЗаполнениеОбработчиков.epf, выбрать правило из п.4, заполнить обработчики(примеры обработчиков есть в папке Обработчики) и нажать «Записать параметры».
Открыть заново документ установки правил выгрузки, нажать кнопку «Заполнить соответствие полей». При этом на стороне источника выполнится необходимый код обработчика и таблица соответствия заполнится(в примере будет 3 поля). Теперь можно донастроить правило сбора данных в части создания таблицы, установки нужных соответствий.
Создать Состав выгрузки с правилом из п.4 и набором источников, в котором выбран источник с установленным расширением п.2.
Запустить Состав выгрузки на исполнение и проверить, что таблица приемник заполнилась согласно коду-обработчику получения данных.

Сбор данных

1 - Настройка соединения с БД

Настройка подключения к базе-источнику

Установка соединения с базой

Настройка подключения к базе хранилища данных

2 - Источники данных

2.1 - Настройка источников данных

1. Создание подключения — настройка «Базы данных»

2. Создание нового источника данных

3. Настройка разных видов источников данных

3.1. Настройка для вида «База данных»

3.2. Настройка для вида «Веб сервис»

3.3. Настройка для вида «Файл»

3.4. Настройка подключения к источнику типа «Файл»

3.4.1. Требования к исходным файлам загрузки

4. Регистрация набора источников

4.1. Заполнение «Регистрации набора источников»:

5 Сервисные функции по управлению источниками данных

5.1. 1С: Fresh-источники. Интеграция с менеджером облачного сервиса для обновление справочной информации о источниках данных

5.1.1. Запуск процедуры вручную

5.1.2. Автообновление

5.2. Проверка доступности баз данных

5.2.1 Для проверки подключения к конкретной базе данных:

5.2.2. Для проверки доступности всех БД

2.2 - Регистрация набора источников

Заполнение «Регистрации набора источников»:

3 - Загрузка данных из файлов

3.1 - Загрузка файлов csv и xlsx

1. Мастер загрузки

2. Настройка загрузки вручную

3. Особенности использования «ADO-ODBC»

3.2 - Загрузка JSON файлов

Правило разбора данных

Описание табличной части правила

Общие свойства правила

3.2.1 - Конструктор правил разбора JSON

Ключевые понятия

Диалог конструктора

Область данных

Область правил

Панель служебных функций

Представленные функции

Область данных

Дерево данных: режим статистики

Дерево данных: режим значений

Панель функций дерева данных

Псевдоэлементы дерева данных

Контекстное меню дерева данных

Диалог настройки параметров среза

Просмотр данных в виде текста

Область правила

Коллекция строк с правилами выбора значений

Панель функций

Добавление элементов в коллекцию строк правила

4 - Настройка выгрузки данных

4.1 - Настройка правил выгрузки данных

4.1.1 - Настройка служебных полей

4.1.2 - Настройка правила вида «Запрос»

4.1.3 - Настройка правила вида «Произвольный код»

4.1.4 - Настройка правила вида «Загрузка из файла»

Установка настроек загрузки из файла

4.1.5 - Настройка правила вида «Схема источника (СКД)» для 1С-источника

Настройка элемента справочника «Схемы компоновки данных источников»

Настройка правила на основе схемы источника

Ограничения при использовании СКД

Расположение схемы «База-источник»

Расположение схемы «Локально в хранилище ETL»

Для любых схем

Особенности формирования схемы СКД:

4.2 - Настройка состава выгрузки данных

1. Параметры для получения данных

2. Обработчики

3. Дополнительные настройки

4.3 - Механизм извлечения данных с использованием обработок plug-in’ов (модулей получения данных)

4.4 - Настройка инкрементальной загрузки из 1С

Настройка на стороне источника

На стороне ETL

Рекомендации по написанию запросов инкрементальной загрузки

Пример создания инкрементальной выгрузки

4.5 - Загрузка данных в таблицу из файлов JSON