Настройка источников данных

7 минутное чтение

1. Создание подключения — настройка «Базы данных»

Для настройки подключения к источникам (базам данных,1С-приложениям, файлам) или приемникам (в т.ч. хранилищам данных), нужно перейти в «База данных» одним из способов: «Начальная страница» / «Источники данных» / «База данных» или меню: «Размещение данных» / «Справочная информация» / «База данных»:

Для добавления нового подключения нажать кнопку «Добавить» (см. рисунок ниже, 1) и в открывшейся форме выбрать прежде всего тип БД / подключения ( рисунок ниже, 2). Для каждого типа подключения специфичны свои настройки:

Из общих настроек здесь следует упомянуть флаг «Используется для получения данных» (см. рисунок ниже, 1), который влияет на отображение в форме списка:

Флаг «Использовать дублирующий сервер» и поле «Дублирующий сервер» (см. рисунок выше, 2) с адресом альтернативного сервера, на котором может быть размещена копия основной БД.

Если флаг не установлен, то строка для неиспользуемого элемента будет отображаться в форме неактивной:

2. Создание нового источника данных

Чтобы создать новый источник данных, нужно перейти в «Источники данных» одним из способов: «Начальная страница» / «Источники данных» или меню: «Размещение данных» / «Справочная информация» / «Источники данных»:

Элемент справочника можно создать кнопкой «Создать» или копированием существующего источника или кнопкой «Создать элементы по шаблону»:

Дальнейшая настройка зависит от вида источника данных.

3. Настройка разных видов источников данных

Источниками данных могут быть:

база данных (1С или СУБД);
веб-сервис;
файл.

3.1. Настройка для вида «База данных»

Если видом источника данных является «База данных», то необходимо заполнить поля «Вид источника» и «База данных»:

«Базу данных» возможно выбрать из списка настроенных подключений (см. рисунок ниже, 1) или создать новое подключение по кнопке «+Добавить» (см. рисунок ниже, 2):

3.2. Настройка для вида «Веб сервис»

Основная настройка доступа к веб-сервису происходит при установке правил выгрузки. В настройке источника данных на вкладке «Основная» нужно указать вид «Веб-сервис» и при необходимости указать доп.атрибуты (например, организацию, к которой будут относиться полученные данные и прочее).

На вкладке «Дополнительные настойки» необходимо указать «Адрес сервера»:

3.3. Настройка для вида «Файл»

Вид источника данных «Файл» предполагает регулярную загрузку данных из файлов (xlsx, xls или csv), которые размещаются в определенном каталоге, а после обработки переносятся в другой каталог — «Каталог обработанных файлов».

Важно: каталоги должны располагаться на сервере, где находится 1С: ETL.

Источники описывают шаблон группы файлов.

Для источников вида «Файл» указываются следующие параметры:

«Вид источника» — файл;
«База данных» — выбор из справочника «Базы данных». Заполняется если получение данных происходит через ADO-ODBC. Настройка базы данных, описывающей конкретный файл или каталог с файлами, подробнее описана ниже в п.3.4;
«Каталог к файлу» — каталог, с новыми файлами для загрузки;
«Маска файлов» — маска, по которой будет происходить поиск новых файлов в Каталоге к файлу;
«Каталог обработанных файлов, Каталог файлов с ошибками» — каталоги, куда после обработки (успешной или нет) будут перемещены новые файлы;

3.4. Настройка подключения к источнику типа «Файл»

Используется при получении данных через ADO-ODBC.

При настройке «Базы данных» для файлов «XLSX» и «XLS» указываются следующие параметры:

«Тип базы данных» — файл;
«Провайдер СУБД» — шаблон строки подключения с драйверами нужной разрядности;
«Способ доступа» — «ADODB»;
«Путь к файлу» — путь к одному из файлов. При получении данных через «Состав выгрузки» этот параметр может быть переопределен в зависимости от настроек конкретного источника данных

При настройке базы данных — файла «CSV» указываются следующие параметры:

«Тип базы данных» — файл;
«Провайдер СУБД» — шаблон строки подключения с драйверами нужной разрядности;
«Способ доступа» — «ADODB»;
«Каталог», из которого будут загружаться «CSV» файлы нужно указывать не в «Пути к файлу», а в другом параметре — «Имя пользователя».

Сохранить настройки, нажав кнопку «Сохранить».

После настройки базы данных можно выполнить проверку корректности настроек — нажать кнопку «Проверить подключение».

3.4.1. Требования к исходным файлам загрузки

Файлы Excel («XLSX», «XLS»):

в заголовках колонок не должно быть символов перевод строки, точка, запятая, точка с запятой (если в заголовке есть пробелы, то заголовок нужно заключать в квадратные скобки в запросе правила);
длина заголовков колонок не должна превышать 64 символа;
у колонок с данными типа дата должен быть определен формат ячеек — «Дата».

Файлы «CSV»:

заголовки не должны содержать символы «.», «,», перевод строки (если в заголовке есть пробелы, то заголовок нужно заключать в двойные кавычки в запросе правила и в схеме);
если значение содержит в себе CRLF, CR, LF (символы-разделители строк), двойную кавычку или запятую (символ-разделитель полей), то заключение значения в кавычки обязательно. В противном случае — допустимо;
если внутри закавыченной части встречаются двойные кавычки, то используется специфический квотинг кавычек в «CSV» — их дублирование;
ограничить длину наименования названия поля (AS) до 20 символов.

4. Регистрация набора источников

«Регистрация набора источников» предназначена для объединения аналогичных по структуре / конфигурации источников в группу, с тем, чтобы получать данные по единым правилам сразу для всей группы. Открыть форму «Регистрации набора источников» возможно либо с начальной страницы, либо через раздел меню: «Главное» / «Настройки» / «Регистрация набора источников»:

4.1. Заполнение «Регистрации набора источников»:

Выбрать существующий или создать и выбрать новый «Набор источников».
Заполнить таблицу «Источники данных». Варианты заполнения:
по кнопке «Добавить» (см. рисунок выше, 1) — добавляется одна строка при выборе из «Источников данных»;
по кнопке «Подбор» (см. рисунок выше, 2) — возможно открыть форму для «Подбора источников для набора…», для добавления / удаления сразу нескольких источников данных, удовлетворяющих условиям отбора (см. рисунок ниже):

Последовательность действий описана ниже.

Настроить отборы в верхней таблице. По кнопке «Добавить новый элемент» (см. рисунок выше, 3) добавляется строка в таблицу отборов. Настройка отбора осуществляется стандартным для 1С образом.
Автоматически заполнится таблица «Новые источники» с подходящими условиями отбора и еще «не зарегистрированными» элементами для этого набора источников (см. рисунок выше, 4). Возможно установить / снять отметки для конкретной строки таблицы или для всех строк, используя кнопки.
Также автоматически заполнится таблица «Источники для удаления», в которую попадают уже зарегистрированные в наборе источники, но которые не соответствуют текущим условиям отбора (см. рисунок выше, 5).
После нажатия кнопки «ОК» (см. рисунок выше, 6) отмеченные в таблицах «Новые источники» / «Источники для удаления» элементы будут добавлены / удалены из Набора источников.

Для облачных баз 1С: Fresh:

по кнопке «Загрузить из файла» (см. рисунок выше, 3 или рисунок выше, 7) — можно загрузить список областей из xlsx-файла, содержащего номера областей 1С:Fresh. Возможно управлять режимом добавления новых строк — при установленном флаге «Отчищать таблицу» (см. рисунок выше, 4), предварительно очищается табличная часть документа;
по умолчанию включенные в набор источники получают признак «Включить», что говорит о том, что из этого источника будут получаться данные. Сняв этот признак можно исключить источник из Набора источников (эта возможность используется обычно для временного выключения источников из набора).
для проставления / снятия признака «Включить» для всех строк служат кнопки (см. рисунок выше, 5);
в наборе источников выведены также информационные панели, отображающие количество источников в наборе («Всего») и количество источников, для которых установлен флаг «Включено» (см. рисунок выше, 6 и 7);
для случаев, когда возникает ошибка подключения, связанная с временной недоступностью источника, следует указать значение для параметра «Таймаут ожидания» — время ожидания в минутах перед повторной попыткой подключения. Если параметр не указывать, повторная попытка подключения произойдет практически сразу (см. рисунок выше, 8).

Для сохранения настроек нажать кнопку «Записать» / «Записать и закрыть».

Аналогичные описанным выше действиям по заполнению и корректировке набора источников, возможно осуществить в интерфейсе, открывающемся по кнопке «Показать регистрацию» и представленном на следующем рисунке:

5 Сервисные функции по управлению источниками данных

5.1. 1С: Fresh-источники. Интеграция с менеджером облачного сервиса для обновление справочной информации о источниках данных

Для облачных баз 1C: Fresh описание источников данных обычно содержится в Менеджере сервиса и возможно обновлять справочник «Источники данных», подключаясь к Менеджеру сервиса с помощью web-сервиса.

Источники данных и связанные с ними справочники — приложения, базы данных, организации — возможно обновлять вручную или автоматически (регламентным заданием).

Для запуска регламентного задания необходимо настроить «Менеджер облачного сервиса», при помощи которого можно получать информацию об источниках данных. Регламентное задание позволяет устанавливать разные режимы обновления. Например, режим обновления «Обновлять имеющиеся, загружать отсутствующие», позволяющий:

для существующих записей (элемент найден по ключу) обновлять изменившиеся поля;
для новых (элемент не найден по ключевому полю) в справочник добавлять новые записи.

Для активации функционала перейти в меню: «Главное» / «Информация» / «Основные настройки» / «Настройки получения данных» и включите флаг «Использовать менеджер сервиса 1С: Fresh»:

5.1.1. Запуск процедуры вручную

Для запуска процедуры вручную — перейти а меню: «Главное» / «Сервис» / «Загрузка справочной информации»:

5.1.2. Автообновление

Настройка регламентного задания загрузки данных об источниках (областях) через web-сервис осуществляется через меню: «Администрирование» / «Обслуживание» / «Регламентные операции» / «Регламентные и фоновые задания» / «Задание» — «Загрузка Справочной Информации». Регламентное задание нужно создать:

Затем установить флаг «Включено» и настроить расписание обновления:

5.2. Проверка доступности баз данных

5.2.1 Для проверки подключения к конкретной базе данных:

Меню: «Размещение данных» / «Базы данных» / «Выбрать базу», кнопка «Проверить подключение»:

В случае недоступности будет выведено подробное сообщение об ошибке:

5.2.2. Для проверки доступности всех БД

Меню: «Размещение данных» / «Базы данных», установить признак «Для всех баз» и запустить по кнопке «Проверить подключение». После проверки будет выведен отчет о доступности всех подключенных баз данных: