Управление источниками данных

  9 минутное чтение  

Источниками данных для ModusETL могут быть:

  • базы данных (СУБД),
  • приложения 1С:Предприятие 8 (базы данных 1С),
  • файлы,
  • веб-сервисы.

В ModusETL различают сущности “База данных” и “Источник данных”.

  • “База данных” – описывает подключение к базе данных. Содержит тип СУБД, способ и параметры подключения (адрес/путь, логин, пароль). При этом база данных может выступать как источником данных, так и приемником - хранилищем данных.
  • “Источник данных”" - описывает конкретный источник для получения данных. Источник с видом База данных и Файл содержит ссылку на “Базу данных”, дополнительные параметры подключения (например, Номер области для облачных баз 1С), а также дополнительные атрибуты (Организация, Абонент, Статус данных и т.п.). Особенностью для “Источника данных” с видом веб-сервис является отсутствие ссылки на “Базу данных”, т.к. параметры подключения задаются в правиле выгрузки.

Для обычных баз данных и 1С-приложений: одна “База данных” = один “Источник”.

Для облачных баз данных 1С, работающих по технологии 1C:Fresh - одна база содержит несколько областей данных и номер области служит разделителем учета для разных организаций. В этом случае источником данных в терминах программного продукта будет конкретная область. Для дальнейшего получения данных определенной организации нужно подключиться к базе данных и установить разделитель учета – номер области.

Для настройки получения данных однотипные источники, из которых требуется получать данные в одном ETL-процессе, необходимо объединять в " Наборы источников". В наборе может быть один или несколько источников данных.

1. Создание подключения – настройка “Базы данных”

Для настройки подключения к источникам (базам данных,1С-приложениям, файлам) или приемникам (в т.ч. хранилищам данных), нужно перейти в «База данных» одним из способов: Начальная страница: Источники данных\ База данных (см. Рисунок 1) или Меню: Размещение данных \ Справочная информация \ База данных.

Рисунок 1. Начальная страница \ Базы данных

Для добавления нового подключения нажать кн.[Добавить] (см.Рисунок 2 1 ) и в открывшейся форме выбрать прежде всего тип БД/подключения ( 2 ). Для каждого типа подключения настройки специфичны и описаны в пункте 3.

Рисунок 2. Список и форма для настройки подключений к “Базе данных”

Из общих настроек здесь следует упомянуть:

Флаг “Используется для получения данных” (см.Рисунок 3, 1) который влияет на отображение в форме списка – если не установлен, то строка для неиспользуемого элемента будет отображаться в форме неактивной, см. ниже:

Флаг “Использовать дублирующий сервер” и поле “Дублирующий сервер” (2) с адресом альтернативного сервера, на котором может быть размещена копия основной БД.

Рисунок 3. Настройка флага “Используется для получения данных” и для подключения к альтернативному серверу

2. Создание нового источника данных

Чтобы создать новый источник данных, нужно перейти в «Источники данных» одним из способов: Начальная страница: п.Источники данных (см. Рисунок 4) или Меню: Размещение данных \ Справочная информация \ Источники данных.

Рисунок 4. Начальная страница \ Источники данных

Элемент справочника можно создать кнопкой [Создать] или копированием существующего источника или кнопкой [Создать элементы по шаблону] (см. Рисунок 5). Дальнейшая настройка зависит от вида источника данных.

Рисунок 5. Форма списка

3. Настройка разных видов источников данных

Источниками данных могут быть:

  • База данных (1С или СУБД);
  • Веб сервис;
  • Файл.

Рисунок 6. Источники данных

3.1. Настройка для вида «База данных»

Если видом источника данных является «База данных», то необходимо заполнить поля “Вид источника” и “База данных” – см. Рисунок 7.

Рисунок 7. Создание источника с видом “База данных”

“Базу данных” возможно выбрать из списка настроенных подключений (см. Рисунок 8, 1) или создать новое подключение по кн[+Добавить] (2)

Рисунок 8. Базы данных

3.2. Настройка для вида «Веб сервис»

Основная настройка доступа к веб-сервису происходит при установке правил выгрузки. В настройке источника данных на вкладке «Основная» нужно указать вид «Веб сервис» и при необходимости указать доп.атрибуты (например, Организацию, к которой будут относиться полученные данные и прочее).

На вкладке «Дополнительные настойки» необходимо указать «Адрес сервера».

Рисунок 9. Создание источника данных с видом “Веб сервис”

3.3. Настройка для вида «Файл»

Вид источника данных «Файл» предполагает регулярную загрузку данных из файлов (xlsx, xls или csv), которые размещаются в определенном каталоге, а после обработки переносятся в другой каталог – «Каталог обработанных файлов». ВАЖНО: Каталоги должны располагаться на сервере, где находится 1С:ETL.

Рисунок 10. Создание источника данных с видом источника “Файл”

Источники описывают шаблон группы файлов.

Для источников вида «Файл» указываются следующие параметры:

  • Вид источника — Файл;
  • База данных — выбор из справочника «Базы данных». Заполняется если получение данных происходит через ADO-ODBC. Настройка базы данных, описывающей конкретный файл или каталог с файлами, подробнее описана ниже в п.3.4;
  • Каталог к файлу — каталог, с новыми файлами для загрузки;
  • Маска файлов — маска, по которой будет происходить поиск новых файлов в Каталоге к файлу;
  • Каталог обработанных файлов, Каталог файлов с ошибками — каталоги, куда после обработки (успешной или нет) будут перемещены новые файлы;

3.4. Настройка подключения к источнику типа «Файл»

Используется при получении данных через ADO-ODBC.

При настройке “Базы данных” для файлов XLSX и XLS указываются следующие параметры:

  • Тип базы данных — Файл
  • Провайдер СУБД — шаблон строки подключения с драйверами нужной разрядности
  • Способ доступа — ADODB
  • Путь к файлу — путь к одному из файлов. При получении данных через “Состав выгрузки” этот параметр может быть переопределен в зависимости от настроек конкретного источника данных

Рисунок 11. Настройка базы данных — файлов XLSX и XLS.

При настройке базы данных — файла CSV указываются следующие параметры:

  • Тип базы данных — Файл
  • Провайдер СУБД — шаблон строки подключения с драйверами нужной разрядности
  • Способ доступа — ADODB
  • Каталог, из которого будут загружаться CSV файлы нужно указывать не в Пути к файлу , а в другом параметре — Имя пользователя

Рисунок 12. Настройка базы данных — файла CSV

Сохранить настройки, нажав кнопку [Сохранить]. После настройки базы данных можно выполнить проверку корректности настроек — нажать кнопку [Проверить подключение].

3.4.1. Требования к исходным файлам загрузки

Файлы Excel (XLSX, XLS):

  • В заголовках колонок не должно быть символов перевод строки, точка, запятая, точка с запятой (если в заголовке есть пробелы, то заголовок нужно заключать в квадратные скобки в запросе правила);
  • Длина заголовков колонок не должна превышать 64 символа;
  • У колонок с данными типа дата должен быть определен формат ячеек - «Дата».

Файлы CSV:

  • Заголовки не должны содержать символы «.», «,», перевод строки (если в заголовке есть пробелы, то заголовок нужно заключать в двойные кавычки в запросе правила и в схеме);
  • если значение содержит в себе CRLF, CR, LF (символы-разделители строк), двойную кавычку или запятую (символ-разделитель полей), то заключение значения в кавычки обязательно. В противном случае — допустимо.
  • если внутри закавыченной части встречаются двойные кавычки, то используется специфический квотинг кавычек в CSV — их дублирование.
  • Ограничить длину наименования названия поля (AS) до 20 символов.

4. Регистрация набора источников

“Регистрация набора источников” предназначена для объединения аналогичных по структуре/конфигурации источников в группу, с тем, чтобы получать данные по единым правилам сразу для всей группы. Открыть форму «Регистрации набора источников» возможно либо с Начальной страницы (см. Рисунок 13), либо через раздел Меню: Главное\Настройки\Регистрация набора источников.

Рисунок 13. Начальная страница \ Регистрация набора источников

4.1. Заполнение «Регистрации набора источников»:

  • Выбрать существующий или создать и выбрать новый «Набор источников».

Рисунок 14. Документ «Регистрация набора источников»

  • Заполнить таблицу «Источники данных». Варианты заполнения:

  • По кнопке [Добавить] (см. Рисунок 14 , 1 ) – добавляется одна строка при выборе из «Источников данных»;

  • По кнопке [Подбор](см. Рисунок 14 , 2 ) – возможно открыть форму для [Подбора источников для набора…], для добавления/удаления сразу нескольких источников данных, удовлетворяющих условиям отбора (см. Рисунок 15).

Последовательность действий:

  • Настроить отборы в верхней таблице. По кнопке [Добавить новый элемент] (Рисунок 15,Рисунок 14 3) добавляется строка в таблицу отборов. Настройка отбора осуществляется стандартным для 1С образом.
  • Автоматически заполнится таблица [Новые источники] с подходящими условиями отбора и еще “не зарегистрированными” элементами для этого Набора источников. (см.Рисунок 15, 4). Возможно установить/снять отметки для конкретной строки таблицы или для всех строк, используя кнопки.
  • Также автоматически заполнится таблица [Источники для удаления], в которую попадают уже зарегистрированные в наборе источники, но которые не соответствуют текущим условиям отбора (см.Рисунок 15, 5).
  • После нажатия кнопки [ОК] (Рисунок 15, 6) отмеченные в таблицах [Новые источники] / [Источники для удаления] элементы будут добавлены / удалены из Набора источников.

Рисунок 15. Интерфейс [Подбор источников…] для изменения набора источников

  • Для облачных баз 1С:Fresh. По кнопке [Загрузить из файла](см.Рисунок 14, 3 или Рисунок 14 , 7 ) – можно загрузить список областей из xlsx-файла, содержащего номера областей 1С:Fresh. Возможно управлять режимом добавления новых строк – при установленном флаге [Отчищать таблицу] (см. Рисунок 14, 4 ), предварительно очищается табличная часть документа.

  • По умолчанию включенные в набор источники получают признак [Включить] , что говорит о том, что из этого источника будут получаться данные. Сняв этот признак можно исключить источник из Набора источников (эта возможность используется обычно для временного выключения источников из набора).

  • Для проставления/снятия признака «Включить» для всех строк служат кнопки (см. Рисунок 14, 5 )

  • В Наборе источников выведены также информационные панели, отображающие количество источников в наборе («Всего») и количество источников, для которых установлен флаг «Включено» (см. Рисунок 14, 6 и 7 ).

  • Для случаев, когда возникает ошибка подключения, связанная с временной недоступностью источника, следует указать значение для параметра «Таймаут ожидания» - время ожидания в минутах перед повторной попыткой подключения. Если параметр не указывать, повторная попытка подключения произойдет практически сразу (см. Рисунок 14, 8 ).

Для сохранения настроек нажать кнопку [Записать] / [Записать и закрыть].

Аналогичные описанным выше действиям по заполнению и корректировке набора источников, возможно осуществить в интерфейсе, открывающемся по кн[Показать регистрацию] и представленном на Рисунок 15.

Рисунок 16. Интерфейс [Подбор источников…] для изменения набора источников

5 Сервисные функции по управлению источниками данных

5.1. 1С:Fresh-источники. Интеграция с менеджером облачного сервиса для обновление справочной информации о источниках данных

Для облачных баз 1C:Fresh описание источников данных обычно содержится в Менеджере сервиса и возможно обновлять справочник «Источники данных», подключаясь к Менеджеру сервиса с помощью web-сервиса.

[Источники данных] и связанные с ними справочники - Приложения, Базы данных, Организации - возможно обновлять вручную или автоматически (регламентным заданием).

Для запуска регламентного задания необходимо настроить «Менеджер облачного сервиса», при помощи которого можно получать информацию об источниках данных. Регламентное задание позволяет устанавливать разные режимы обновления. Например, режим обновления «Обновлять имеющиеся, загружать отсутствующие», позволяющий:

  • для существующих записей (элемент найден по ключу) обновлять изменившиеся поля;
  • для новых (элемент не найден по ключевому полю) в справочник добавлять новые записи.

Для активации функционала перейти в Меню: Главное\Информация\Основные настройки\Настройки получения данных и включите флаг «Использовать менеджер сервиса 1С:Fresh» (см.Рисунок 17)

Рисунок 17. Включение интеграции с менеджером сервиса 1C:Fresh

5.1.1. Запуск процедуры вручную

Для запуска процедуры вручную – перейти «Меню: Главное\ Сервис \ Загрузка справочной информации» - см. рисунок 18.

Рисунок 18. Загрузка справочной информации из менеджера сервиса 1С:Fresh

5.1.2. АВТО-обновление

Настройка регламентного задания загрузки данных об источниках (областях) через web-сервис осуществляется через Меню: Администрирование\ Обслуживание \ Регламентные операции\Регламентные и фоновые задания\Задание – “Загрузка Справочной Информации”. Регламентное задание нужно создать (см. рисунок 19) и настроить его расписание (см. рисунок 20).

  • Установить флаг «Включено» = 1.
  • Настроить Расписание.

Рисунок 19. Список регламентных и фоновых заданий

Рисунок 20. Форма настройки регламентного задания «Загрузка справочной информации»

5.2. Проверка доступности баз данных

5.2.1 Для проверки подключения к конкретной базе данных:

«Меню\Размещение данных\Базы данных\ Выбрать базу \ кнопка [Проверить подключение]» см. Рисунок 21.

Рисунок 21. Проверка подключения к БД

В случае недоступности будет выведено подробное сообщение об ошибке см. Рисунок 22.

Shape1

Рисунок 22. Сообщение об ошибке при недоступности базы данных

5.2.2. Для проверки доступности всех БД

«Меню\Размещение данных\Базы данных\Установить признак «Для всех баз» и запустить по кнопке [Проверить подключение]» см. Рисунок 22, 1,2. После проверки будет выведен отчет о доступности всех подключенных баз данных – см. Рисунок 23.

Рисунок 23. Проверка доступности к базе данных