Создание базы данных хранилища
9 минутное чтение
Данные, получаемые из баз-источников, сохраняются в отдельную базу данных – хранилище.
База хранилища должна быть создана администратором баз данных вручную на сервере баз данных (далее – БД). Рекомендуемое название базы хранилища - DWH, но можно задать любое подходящее имя. Подключение базы хранилища к программному продукту: Модус:Управление корпоративным хранилищем данных (ETL) (далее – программный продукт или Modus ETL), происходит во время первого входа в систему во время работы Мастер (помощник) первичной настройки. К этому моменту база хранилища должна быть создана.
Настройка программного продукта Modus ETL:
Мастер (помощник) первичной настройки
В программном продукте создан специальный мастер настройки, который запускается автоматически при первом входе в систему.
Также можно запустить этот мастер на любом этапе работы. Вызов из интерфейса «Главное –> Сервис –> Помощник первоначальной настройки» (см. Рисунок 1).
Рисунок 1. Ссылка запуска “Помощника первоначальной настройки” на Начальной странице
Переходя по шагам мастера, пользователь может установить все необходимые для работы настройки. Настройки, не требующие выбора пользователя, устанавливаются автоматически.
Начальная страница «Помощника первоначальной настройки» представлена на Рисунок 2. Рекомендуется последовательно сделать настройки, распределенные по нескольким разделам, устанавливая отметки на завершенных разделах.
Рисунок 2. Основной экран «Помощника заполнения настроек»
Ниже описаны основные шаги по настройке программного продукта, используя мастер настройки:
Раздел настроек 1. Основные настройки
Пункт меню 1.1. Помощник настройки лицензирования СЛК
Рисунок 3. Настройки лицензирования СЛК
Заполнить параметры связи с сервером СЛК
Рисунок 4. Параметры связи СЛК
Установка и обновление лицензий СЛК. Для запуска процедур по установке и активации лицензий используется интерфейс, представленный на рисунке ниже:
Рисунок 5. Установка и обновление лицензий СЛК
Консоль сервера лицензирования. Выводит текущие параметры СЛК и служит для диагностики проблем
Рисунок 6. Консоль сервера лицензирования
Пункт меню 1.2. Настройки получения данных
Рисунок 7. Настройки получения данных
Параметры подключения к базам-источникам Введенные логин и пароль будут использоваться для доступа к базам-источникам по умолчанию.
Примечание: При необходимости для каждой базы-источника возможно настроить свои (отличные от параметров по умолчанию) параметры доступа (логин-пароль) в справочнике «Базы данных».
Рисунок 8. Установка параметров подключения к базам-источникам
Получение и обработка данных(Настройки записи в базу-приемник).
Установить режим записи данных в таблицу-приемник. Режимы:
-
Добавить – добавлять данные к уже имеющимся в таблице;
-
Очистить и добавить – удалить имеющиеся данные и загрузить полученные данные;
-
Скопировать и добавить – сделать копию имеющихся данных (создается новая таблица с тем же именем и постфиксом-датой_временем операции), очистить имеющиеся данные и загрузить заново.
Пример, имени таблицы с поcтфиксом: [tech_20180202_0908]
Установить базу хранилища данных по умолчанию.
Рисунок 9. Настройки выгрузки/загрузки данных
Настройки интерфейса [Контроль работы]
Рисунок 10. Настройки интерфейса [Контроль работы]
Подключение подсистем
Рисунок 11. Установка параметров системы
- Использовать шаблоны шагов сценария – включено по умолчанию.
Шаблоны позволяют формировать скрипт трансформации данных для шага сценария, используя визуальный интерфейс.
-
Использовать верификацию данных – для включения механизмов проверки данных на соответствие стандарту, на соответствие эталонным значениям (по умолчанию – выключено).
-
Верификация данных. Настроить имена SQL - таблиц для журналов процессов и ошибок.
-
Интерфейсные настройки.
Выбирать только «Пользовательские типы» в поля выбора типов, например, в документах вида «Установить правила выгрузки».
Агенты ETL.
Включить возможность использовать Агента ETL для получения и записи данных.
Обезличивание данных.
Использовать обезличивание персональных данных при получнии данных
Настройка моделей.
Использование механизма трансформации таблиц в схему «звезда».
Выгрузка и загрузка настроек.
Использование пресетов.
Пункт меню 1.3. Ввод параметров баз данных (источников и приемников).
Ввод параметров источников данных. Регистрация наборов источников.
Рисунок 12. Ввод первоначальных данных
Добавить 1С-источник
Выбрать Способ доступа (тип подключения): «Адаптер для 1С» или «COM-Connector».
Для типа подключения с использованием «Адаптера для 1С» настроить:
-
Тип базы данных: 1C
-
Способ доступа: Адаптер для 1С
-
Адрес публикации ИС
Инструкцию для подключения с использованием «Адаптера для 1С» см. в [этой статье](../3.5 Инструкция по встраиванию Адаптера ETL-1C в 1С базу-источник/index.md).
Рисунок 13. Добавление базы-источника для типа подключения с использованием «Адаптера для 1С»
Для типа подключения с использованием «COM-Connector» заполнить:
- Тип базы данных: 1C
- Способ доступа: COM-Connector
- Версию платформы 1C (8.3/8.2/8.1)
- Описание
- Имя сервера 1С
- Имя пользователя
- Пароль
Рисунок 14. Добавление базы-источника для типа подключения с использованием «COM-Connector»
Ограничение для типа подключения COM-Connector: Версии платформы 1С для базы-источника и для программного продукта должны быть одинаковые. Поэтому если необходимо подключаться к источникам на разных платформах 1С, то предпочтительно использовать Адаптер 1С.
Добавить базу-источник (СУБД)
-
Наименование
-
Тип базы данных выбрать из списка: Oracle\ MSSQL\ PostgreSQL
-
Способ доступа: ADODB
-
Описание
-
Имя сервера 1С
-
Имя пользователя
-
Пароль
Рисунок 15. Добавление базы-источника СУБД
Пункт меню 1.4. Настройка пользователей и прав (стандартный интерфейс 1С)
Рисунок 16. Настройка пользователей и прав
Раздел настроек 2. Экспертные настройки
Настройки параметров очередей, фоновых заданий, и очистки журнала событий
Рисунок 17. Установка параметров системы
Секция «Настройки очереди» (см. Рисунок 17,1) – предназначены для оптимизации процесса загрузки/выгрузки: рекомендуется использовать настройки по умолчанию. Описание настроек очереди:
- Максимальное количество потоков задания сбора данных – количество параллельно запускаемых фоновых заданий при работе регламентного задания Сбора данных, при увеличении количества потоков увеличивается скорость получения данных, но до определенного предела, т.к. при исчерпании ресурсов (памяти и процессора) вместо увеличения скорости может произойти снижение производительности. Определение оптимального количества потоков – задача, которая решается экспериментально администратором программного продукта на основании анализа измененийвременных характеристик операций получения данных (по отчетам и регистрам документов [Факт выгрузки]) истатистики изменения утилизации памяти и процессора при увеличении количества фоновых заданий (потоков) получения данных;
- Максимальное количество попыток обработки задания – длянастройки количества попыток выполнения задания несколько раз, что нужно для случая, если подключение к источнику данных не стабильно и однократное обращение может привести к ошибке;
- Номер попытки** , **** с которой выполнять замену символов** – бывают ситуации, когда не удается записать полученные данные в базу данных хранилища, т.к. данные содержат символы, недопустимые для записи в БД. В системе настроена замена некоторых символов: апострофа «’»на«`», «?» - на пустое значениеи т.д.Операция замены делается построчно для каждого полученного строкового значения и потому - относительно медленно, поэтому имеет смысл задавать номер попытки получения-записи данных, с которой следует делать попытки замены символов;
- Количество источников для обработки – это максимальное количество, которое фоновое задание может взять в обработку;
- Процент необработанных источников очереди – это количество допустимых ошибок в очереди. Например, получаем данные из 100 источников, считаем, что если из 90 или более источников данные получены, то получение прошло успешно.Тогда устанавливаем процент–10.
Секция «Таймауты фоновых заданий» (см. Рисунок 17,2)
Устанавливают время (минут) ожидания при выполнении фонового задания
– таймаут неактивного фонового задания и
– таймаут работы фонового задания.
При превышении таймаута фоновое задание считается “зависшим” и перезапускается.
Рекомендуется использовать настройки по умолчанию.
Секция «Прочее» (см. Рисунок 17,3)
Глубина хранения журнала событий (в днях) – количество дней, по прошествии которых будут автоматически очищены записи в журналах, относящиеся к Фактам выгрузки, Сценариям обработки данных. Периодическая очистка позволяет оптимизировать объем, занятый логами, и способствует быстрой работе отчетов по логам.
Настройка подключения к базе-источнику
Для указания источника данных нужно настроить подключение к базе-источнику данных. Возможно получать данные из нескольких баз-источников. Для удобства работы однотипные источники объединяются в наборы источников. В наборе может быть один или несколько источников данных.
Т.к. источники данных могут менять месторасположение, менять платформу и т.п., а по сути, остаются тем же самым источником данных, для описания набора источников используется многоуровневая структура метаданных:
- Для хранения объекта «Набор источников» служит справочник «Набор источников».
- Для хранения объекта «Источник данных» служит справочник «Источники данных».
- Источники данных объединяются в набор при помощи документа «Регистрация набора источников»(см.Рисунок 18):
Поддерживается выбор значения по показателям:
- для одного набора источников может быть создан один документ «Регистрация набора источников»;
- один источник данных может одновременно входить в несколько наборов данных.
Рисунок 18. Объекты для регистрации «Набора источников».
Настройка подключения к источнику состоит из 3х этапов:
- Установить настройку соединения с базой
- Создать элемент справочника «Источник данных»
- Создать элемент справочника «Набор источников»
Подробное описание настройки источника – ниже.
1. Установить настройку соединения с базой
Настроить список доступных баз данных можно в разделе «Меню: Размещение данных \ Базы данных».
Рисунок 19. Базы данных
Нажмите кнопку [Создать], в открывшемся окне заполните название базы данных (см. Рисунок 20, 1 ),
Для базы 1С установить тип базы «1С» и тип подключения «COM-Connector» или «Адаптер для 1С»*)(см. Рисунок 20 Рисунок 19, 2 ).
-
Для типа подключения «COM-Connector» выберите версию платформы 1С (см. Рисунок 19, 3 ) и заполните имя сервера 1С (см. Рисунок 20, 4 ), и, при необходимости, имя дублирующего сервера, например, сервера с копией базы-источника (если имеется). Укажите имя пользователя и пароль (см. Рисунок 20, 5 ).
Рисунок 20. Форма карточки базы источника
Для базы СУБД – выбрать Тип базы (MSSQL/PostgreSQL/Oracle/Vertica/ClickHouse/…) и способ доступа (ADODB). Заполните имя сервера, имя пользователя и пароль для подключения.
Рисунок 21. Форма карточки базы источника для базы данных с типом СУБД.
Сохраните настройки при помощи кнопки [Записать]
После заполнения настроек проверьте наличие подключения к базе при помощи кнопки [Проверить подключение] (см. Рисунок 20, 6 ).
2. Создать элемент справочника «Источник данных»
Для создания источника данных для настроенной базы данных, нажмите кнопку [Создать на основании] (см. Рисунок 16).
В открывшемся окне укажите наименование источника (см. Рисунок 22, 1 ), ранее настроенная база данных уже заполнена (см. Рисунок 22, 2 ), укажите название организации (см. Рисунок 22, 3 ). Сохраните источник данных при помощи кнопки [Записать].
Рисунок 22. Создание источника с видом «База данных»
3. Создать элемент справочника «Набор источников»
Размещение. Начальная страница\Сбор данных\Регистрация набора источников
или Меню: Размещение данных\Регистрация набора источников
Нажать кнопку [Создать]
Рисунок 23. Создание «Набора источников»
- Указать наименование «Набора источников»;
- Заполнить таблицу « Источники данных».По кнопке [Добавить] (см. Рисунок 23 , 1 ) – добавляется 1 строка - элемент из справочника «Источники данных», выбрать ранее созданный источник данных из справочника;
- Нажать кнопку [Записать и закрыть], при проведении происходит запись в РегистрСведений.Набор_источников (Рисунок 24)
Рисунок 24. Регистр сведений «Набор источников»
Настройка подключения к базе хранилища данных
Настроить список доступных баз данных можно в разделе Меню: Размещение данных / Базы данных.
Нажмите кнопку [Создать], в открывшемся окне (см. Рисунок 25) заполните название базы данных (см. Рисунок 25, 1 ), тип базы установите «MS_SQL» или «PostgreSQL» и тип подключения «ADODB» (см. Рисунок 38, 2 ), укажите сервер, где расположена база (см. Рисунок 25, 3 ). Укажите имя пользователя и пароль (см. Рисунок 25, 4 ). Сохраните настройки при помощи кнопки [Записать].
После заполнения настроек проверьте наличие подключения к базе при помощи кнопки [Проверить подключение] (см. Рисунок 25, 5 ).
Рисунок 25. Форма карточки для базы-хранилища
Настройка профилей и групп пользователей
При первом запуске автоматически создаются следующие профили групп доступа. («Администрирование -> Настройки пользователей и прав -> Группы доступа –> Профили групп доступа»):
- Администраторы ETL – Изменяют основные настройки ETL и подключают Базы данных.
- Аналитики – могут настраивать все процессы по получению и обработке данных, настраивать источники данных, правила получения данных, расписание запуска пакетов, просматривать журналы и лог-файлы процессов и ошибки;
- Наблюдатели – могут запускать получение данных вручную, просматривать журналы и лог-файлы процессов и ошибки;
- Только просмотр – может отслеживать протекание процессов, просматривать журналы и лог-файлы процессов и ошибки.
Необходимо перейти в «Администрирование -> «Настройки пользователей и прав» -> «Группы доступа» и создать одноименные группы доступа с привязанными профилями в соответствии с таблицей соответствия (см. Таблица 6).
Таблица 6
Группа доступа | Профиль пользователей |
---|---|
Администраторы ETL | Администраторы ETL |
Аналитики | Аналитики |
Наблюдатели | Наблюдатели |
Только просмотр | Только просмотр |
Добавление пользователей
Перейти в пункт «Администрирование -> Настройки пользователей и прав -> Пользователи» (см. Рисунок 26). В списке пользователей нажать кнопку [Создать] (см. Рисунок 27).
Рисунок 26. Открытие списка пользователей
Рисунок 27. Создание нового пользователя
В форме Пользователь (создание) заполнить параметры:
- Вход в программу разрешен;
- Полное наименование (согласно принятым правилам);
- Имя для входа (согласно принятым правилам);
- Физ. Лицо;
- Пароль (необязательно для заполнения);
- Аутентификация операционной системы: Установлено;
- Пользователя операционной системы (чтобы не устанавливать пароли);
- Режим запуска: Авто.
Установить на соответствующих закладках:
- Профили (в соответствии с правами доступа) (см. Рисунок 28 и Рисунок 29)
Рисунок 28 Редактирование формы Пользователь
Рисунок 29 Включение пользователя в группы