Установка и настройка Modus ETL
4 минутное чтение
Программный продукт: «Модус: Управление корпоративным хранилищем данных (ETL)» (сокращенно — Modus ETL), возможно использовать в нескольких вариантах.
Для ModusETL существуют базовые и продвинутые способы получения, загрузки и обработки данных.
Базовый вариант — использует встроенные в приложение ModusETL механизмы:
- для сбора данных — стандартный механизм, когда полученные из источника данные сначала размещаются во временных массивах и структурах, а затем сохраняются в базу данных хранилища целиком;
- для интеграции с 1С-источниками — «Внешнее-соединение» (COM-коннектор).
Продвинутый вариант (более производительный и масштабируемый) предполагает, использование вместе с ModusETL специально разработанных дополнительных модулей:
- «Агент ETL» (разработан на языке Golang) для многопоточной обработки данных. При работе под OC Linux использование «Агента ETL» обязательно. Возможно использование с одним ETL нескольких агентов, размещенных как-правило на разных серверах, что обеспечивает горизонтальную масштабируемость получения-обработки данных;
- «Адаптер ETL для 1С» — http-сервис, для получения данных из 1С-приложений. Этот компонент устанавливается в 1С-источники как отдельная подсистема в конфигурацию базы-источника или как расширение конфигурации.
Сравнение и особенности вариантов, а также названия инструкций по установке-настройке дополнительного ПО представлены в следующей таблице.
Сравнение вариантов получения данных и интеграции с 1С-источниками
| Функционал | Базовый вариант | Продвинутый вариант с дополнительным ПО (Инструкция) |
|---|---|---|
| Сбор и обработка данных | Стандартные механизмы приложения: получаемые из источников данные сохраняются во временных массивах и структурах и, затем записываются в БД хранилища целиком |
Агент ETL: Многопоточное получение данных с управлением порциями и очередями. (+) производительность; (+) масштабируемость; (+) работа под ОС Linux. Modus ETL. Руководство по установке Агента |
| Коннектор для 1С-источников | Внешнее соединение/COM-коннектор: (-) Ограничение: 1С-источник и ETL должны иметь одинаковые версии 1С-платформы / СОМ-коннектора |
Адаптер ETL для 1С: (-) http-сервис, встраиваемый в 1С-источник; (+) нативные способы получения данных из 1С Модус ETL. Руководство по установке и настройке Инструкция по встраиванию Адаптера ETL в 1С-базу источника |
Схема компонентов аналитической системы с использованием Агента ETL и Адаптера ETL-1С представлена на рисунке ниже:
Требования к оборудованию и программному обеспечению
Минимальные требования к оборудованию и программному обеспечению см. в таблице ниже.
Минимальные требования к оборудованию и программному обеспечению
| Сервер | Программное обеспечение | Операционная система | Минимальные требования к серверу (Процессор, ОЗУ, ЖД) |
|---|---|---|---|
| Сервер 1С | Платформа 8.3.18 и выше |
см. http://v8.1c.ru/requirements/ |
Процессор: желательно использование многопроцессорных или многоядерных машин ОЗУ: от 4 Гб; ЖД: от 20 Гб |
| Сервер СУБД | SQL Server 2008 и выше или PostgreeSQL 9.1 и выше |
Технические характеристики и операционная система должны оответствовать требованиям используемой версии сервера баз данных. MS SQL Server / PostgreSQL — см. http://v8.1c.ru/requirements/ |
Определение какие мощности и программное обеспечение (СУБД для хранилища, Агенты для ETL балансировщики нагрузки и т.д.) необходимы для обеспечения требуемой функциональности, производительности и отказоустойчивости в каждом конкретном случае требует экспертного анализа и сайзинга, а в комплексных случаях проведения нагрузочных тестов.
ModusETL возможно использовать для получения данных из облачных систем 1С:Fresh. Ниже для такого варианта использования представлены:
- схема Аналитической системы:
- рекомендуемые характеристики оборудования и программного обеспечения — см. в двух таблицах ниже:
«BI для 1C: Fresh» — рекомендуемые характеристики оборудования и программного обеспечения
| Сервер | Компонент | Программное обеспечение | Операционная система | Количество⠀ |
|---|---|---|---|---|
| ETL | 1C | Платформа 8.3.18 и выше | Win/Linux | CPU:12 ядер ОЗУ:16 Гб ЖД: 200 Гб |
| Хранилище данных | СУБД | SQL Server 2008 и выше или PostgreeSQL 9.1 и выше |
Windows / Linux | CPU:16 ядер ОЗУ: 24 Гб; ЖД: 700 Гб |
«BI для 1C: Fresh» — пример для интенсивного использования в варианте
| Описание | Сервер | Программное обеспечение | CPU, ОЗУ, ЖД |
|---|---|---|---|
| Источники данных: - 1C: Fresh (конфигурации БГУ и ЗКГУ); - Парус (СУБД Oracle); - данные по бухгалтерским проводкам, кадрам и заработной плате для 2000 организаций [500+ тыс.сотрудников] |
Сервер 1С | Платформа 8.3.18 | CPU: 16 ядер ОЗУ: 24 Гб ЖД: 200 Гб |
| Сервер СУБД для 1С и хранилища данных |
SQL Server 2012 | CPU: 16 ядер; ОЗУ: 48 Гб; ЖД: 1.5 Тб |
Ограничения для некоторых модулей / функций
При установке и использовании следует учитывать особенности и ограничения для некоторых модулей и функций ModusETL см. в таблице ниже.
Особенности и ограничения для некоторых модулей / функций ModusETL
| Модуль/функция | Версия плат- формы 1С минимальная |
1С-клиент | Ограничения |
|---|---|---|---|
| Модуль НСИ | 8.3.18 | Толстый:+ Тонкий:+ веб:+ |
СУБД для хранения НСИ только PostgreSQL |
| Модуль DataMining (библиотеки Python) | 8.3.18 | Толстый:+ Тонкий:+ веб:+ |
ПО: Python, Flask, IIS |
| Модуль WorkFlow | 8.3.18 | Толстый:+ Тонкий:+ веб:- |
ОС клиента — Windows |
| Сбор данных из 1С, используя Схему источника (СКД) | 8.3.18 | Толстый: весь функционал Тонкий: всё, кроме настройки схемы веб: всё, кроме настройки схемы |
Modus ETL. Руководство пользователя. Ограничения при использовании СКД (п. 6.6.3) |
Особенности настройки 1C для работы ETL
При установке информационной базы Modus ETL на сервере 1С, где эта база развернута, должен быть добавлена параметр DisableUnsafeActionProtection в файл «conf.cfg»
Пример: DisableUnsafeActionProtection=.*"[eE][tT][lL]".*;
С помощью данного параметра предоставляется возможность отключить защиту от опасных действий для определенных информационных баз. Информационные базы определяются набором шаблонов (регулярных выражений), разделяемых символом «;». Если строка соединения с информационной базой будет удовлетворять какому-либо регулярному выражению, перечисленному в данном параметре, для такой информационной базы защита от опасных действий будет отключена.
При редактировании регулярных выражений следует использовать POSIX Basic Regular Expressions (https://pubs.opengroup.org/onlinepubs/9699919799/basedefs/V1_chap09.html#tag_09_03).
Данный параметр используется тем процессом, который фактически выполняет потенциально опасное действие:
- Загрузка внешних обработок/отчетов или расширений конфигураций ‑ только сервер (процесс rphost).
- Загрузка внешних компонент ‑ клиентское приложение или сервер (процесс rphost).
- Запуск внешнего приложения ‑ клиентское приложение или сервер (процесс rphost).