Установка и настройка Modus ETL
4 минутное чтение
Программный продукт: «Модус: Управление корпоративным хранилищем данных (ETL)» (сокращенное название - Modus ETL), возможно использовать в нескольких вариантах.
Для ModusETL существуют базовые и продвинутые способы получения, загрузки и обработки данных.
Базовый вариант – использует встроенные в приложение ModusETL механизмы:
- для сбора данных - стандартный механизм, когда полученные из источника данные сначала размещаются во временных массивах и структурах, а затем сохраняются в базу данных хранилища целиком.
- для интеграции с 1С-источниками – «Внешнее-соединение» (COM-коннектор).
Продвинутый варинат (более производительный и масштабируемый) предполагает, использование вместе с ModusETL специально разработанных дополнительных модулей:
-
«Агент ETL» (разработан на языке Golang) для многопоточной обработки данных. При работе под OC Linux использование «Агента ETL» обязательно. Возможно использование с одним ETL нескольких агентов, размещенных как-правило на разных серверах, что обеспечивает горизонтальную масштабируемость получения-обработки данных.
-
«Адаптер ETL для 1С» - http-сервис, для получения данных из 1С-приложений. Этот компонент устанавливается в 1С-источники как отдельная подсистема в конфигурацию базы-источника или как расширение конфигурации.
Сравнение и особенности вариантов, а также названия инструкций по установке-настройке дополнительного ПО представлены в Таблица 1.
Таблица 1. Сравнение вариантов получения данных и интеграции с 1С-источниками
| Функционал | Базовый вариант | Продвинутый вариант с дополнительным ПО (Инструкция) |
|---|---|---|
| Сбор и обработка данных | Стандартные механизмы приложения: - Получаемые из источников данные сохраняются во временных массивах-и-структурах и, затем записываются в БД хранилища целиком |
Агент ETL Многопоточное получание данных с управлением порциями и очередями. (+) производительность (+) масштабируемость (+) работа под ОС Linux Modus ETL. Руководство по установке Агента |
| Коннектор для 1С-источников | Внешнее соединение/COM-коннектор: (-) Ограничение: 1С-источник и ETL должны иметь одинаковые версии 1С-платформы/ СОМ-коннектора |
Адаптер ETL для 1С -http-сервис, встраиваемый в 1С-источник (+) нативные способы получения данных из 1С Модус ETL. Руководство по установке и настройке. [Приложение П1. Инструкция по встраиванию “Адаптера ETL-1С” в 1С базу-источник](../3.5 Инструкция по встраиванию Адаптера ETL-1C в 1С базу-источник/index.md) |
Схема компонентов аналитической системы с использованием Агента ETL и Адаптера ETL-1С предствалена на Рисунок 1.
Рисунок 1. Схема компонентов аналитической системы
Требования к оборудованию и ПО
Минимальные требования к оборудованию и ПО см. Таблица 2.
Таблица 2. Минимальные требования к оборудованию и ПО
| Сервер | ПО | ОС | Минимальные требования к серверу (Процессор,ОЗУ,ЖД) |
|---|---|---|---|
| Сервер 1С | Платформа 8.3.17 и выше |
см. http://v8.1c.ru/requirements/ |
Процессор: Желательно использование многопроцессорных или многоядерных машин ОЗУ: от 4 Гб ЖД: от 20 Гб |
| Сервер СУБД | SQL Server 2008 и выше или PostgreeSQL 9.1 и выше |
Технические характеристики и операционная система должны оответствовать требованиям используемой версии сервера баз данных MS SQL Server / PostgreSQL - см. http://v8.1c.ru/requirements/ |
|
Определение какие мощности и ПО (СУБД для хранилища, Агенты для ETL балансировщики нагрузки и т.д.) необходимы для обеспечения требуемой функциональности, производительности и отказоустойчивости в каждом конкретном случае требует экспертного анализа и сайзинга, а в комплексных случаях проведения нагрузочных тестов.
ModusETL возможно использовать для получения данных из облачных систем 1С:Fresh. Ниже для такого варианта использования представлены:
- Рекомендуемые характеристики оборудования и ПО - см. в Таблица 3,Таблица 4.
- Схема Аналитической системы – см.Рисунок 2
Таблица 3. “BI для 1C:Fresh” - рекомендуемые характеристики оборудования и ПО
| Сервер | Компонент | ПО | ОС | Количество⠀ |
|---|---|---|---|---|
| ETL | 1C | Платформа 8.3.17 и выше | Win/Linux | CPU:12 ядер ОЗУ:16 Гб ЖД: 200 Гб |
| Хранилище данных | СУБД | SQL Server 2008 и выше или PostgreeSQL 9.1 и выше |
Win/Linux | CPU:16 ядер ОЗУ:24 Гб ЖД: 700 Гб |
Таблица 4.“BI для 1C:Fresh” - пример для интенсивного использования в варианте
| Описание | Сервер | ПО | CPU, ОЗУ, ЖД |
|---|---|---|---|
| Источники данных: - 1C:Fresh(конфигурации БГУ и ЗКГУ) - Парус(СУБД Oracle) Данные по бухгалтерским проводкам, кадрам и заработной плате для 2000 организаций [500+ тыс.сотрудников] |
Сервер 1С | Платформа 8.3.17 | CPU: 16 ядер ОЗУ: 24 Гб ЖД: 200 Гб |
| Сервер СУБД для 1С и хранилища данных |
SQL Server 2012 | CPU: 16 ядер ОЗУ: 48 Гб ЖД: 1.5 Тб |
Рисунок 2. Схема аналитической системы для варианта “BI для 1C:Fresh”
Ограничения для некоторых модулей/функций
При установке и использовании следует учитывать особенности и ограничения для некоторых модулей и функций ModusETL см. Таблица 5.
Таблица 5. Особенности и ограничения для некоторых модулей/функций ModusETL
| Модуль/функция | Версия плат- формы 1С минимальная |
1С-клиент | Ограничения |
|---|---|---|---|
| Модуль НСИ | 8.3.17 | Толстый:+ Тонкий:+ веб:+ |
СУБД для хранения НСИ только PostgreSQL |
| Модуль DataMining(библиотеки Python) | 8.3.17 | Толстый:+ Тонкий:+ веб:+ |
ПО: Python, Flask, IIS |
| Модуль WorkFlow | 8.3.18 | Толстый:+ Тонкий:+ веб:- |
ОС клиента - Windows |
| Сбор данных из 1С, используя Схему источника (СКД) | 8.3.17 | Толстый: весь функционал Тонкий: всё, кроме настройки схемы веб: всё, кроме настройки схемы |
Modus ETL.Руководство пользователя.Ограничения при использовании СКД (п. 6.6.3) |