Новое в версии

  9 минутное чтение  

Версия ETL 1.6.9.9

16.04.2024

Внимание! Минимальная версия платформы для работы релиза 8.3.18.1957.

Инструкции по обновлению ETL.

Мастер интеграции

  • Исправлена ошибка видимости справочника «Пользователи».

Версия ETL 1.6.9.8

03.04.2024

Внимание! Минимальная версия платформы для работы релиза 8.3.18.1957.

Рекомендуемая версия сервера СЛК 3.0.34.

Инструкции по обновлению ETL.

Рекомендуемая версия Агента ETL: 1.33.3.

Рекомендуемая версия Адаптера ETL: 1.1.11.2.

Мастер интеграции

Мастер интеграций — новый инструмент для создания и настройки сборов данных без программирования. Позволяет создать набор правил, составов выгрузки и пакетов для сбора данных из различных веб сервисов в хранилище данных В текущем релизе выпущена версия загрузки данных из CRM Битрикс24 в части сделок. Решение позволит без программиста загружать информацию о сделках и их статусах, продажах и лидах, товарах и услугах, которые ведутся в Битрикс24.

Общая инструкция по использованию мастера приведена здесь.

Инструкция по настройке Битрикс24 приведена здесь.

Запуск и произвольный код на стороне 1С:Предприятия

Для сложной обработки данных в системе 1С:Предприятие, например, для выполнения сложных расчетов и методов на стороне базы-источника в Адаптере ETL реализована возможность запуска подключаемых внешних обработок через адаптер. В состав поставки включена внешняя обработка, которая позволяет выполнять произвольный код на стороне источника и передавать подготовленную исполняемым кодом структуру данных.

Инструкция по использованию внешних обработок и по запуску кода на стороне приемника приведена здесь.

Прочие улучшения

  • При проверке подключения к информационной базе 1С через адаптер, проверка выполняется как напрямую ETL - АдаптерETL, так и через используемого Агента ETL.
  • Добавлены шаблоны «Маппинг 2х таблиц с предварительным удалением» и «Перенос данных». Подробная инструкция на шаги сценария приведена здесь.
  • Подсистема НСИ. Ускорена загрузка записей в первичный справочник.
  • Пакеты данных. При запуске пакетов выполняется контроль наличия цикличных ссылок, при выставлении соответствующей настройки.
  • Доработан механизм заполнения списка полей по настройкам схемы СКД.

Исправление ошибок

  • Исправлена ошибка загрузки метаданных в случае, если выполняется подключение к базе данных под пользователем, у которого нет прав на некоторые схемы.
  • Доработан механизм заполнения списка полей по настройкам схемы СКД.
  • Доработана Консоль запросов в части получения данных из баз 1С: настроено корректное отображение наименований Объектов БД при их переносе из списка «Объекты БД» в область «Текст запроса».
  • Исправлены прочие ошибки.

Версия ETL 1.6.8.10

 29.12.2023

Внимание! Минимальная версия платформы для работы релиза 8.3.18.1957. Рекомендуемая версия сервера СЛК 3.0.34.

 Инструкции по обновлению ETL

Сбор данных

  • Доработан механизм контроля работающих заданий.
  • Доработан механизм приоретизации параметров в пакетах.
  • Доработаны механизмы регламентного получения данных из нескольких «JSON»-файлов.
  • «Режим выгрузки» в «Составе выгрузки» теперь обязательный параметр.
  • Исправлена ошибка в «Выгрузке в отчет» при использовании Агента ETL.
  • Исправлена ошибка создания группы составов выгрузки.
  • Исправлены ошибки механизма сбора данных с помощью СКД.

WorkFlow

  • В сценарии обработки данных ETL добавлен новый шаблон шага «Разделение строки», который позволяет разделить строковое значения по указанному разделителю на несколько строк.
  • Исправлена ошибка шага сценария «Произвольный код», которая в некоторых случаях не позволяла посмотреть результат работы шага.

НСИ

  • Переработаны места, которые в исключительных случаях приводили к аварийному завершению работы на Linux.

Пресеты

  • Актуализированы правила переноса данных.

Управление хранилищем

  • Добавлена возможность создания наборов данных в Modus BI на основании таблиц модели данных Modus ETL.
  • Добавлено отключение функциональной опции «Управление хранилищем».
  • Исправлен выбор схемы при создании таблицы в «Настройка таблицы выгрузки».

Прочее

  • Выполнены доработки пользовательского интерфейса таблиц модели в части улучшения удобства их использования.
  • Доработаны механизмы для удаления шагов сценариев.
  • Обновлена версия компоненты СЛК.
  • При разворачивании новой базы больше не создаются тестовые «Сценарии», «Правила выгрузок».
  • Установлен режим совместимости 8.3.18.
  • При создании подключения к базе данных автоматически создается пустая конфигурация этой базы данных.
  • Исправлена ошибка, не позволяющая редактировать шаги сценария.
  • Исправлены мелкие ошибки.

Версиия ETL 1.6.7.6

25.09.2023

Внимание! Минимальная версия платформы для работы релиза 8.3.17.1851. Рекомендуемая версия 8.3.18.1208.

Инструкции по обновлению ETL.

Параллельное выполнение пакетов

Добавлена возможность настраивать выполнение пакетов, сценариев и составов выгрузки в виде графа в режиме WorkFlow. Теперь можно настраивать параллельный сбор, обработку и трансформацию данных. Это позволит сократить время обработки информации, например, когда сбор первичных данных может выполняться параллельно, но их обработка должна начаться только тогда, когда все данные соберутся.

Для переключения режима редактирования установите в пакете режим выполнения «Параллельно». При включении параллельного режима появится гиперссылка «Состав пакета», в которой можно настроить порядок выполнения шагов в режиме WorkFlow.

Читать подробнее.

Сценарии обработки данных

Перенос данных в другую базу из WorkFlow

Теперь в сценарии обработки можно добавить шаг переноса данных в другую базу данных. Для это добавлен шаг «Перенос данных». Перенос данных позволяет быстро перенести данные в нужную базу без создания правил и составов выгрузок. Мастер может использоваться для переноса данных из DW слоя в слой отчетности. Например, перенести подготовленные данные из ядра хранилища из PostgreSQL в таблицу ClickHouse.

Саму же таблицу ClickHouse тоже можно сконфигурировать в мастере настройки таблицы, установив порядок сортировки и первичные ключи.

Читать подробнее.

Для включения функциональности работы с таблицей в основных настройках необходимо в разделе «Управление хранилищем» установить функциональную опцию «Использовать управление хранилищем».

Теперь сценарий можно скопировать вместе с его шагами.

Реализована поддержка соединения и выбора одинаковых таблиц в шагах мастера.

Конструктор запросов

В правилах выгрузки и в мастере сбора данных добавлена консоль запросов для тестирования и отладки при написании SQL или 1С запроса.  

Исправление ошибок

Исправлены найденные ошибки.

Версия 1.6.6.14

27.07.2023

Внимание! Минимальная версия платформы для работы релиза 8.3.17.1851. Рекомендуемая версия 8.3.18.1208.

Инструкции по обновлению ETL.

Мастера сбора данных

  • Добавлена возможность выбора ClickHouse в мастере сбора данных.
  • Доработан мастер получения данных. Появилась возможность указать проект и папку для правил выгрузки, состава выгрузки.
  • Исправлена работа мастеров при изменении типов связи между шагами.
  • Исправлено определение типов в мастере создании таблицы БД.

WorkFlow

  • Доработан шаблон «НСИ.Загрузка в первичный справочник».
  • Реализован функционал сохранения обученных моделей ML.
  • Исправлены ошибки шаблонов при изменении типа связи между шагами.
  • Исправлена работа шаблона шага «Соединение».

Адаптер ETL

  • Добавлена поддержка работы со сжатием при сборе данных из информационных баз 1С с использованием АдаптераETL.

НСИ

Для включения функциональности НСИ необходимо перейти в «Информация» / «Основные настройки» / «НСИ» / «Использовать НСИ».

Читать подробнее.

  • Добавлена возможность в маппинге справочников отображать дополнительные реквизиты.
  • Добавлена возможность автоматического сопоставления первичного справочника с эталонным на этапе маппинга.
  • Добавлен мастер загрузки данных из таблиц СУБД в первичный справочник.
  • Исправлены ошибки при добавлении реквизитов с одинаковыми наименованиями в первичный справочник.

Получение данных

  • В установке правил выгрузки данных добавлена консоль запросов для отладки. (находится: «Еще» / «Консоль запросов»).
  • Добавлено автоматическое создание источника и набора данных при установки признака «используется для получения данных».

Управление хранилищем данных

Функционал выпущен в тестовом варианте. Для его включения необходимо перейти в «Информация» / «Основные настройки» /«Использовать трансформацию таблиц».

Внимание! Кнопка «Установить модель в хранилище» и «Удалить модель из хранилища» в форме «Модели данных» полностью удаляет таблицы из хранилища!

  • Добавлена функциональность тонкой настройки для Сlickhouse. В установке правил выгрузке и в мастере сбора данных появилась возможность указать порядок сортировки таблицы и указать первичные ключи.
  • Добавлен функционал проектирования модели данных, позволяющий описать связи в существующих таблиц.
  • Добавлено обновление моделей данных при создании и обновлении конфигурации БД.

Прочее

  • Добавлена возможность выбирать базу данных ClickHouse в «Отчете по данным в БД».
  • Добавлен отчет «Выполнение пакета по дням», позволяющий отслеживать динамику времени выполнения шагов пакета за произвольный период.
  • Доработаны механизмы пресетов в части переноса сценариев.
  • Добавлена функциональность работы с произвольными дополнительными параметрами, которые могут быть использованы при подключении к базам данных.
  • Обновлен БСП до версии 3.1.7.382.
  • Добавлен раздел «Информация» на начальной странице ETL.

Исправлены ошибки

  • Исправлены ошибки возникающие при работе сервера 1С на Linux.
  • Исправлена ошибка загрузки из Excel.
  • Исправлена ошибка создания базы данных типа «Файл».
  • Переработаны зависимости визуального отображения от включенной функциональности.
  • Исправлены мелкие ошибки.

Версия 1.6.5.18

25.04.2023

Внимание! Минимальная версия платформы для работы релиза 8.3.17.1851.

Инструкции по обновлению ETL.

WorkFlow

  • Добавлены новые шаги сценариев для ClickHouse:
    • «Произвольная выборка»;
    • «Объединение»;
    • «Группировка»;
    • «Соединение»;
    • «Отбор»;
    • «Создание таблицы».
  • Добавлен универсальный шаг — «Перемещение файлов» с или на FTP сервер.
  • Добавлена возможность передачи потока данных результата шага «Произвольный запрос SQL» в другие шаги сценария.
  • В шаг произвольной выборки добавлена возможность выбирать различные данные.
  • В шаг сценария с произвольной выборкой, группировкой и отбором добавлена возможность добавлять отбор в виде произвольного кода.
  • Добавлена возможность копировать шаги сценария.
  • Добавлена возможность описать отбор в шаге TOP-N.

Получение данных

  • В конструкторе правил разбора «JSON» появилась возможность использовать web-запрос в качестве источника правил выборки. Подробнее о конструкторе Конструктор правил разбора «JSON».
  • Добавлены подсказки использования различных программных обработчиков состава выгрузки.

Адаптер ETL

  • Исправлены ошибки работы по получению данных через СКД.

Администрирование

  • Добавлен отчет по контролю выполнения всех пакетов обработки данных.
  • Актуализирована работа механизма пресетов.
  • Аналитику добавлена возможность добавлять и изменять пользовательские типы данных.
  • Добавлен http-сервис для интеграции с zabbix’ом и получения различных контрольных метрик.
  • Сделана единая форма списка для справочника базы данных.
  • Добавлена функциональность остановки / прерывания сбора данных. Добавлен отбор фактов выгрузки по различным состояниям («Выполняется» / «Завершен» / «Остановлен»).

НСИ

  • Исправлены ошибки, связанные с НСИ. Реализована работа под ОС Linux.
  • Доработаны алгоритмы создания/изменения элементов НСИ, в части автоматического создания/изменения представлений СУБД связанных с этими объектами.
  • Доработан профиль Аналитик для возможности использовать подсистему НСИ.
  • Выделен отдельный профиль «Администратор НСИ». Только пользователи с этим профилем могут создавать новые элементы эталонных справочников.
  • Добавлена возможность создания элементов Эталонных справочников из значений Первичных справочников.

Исправлены ошибки

  • Исправлена ошибка, приводящая к невозможности загрузить данные из файла при слишком длинном имени файла.
  • Исправлена динамическая загрузка файлов. В некоторых случаях загрузка выполнялась только из одного файла.
  • Исправлена ошибка импорта «.XLSX»-файлов.
  • Исправлена ошибка создания таблицы.
  • Исправлена ошибка мастеров WF при просмотре данных шагов, если входящий поток имеет тип «Вложенный запрос».
  • Исправлена работа шаблонов в установке правил выгрузки.
  • Исправлена ошибка заполнения списка полей в установке правила выгрузки.
  • Исправлена ошибка загрузки большого файла.
  • Исправлены прочие найденные ошибки.

Версия 1.6.4.12

30.01.2023

Внимание! Минимальная версия платформы для работы релиза 8.3.17.1851.

Получение и обработка данных

  • Выполнена доработка Мастера загрузки файла «XLSX» и «CSV», обеспечена совместимость с файлами, сохраненными в LibreOffice и других «альтернативных» приложениях, доработан интерфейс Мастера в части работы с незагружаемыми столбцами (исключен анализ ошибок в заголовках для тех столбцов, загрузка которых не требуется).
  • Добавлена возможность работы Мастеров шагов трансформации данных с различными схемами хранилища DWH.
  • В сценарии подготовки таблицы «Очистить и добавить» добавлена возможность использования DELETE для очистки, вместо TRUNCATE.
  • Добавлено событие для фиксации факта начала и завершения сбора данных из источника.
  • Добавлена возможность загрузки списка пользователей в Modus BI.
  • Доработан конструктор правил и алгоритм получения данных «JSON», для возможности загрузки отдельных ветвей JSON в колонку таблицы.
  • Все режимы подготовки таблиц, которые используются при сборе данных, адаптированы для СУБД Vertica и Clickhouse.
  • Добавлен http-сервис, позволяющий запускать «Состав выгрузки», «Сценарий», «Пакет обработки данных».
  • Добавлена возможность создания групп(иерархии) в справочниках «Сценарии», «Составы выгрузок», «Пакеты».
  • Добавлена возможность ограничивать количество потоков «сборщиков данных» для составов выгрузки. Это позволяет более гибко регулировать нагрузку на системы поставщики данных.

Администрирование

  • Добавлен отчет для просмотра списка активных пакетов и ориентировочном времени их исполнения.
  • Доработан отчет для контроля доступности баз данных.
  • Добавлено версионирование шагов сценария.

Адаптер ETL

  • Добавлена функциональность распознавания ссылок для ссылочных метаданных (справочники, документы и т.д.), которые добавлены через расширения.

Исправлены ошибки

  • Исправлена ошибка мастера «Выгрузка таблицы в файл»: в некоторых случаях, при указании произвольного запроса возникала ошибка.
  • Исправлена ошибка из-за которой не создавались новые поля в таблице при изменении её структуры из установки правла выгрузки.
  • Исправлены найденные ошибки.

Версия 1.6.3.17

24.10.2022

Внимание! Минимальная версия платформы для работы релиза 8.3.17.1851.

Получение данных

  • Добавлен механизм инкрементальной выгрузки для информационных баз на платформе 1С: Предприятие. Функциональность позволяет получать изменения, зарегистрированные на узлах обмена, автоматически очищать загруженные изменения, присваивать составам данных номера сообщений. Инкрементальная выгрузка значительно упрощает получение измененных данных из информационных баз и сокращает время получения данных.
  • Ускорен механизм работы сценариев при делении потоков по параметрам.

Поддержка ClickHouse

  • Добавлена возможность использовать в качестве хранилища (витрин данных) СУБД ClickHouse. Использование ClickHouse значительно сокращает время получения данных и позволяет строить витрины данных с большой скоростью доступа к ним.

WorkFlow

  • Функциональность WorkFlow, в сценариях обработки данных, используется теперь по умолчанию.
  • Исправлены ошибки работы некоторых мастеров.

Исправление ошибок

  • Исправлены найденные ошибки.