Дополнительные возможности

  8 минутное чтение  

1. Экспорт данных из таблицы SQL

Доступ к этой возможности есть через начальную страницу или через меню: «Главное» / «Сервис» / «Экспорт данных из таблицы SQL»:

Заполнение настроек:

  • варианты выбора показаны как находящиеся рядом кнопки, выбранный вариант отмечен зеленым цветом названия кнопки (пример на рисунке выше, 1.1 и 1.2, активным является вариант 1.2):
    • вариант 1.1 используется для выгрузки в формате «UTF-8»;
    • вариант 1.2 используется для выгрузки в формате «UTF-16» или, если не важно какой, «Unicode»;
  • база SQL на сервере (выбирается из справочника «Базы данных») — см. рисунок выше, 2;
  • имя таблицы из базы SQL на сервере (см. рисунок выше, 3);
  • если нужно выгрузить данные в формате «UTF-8» без BOM-маркера, установить соответствующий флаг в положение «Истина» (см. рисунок выше, 4);
  • выбрать разделитель полей (варианты «Табуляция» и «;» см. рисунок выше, 5). При выборе варианта нужно убедиться, что в исходных данных в таблице нет таких символов, как «;», а при их наличии заменить на другой символ, например, «,»;
  • выберите формат выходного файла («XLSX», «CSV»; см. рисунок выше, 6.1 и 6.2), при выборе нужно иметь ввиду ограничение количества строк в Excel, при большом объеме выгрузки предпочтителен формат «CSV»;
  • выберите путь к файлу и его название:
    • если тип выгрузки установлен 1.1, то нужно выбирать размещение файла на сервере размещения 1С;
    • если тип выгрузки установлен 1.2, то нужно выбирать размещение файла на сервере размещения базы-источника SQL.

Установите нужные настройки и нажмите кнопку «Экспортировать данные».

Экспорт данных не логируется.

2. Экспорт данных для многомерного анализа в виде OLAP-куба

В качестве сервера для многомерного анализа используется отдельное партнерское решение для многомерного анализа — «Полиматика».

2.1. Настройка и подключение

Для включения возможности интеграции с «Полиматикой» необходимо установить нужную настройку в основный настройках:

Получить доступ к формированию куба для многомерного анализа можно через основной интерфейс по пути «Главное» / «Сервис» / «Интеграция с «Полиматикой»:

Т.к. «Полиматика» является самостоятельным решением, отделенным от ModusETL, расположенным на отдельном ресурсе. Для подключения к «Полиматике» необходимо установить адрес сервера, ввести логин и пароль для доступа и нажать кнопку «Войти»:

После успешного подключения к «Полиматике» можно формировать кубы и просматривать настройки ранее созданных кубов.

2.2. Просмотр существующих кубов

Для просмотра ранее созданных кубов нужно перейти на соответствующую вкладку (см. рисунок ниже). В списке можно увидеть названия (см. рисунок ниже, 1) и основные настройки кубов. При установке курсора на нужный куб можно увидеть текст запроса на языке SQL, который использовался для формирования выбранного куба (см. рисунок ниже, 2).

Т.к. данные для куба выгружаются в отдельное приложение, при изменении данных в хранилище требуется обновлять данные в «Полиматике». Для этого можно запустить обновление для выбранного куба (см. рисунок ниже, 4) или обновить все кубы сразу (см. рисунок ниже, 3). Также для обновления кубов можно настроить расписание.

Собственно, многомерный анализ и просмотр результатов анализа производится в «Полиматике».

2.3. Настройка куба для многомерного анализа

Для настройки нового куба нужно перейти на соответствующую вкладку (см. рисунок ниже). Нужно ввести название куба (см. рисунок ниже, 1), выбрать базу-источник, из таблиц которой будет формироваться куб (см. рисунок ниже, 2). Далее можно ввести запрос на языке SQL для получения данных из базы-источника вручную. Поле для ввода запроса см. рисунок ниже, 3. Также существует возможность использовать мастер запросов, который автоматически сформирует запрос в соответствии с указанными настройками. Вызов мастера запросов производится по кнопке «Открыть конструктор запроса» (см. рисунок ниже, 4). После того как запрос сформирован (вручную или при помощи мастера) можно запустить получение данных для проверки запроса на наличие ошибок и для визуального контроля полученных данных. Запуск проверки производится по кнопке «Выполнить запрос» (см. рисунок ниже, 5).

2.3.1. Настройка запроса при помощи мастера

При вызове мастера настройки откроется окно. В этом окне нужно выбрать таблицу из списка таблиц базы данных-источника и нажать кнопку «Далее»:

На следующем шаге настройки мастер переходит на закладку настройки полей запроса. В левой части формы (см. рисунок ниже, 1) список исходных полей таблицы. В правой части формы (см. рисунок ниже, 2) выбранные для запроса поля.

Включение полей в запрос возможно при помощи кнопок «>», «»» или двойным щелчком на нужном поле в левой части формы. Исключение полей из запроса возможно с помощью кнопок «<», ««».

Одно поле может быть включено в запрос несколько раз. Для выходного поля в запросе используются псевдонимы (alias), по умолчанию псевдоним совпадает с названием исходного поля, но может быть изменен пользователем. Псевдонимы не могут повторяться в одном запросе.

В качестве выходного поля в запросе может быть использовано выражение с участием полей исходной таблицы, арифметических и логических операторов и функций.

Для включения в качестве поля вычисляемого выражения, нужно нажать двойным щелчком мыши на знак «fx» в нужном поле. Откроется окно конструктора выражений:

В конструкторе выражений могут быть использованы поля исходных таблиц, числа, арифметические и логические операции, а также встроенные функции. Внешний вид конструктора выражений показан на рисунке ниже. В левом верхнем поле расположен список полей источника (см. рисунок ниже, 1). Встроенные операторы и функции расположены в левом нижнем углу формы (см. рисунок ниже, 3). Описание встроенных функций можно прочитать в правом нижнем поле формы (см. рисунок ниже, 4), для этого нужно нажать на название функции. Собственно, выражение формируется в правом верхнем поле формы (см. рисунок ниже, 2):

Чтобы сохранить выражение, нажмите кнопку «ОК» в правом нижнем углу формы.

Также в запрос могут быть включены несколько таблиц и подзапросы.

Для включения новой таблицы нажмите кнопку «Добавить» и выберите таблицу из списка.

Связи между таблицами можно установить на вкладке «Связи таблиц». На этой вкладке автоматически заполняются все таблицы, включенные в запрос. Чтобы указать что две таблицы связаны. Перетащите мышкой одну таблиц на строку другой, как показано на рисунке:

На строке с таблицей появится знак соединения таблиц. Можно установить тип соединения. Варианты соединения:

  • левое;
  • правое;
  • внутреннее;
  • внешнее.

Для выбора типа соединения щелкните по знаку соединения. Откроется форма настройки соединения:

Для настройки соединения нужно выбрать тип и выбрать поля соединяемых таблиц, по которым будет выполняться соединение. Наборов полей может быть несколько. Для добавления набора полей нажмите кнопку «Добавить», выберите поле из списка полей первой таблицы и поле из списка полей второй таблицы:

В запросе для формирования куба можно настроить фильтры.

Перейдите на закладку «Настройки отбора данных», добавьте нужные поля для отбора, выберите функцию проверки и значение, с которым будут сравниваться данные поля.

Результат работы запроса может быть проверен на каждом этапе его создания. Для этого нужно нажать кнопку «Проверить запрос». В области «Данные результирующего запроса» будут показаны возвращаемые им данные:

2.3.2. Настройка параметров куба из запроса

Для автозаполнения размерностей будущего куба нажмите кнопку «Выполнить запрос». Все поля настроенного запроса заполнятся в область «Размерности». Поля в область фактов можно переместить при помощи кнопки «Стрелка вправо»:

Можно изменить наименования размерностей и фактов в кубе.

Поля размерностей можно добавлять вручную. Нажмите кнопку «Добавить» и впишите название поля в строку.

2.3.3. Сохранение настроек куба в ETL

Т.к. «Полиматика» является отдельным продуктом, функции формирования куба и сохранения настроек для куба в базе программного продукта разделены. Для сохранения текущих настроек запроса и полей куба нажмите кнопку «Сохранить параметры»:

2.3.4. Формирование куба

Для формирования куба по сделанным настройкам нажмите кнопку «Создать куб» (см. рисунок выше).

2.4. Настройка расписания автообновления данных для кубов

Для автообновления данных для кубов нужно создать специальный сценарий. Нужно создать новый сценарий, шаг сценария выбрать из шаблонов:

В открывшемся окне нужно ввести адрес сервера «Полиматики», логин и пароль.

Для настройки запуска сценария по расписанию его нужно включить в пакет. Настройка расписания для пакета описана в [этом разделе](../9. Пакеты обработки данных/index.md#).

3. Механизм замены символа «’» (апостроф) на «`»

В текстовых исходных данных иногда встречаются специальные символы, которые невозможно записать в SQL-таблицу. Для устранения этого создана функция замены таких символов. Замена выполняется во всех полях и строках полученных таблиц. Включение этой функции может выполняться автоматически или устанавливаться в ручном режиме.

Автоматический режим создан для уменьшения нагрузки на сервер. Замена, при работе очереди, работает не всегда. Номер попытки при сборе данных, с которой включается механизм замены, указывается в основных настройках:

При ручном сборе с помощью обработки «Выгрузка в отчет» механизм замены включается вручную — флаг «Заменить спец. символы».

4. Версионирование

Предназначено для хранения исторических данных. Версионирование настраивается для каждой таблицы отдельно. Версионирование организовано как хранение актуальных и исторических (неактуальных) данных в одной таблице с пометкой «Актуальные» / «Не актуальные». При новом получении данных осуществляется поиск таких данных по ключевым полям. Если данные не найдены, запись добавляется с признаком «Актуальная». Если данные найдены, то производится сравнение неключевых полей, выбранных для сравнения. При их отличии старая запись помечается, как «Не актуальная», и добавляется новая запись с признаком «Актуальная».

Для настройки версионирования таблицы базы данных необходимо выполнить последовательно ряд шагов.

Включить отметку о доступности версионирования у базы данных, на вкладке «Функциональность»:

Открыть пункт меню «Конфигурации» / «Конфигурации БД» / «1С». В открывшейся форме найти нужную базу данных и нажать кнопку «Показать структуру метаданных».

В структуре метаданных найти таблицу, для которой нужно настроить версионирование:

Двойным кликом по наименованию таблицы открыть форму настройки таблицы. Нажать на кнопку «Настроить версионирование», чтобы открыть форму настройки версионирования.

В списке полей нужно отметить те поля, значения которых позволяют однозначно идентифицировать строку таблицы базы данных, это будет уникальный «Ключ».

А также нужно выбрать несколько полей, не являющихся ключом, по значениям которых будет осуществляться проверка изменения строк таблицы базы данных, это будет «Хэш».

Затем нажать кнопку «Включить версионирование».

Если все настроено правильно, то появится сообщение:

Настраивать поля «Ключа» и «Хэша» можно только при отключенном версионировании.

При просмотре структуры базы данных, таблицы с включенным версионированием отображаются специальной пиктограммой:

В документе «Установить правила выгрузки» для таблиц выведен признак включенности версионирования и добавлены колонки «Ключ», «Хэш».

При настройке «Пакета» также добавлен вывод имени таблицы и признака ведения версий для шагов типа «Состав выгрузки».