Дополнительные возможности. Часть 2

  9 минутное чтение  

2. Экспорт данных из таблицы SQL

Доступ к этой возможности есть через начальную страницу (см. Рисунок 1) или через «Меню: Главное \ Сервис \ Экспорт данных из таблицы SQL».

Рисунок 1. Доступ к сервису «Экспорт данных из таблицы SQL»

Заполнение настроек:

Shape1

Рисунок 2. Заполнение настроек

  • Варианты выбора показаны как находящиеся рядом кнопки, выбранный вариант отмечен зеленым цветом названия кнопки (пример Рисунок 2, 1.1 и 1.2 , активным является вариант 1.2 ):

  • Вариант 1.1 используется для выгрузки в формате utf-8;

  • Вариант 1.2 используется для выгрузки в формате utf-16 или если не важно какой Unicode;

  • База SQL на сервере (выбирается из справочника «Базы данных») – см. Рисунок 2, 2 ;

  • Имя таблицы из базы SQL на сервере, см. Рисунок 2, 3 ;

  • Если нужно выгрузить данные в формате utf-8 без BOM-маркера, установить соответствующий флаг в положение «Истина», см. Рисунок 2, 4 ;

  • Выбрать разделитель полей (варианты «Табуляция» и «;»), см. Рисунок 2, 5. При выборе варианта нужно убедиться, что в исходных данных в таблице нет таких символов, как «;», а при их наличии заменить на другой символ, например, «,»;

  • Выберите формат выходного файла (xslx, csv), см. Рисунок 2, 6.1 и 6.2 , при выборе нужно иметь ввиду ограничение количества строк в Excel, при большом объеме выгрузки предпочтителен формат csv;

  • Выберите путь к файлу и его название:

  • Если тип выгрузки установлен 1.1 , то нужно выбирать размещение файла на сервере размещения 1С;

  • Если тип выгрузки установлен 1.2 , то нужно выбирать размещение файла на сервере размещения базы-источника SQL.

Установите нужные настройки и нажмите кнопку [Экспортировать данные].

Экспорт данных не логируется.

3. Экспорт данных для многомерного анализа в виде OLAP-куба

В качестве сервера для многомерного анализа используется отдельное партнерское решение для многомерного анализа – «Полиматика».

3.1. Настройка и подключение

Для включения возможности интеграции с «Полиматикой» необходимо установить нужную настройку в основный настройках (см. Рисунок 3)

Рисунок 3. Включение интеграции с OLAP-Сервером

Получить доступ к формированию куба для многомерного анализа можно через основной интерфейс по пути «Главное \ Сервис \ Интеграция с «Полиматикой» (см. Рисунок 4).

Рисунок 4. Перейти к настройке интеграции с «Полиматикой»

Т.к. «Полиматика» является самостоятельным решением, отделенным от ModusETL, расположенным на отдельном ресурсе. Для подключения к «Полиматике» необходимо установить адрес сервера, ввести логин и пароль для доступа и нажать кнопку [Войти] (см. Рисунок 5).

Рисунок 5. Форма входа в «Полиматику»

После успешного подключения к «Полиматике» можно формировать кубы и просматривать настройки ранее созданных кубов.

3.2. Просмотр существующих кубов

Для просмотра ранее созданных кубов нужно перейти на соответствующую вкладку (см. Рисунок 6). В списке можно увидеть названия (см. Рисунок 6, 1 ) и основные настройки кубов. При установке курсора на нужный куб можно увидеть текст запроса на языке SQL, который использовался для формирования выбранного куба (см. Рисунок 6, 2 ).

Т.к. данные для куба выгружаются в отдельное приложение, при изменении данных в хранилище требуется обновлять данные в «Полиматике». Для этого можно запустить обновление для выбранного куба (см. Рисунок 6, 4 ) или обновить все кубы сразу (см. Рисунок 6, 3 ). Также для обновления кубов можно настроить расписание.

Собственно, многомерный анализ и просмотр результатов анализа производится в «Полиматике».

Рисунок 6. Просмотр настроек существующих кубов в «Полиматике»

3.3. Настройка куба для многомерного анализа

Для настройки нового куба нужно перейти на соответствующую вкладку (см. Рисунок 7). Нужно ввести название куба (см. Рисунок 7, 1 ), выбрать базу-источник, из таблиц которой будет формироваться куб. (см. Рисунок 7, 2 ). Далее можно ввести запрос на языке SQL для получения данных из базы-источника вручную. Поле для ввода запроса см. Рисунок 7, 3. Также существует возможность использовать мастер запросов, который автоматически сформирует запрос в соответствии с указанными настройками. Вызов мастера запросов производится по кнопке [Открыть конструктор запроса] (см. Рисунок 7, 4 ). После того как запрос сформирован (вручную или при помощи мастера) можно запустить получение данных для проверки запроса на наличие ошибок и для визуального контроля полученных данных. Запуск проверки производится по кнопке [Выполнить запрос] (см. Рисунок 7, 5 ).

Рисунок 7. Начало настройки нового куба

3.3.1. Настройка запроса при помощи мастера

При вызове мастера настройки откроется окно Рисунок 8. В этом окне нужно выбрать таблицу из списка таблиц базы данных-источника и нажать кнопку [Далее].

Рисунок 8. Настройка нового куба с помощью мастера, шаг 1

На следующем шаге настройки мастер переходит на закладку настройки полей запроса. В левой части формы (см. Рисунок 9, 1 ) список исходных полей таблицы. В правой части формы (см. Рисунок 9, 2 ) выбранные для запроса поля.

Включение полей в запрос возможно при помощи кнопок « > », « >> » или двойным щелчком на нужном поле в левой части формы. Исключение полей из запроса возможно с помощью кнопок « < », « << ».

Рисунок 9. Настройка нового куба с помощью мастера, шаг 2

Одно поле может быть включено в запрос несколько раз. Для выходного поля в запросе используются псевдонимы (alias), по умолчанию псевдоним совпадает с названием исходного поля, но может быть изменен пользователем. Псевдонимы не могут повторяться в одном запросе.

В качестве выходного поля в запросе может быть использовано выражение с участием полей исходной таблицы, арифметических и логических операторов и функций.

Для включения в качестве поля вычисляемого выражения, нужно нажать двойным щелчком мыши на знак «fx_»_ (см. Рисунок 10) в нужном поле. Откроется окно конструктора выражений.

Рисунок 10. Вызов конструктора выражений

В конструкторе выражений могут быть использованы поля исходных таблиц, числа, арифметические и логические операции, а также встроенные функции. Внешний вид конструктора выражений показан на Рисунок 11. В левом верхнем поле расположен список полей источника (см. Рисунок 11, 1 ). Встроенные операторы и функции расположены в левом нижнем углу формы (см. Рисунок 11, 3 ). Описание встроенных функций можно прочитать в правом нижнем поле формы (см. Рисунок 11, 4 ), для этого нужно нажать на название функции. Собственно, выражение формируется в правом верхнем поле формы (см. Рисунок 11, 2 ).

Рисунок 11. Внешний вид конструктора выражений

Чтобы сохранить выражение, нажмите кнопку [ОК] в правом нижнем углу формы.

Также в запрос могут быть включены несколько таблиц и подзапросы.

Для включения новой таблицы нажмите кнопку [Добавить] и выберите таблицу из списка.

Рисунок 12. Добавление таблицы в запрос для выборки данных

Связи между таблицами можно установить на вкладке «Связи таблиц». На этой вкладке автоматически заполняются все таблицы, включенные в запрос. Чтобы указать что 2 таблицы связаны. Перетащите мышкой одну таблиц на строку другой, как показано на Рисунок 13.

Рисунок 13. Установка связи между таблицами

На строке с таблицей появится знак соединения таблиц. Можно установить тип соединения. Варианты соединения:

  • Левое;
  • Правое;
  • Внутреннее;
  • Внешнее.

Для выбора типа соединения щелкните по знаку соединения. Откроется форма настройки соединения (см. Рисунок 14).

Рисунок 14. Форма настройки соединения таблиц

Для настройки соединения нужно выбрать тип и выбрать поля соединяемых таблиц, по которым будет выполняться соединение. Наборов полей может быть несколько. Для добавления набора полей нажмите кнопку [Добавить], выберите поле из списка полей 1-й таблицы и поле из списка полей 2й таблицы (см. Рисунок 15).

Рисунок 15. Настройка полей для соединения таблиц

Рисунок 16. Как выглядит результат настройка соединения таблиц

В запросе для формирования куба можно настроить фильтры.

Перейдите на закладку «Настройки отбора данных», добавьте нужные поля для отбора, выберите функцию проверки и значение, с которым будут сравниваться данные поля.

Результат работы запроса может быть проверен на каждом этапе его создания. Для этого нужно нажать кнопку [Проверить запрос]. В области «Данные результирующего запроса» будут показаны возвращаемые им данные (см. Рисунок 17).

Рисунок 17. Результат проверки запроса для нового куба

3.3.2. Настройка параметров куба из запроса

Для автозаполнения размерностей будущего куба нажмите кнопку [Выполнить запрос]. Все поля настроенного запроса заполнятся в область «Размерности». Поля в область фактов можно переместить при помощи кнопки [Стрелка вправо] (см. Рисунок 18). Можно изменить наименования размерностей и фактов в кубе.

Поля размерностей можно добавлять вручную. Нажмите кнопку [Добавить] и впишите название поля в строку.

Рисунок 18. Настройка размерностей и фактов куба

3.3.3. Сохранение настроек куба в ETL

Т.к. «Полиматика» является отдельным продуктом, функции формирования куба и сохранения настроек для куба в базе программного продукта разделены. Для сохранения текущих настроек запроса и полей куба нажмите кнопку [Сохранить параметры] (см. Рисунок 19).

Рисунок 19. Сохранение настроек куба и создание куба

3.3.4. Формирование куба

Для формирования куба по сделанным настройкам нажмите кнопку [Создать куб] (см. Рисунок 19).

3.4. Настройка расписания автообновления данных для кубов

Для автообновления данных для кубов нужно создать специальный сценарий. Нужно создать новый сценарий, шаг сценария выбрать из шаблонов (см. Рисунок 20).

Рисунок 20. Создание шага сценария для запуска обновления куба

В открывшемся окне нужно ввести адрес сервера «Полиматики», логин и пароль.

Рисунок 21. Подключение к серверу «Полиматики» для обновления куба

Для настройки запуска сценария по расписанию его нужно включить в пакет. Настройка расписания для пакета описана в [этом разделе](../9. Пакеты обработки данных/index.md#).

4. Механизм замены символа «’» (апостроф) на «`»

В текстовых исходных данных иногда встречаются специальные символы, которые невозможно записать в SQL таблицу. Для устранения этого создана функция замены таких символов. Замена выполняется во всех полях и строках полученных таблиц. Включение этой функции может выполняться автоматически или устанавливаться в ручном режиме.

Автоматический режим. Для уменьшения нагрузки на сервер, замена, при работе очереди, работает не всегда. Номер попытки при сборе данных, с которой включается механизм замены, указывается в основных настройках (см. Рисунок 22).

Рисунок 22. Настройки очереди

При ручном сборе с помощью обработки «Выгрузка в отчет» механизм замены включается вручную - флаг «Заменить спец. символы».

5. Версионирование

Предназначено для хранения исторических данных. Версионирование настраивается для каждой таблицы отдельно. Версионирование организовано как хранение актуальных и исторических (неактуальных) данных в одной таблице с пометкой «Актуальные» / «Не актуальные». При новом получении данных осуществляется поиск таких данных по ключевым полям. Если данные не найдены, запись добавляется с признаком «Актуальная». Если данные найдены, то производится сравнение неключевых полей, выбранных для сравнения. При их отличии старая запись помечается, как «Не актуальная», и добавляется новая запись с признаком «Актуальная».

Для настройки версионирования таблицы базы данных необходимо выполнить последовательно ряд шагов:

  1. Включить отметку о доступности версионирования у базы данных, на вкладке «Функциональность» (см. Рисунок 23 и Рисунок 24).

Рисунок 23. Вкладка «Функциональность» у элемента базы данных

Рисунок 24. Отметка о доступности версионирования у базы данных

  1. Открыть пункт меню «Конфигурации \ Конфигурации БД/1С». В открывшейся форме найти нужную базу данных и нажать кнопку [Показать структуру метаданных] (см. Рисунок 207).

Рисунок 25. Конфигурации баз данных/информационных баз 1С

  1. В структуре метаданных найти таблицу, для которой нужно настроить версионирование (см.Рисунок 26).

Рисунок 26. Описание конфигурации БД

  1. Двойным кликом по наименованию таблицы открыть форму настройки таблицы.
  2. Нажать на кнопку [Настроить версионирование], чтобы открыть форму настройки версионирования.

Рисунок 27. Настройка версионирования

В списке полей нужно отметить те поля, значения которых позволяют однозначно идентифицировать строку таблицы базы данных, это будет уникальный «Ключ».

А также нужно выбрать несколько полей, не являющихся ключом, по значениям которых будет осуществляться проверка изменения строк таблицы базы данных, это будет «Хэш».

Затем нажать кнопку [Включить версионирование].

Рисунок 28. Включение версионирования

Если все настроено правильно, то появится сообщение:

Рисунок 29. Сообщение об успешной настройке

Настраивать поля «Ключа» и «Хэша» можно только при отключенном версионировании.

  1. При просмотре структуры базы данных, таблицы с включенным версионированием отображаются специальной пиктограммой:

Рисунок 30. Таблицы с включенным версионированием отображаются специальной пиктограммой

  1. В документе «Установить правила выгрузки» для таблиц выведен признак включенности версионирования и добавлены колонки «Ключ», «Хэш».

Рисунок 31. «Установить правила выгрузки»

  1. При настройке «Пакета» также добавлен вывод имени таблицы и признака ведения версий для шагов типа «Состав выгрузки».

Рисунок 32. «Состав выгрузки»