Модуль НСИ

  7 минутное чтение  

1. Модуль НСИ

Модуль НСИ или Модуль учета нормативно-справочной информации предназначен для хранения и использования объектов НСИ - справочников и маппингов (маппинг -соответствиесвязь элементов первичных данных элементам справочников). Объекты НСИ хранятся в универсальной структуре - в базе данных хранилища и используются для стандартизации, категоризации, очистки и обогащения первичных данных.

Ограничение: в настоящее время модуль НСИ возможно использовать только для хранилища на СУБД PostgreSQL.

Основные шаги использования НСИ при обработке данных

  1. Создать справочники первичных данных и эталонных данных;

  2. Настроить маппинг полей первичных и эталонных справочников;

  3. Использовать представления справочников и маппингов в сценариях обработки данных.

1.1. Настройка и подключение

Для возможности работы с модулем НСИ необходимо выполнить следующие действия

1.Установить соответствующий флаг в Основных настройках (см. Рисунок 1).

Рисунок 1. Включение модуля НСИ

  1. Подключить модуль к базе данных, в которой будут храниться заведенные справочники в виде универсальной структуры. Для этого сначала необходимо создать структуру для модуля, а затем подключить хранилище к модулю.

Для подключения модуля к базе данных, надо перейти в раздел «Меню: Размещение данных \ Базы данных» (быстрый доступ с Начальной страницы нажать на ссылку Базы данных) и выбрать базу, в которой планируется развернуть структуру модуля. Затем перейти на вкладу «Функциональность» выбранной базы данных и нажать кнопку [Создать/Проверить таблицы справочников](см. Рисунок 2). В результате пользователь увидит сообщение о создании структуры в хранилище и рядом с кнопкой автомитически будет установлен флаг «Таблицы НСИ созданы».

Затем необходимо нажать кнопку [Установить подключение к таблицам НСИ].

Результат настройки модуль НСИ подключен к выбранному хранилищу и готов к использованию.

Рисунок 2. Создание структуры модуля НСИ

1.2. Создание справочников

В модуле используются 2 вида справочников

  • Справочники первичных данных
  • Эталонные справочники (те данные, которые будут использоваться для стандартизации, категоризации и обогащения исходных данных).

При создании справочника добавляются обязательные поля-реквизиты – «Код» и «Наименование». Для эталонных справочников возможно добавить дополнительные поля-реквизиты.

1.2.1. Создание справочников первичных данных

Чтобы создать справочник первичных данных надо перейти в раздел «НСИ \ Настройка первичных справочников» и нажать на кнопку [Создать] (см. Рисунок 3). При создании надо заполнить следующие поля (см. Рисунок 3)

Наименование – наименование справочника

Алиас – короткое наименование справочника, которое будет использоваться в дальнейшем при создании представлений справочников.

Рисунок 3. Внешний вид формы Настройка первичных справочников

Рисунок 4. Создание нового справочника первичных данных

В таблице «Вид справочников» указаны маппинги для выбранного справочника первичных данных. Подробнее см. раздел 1.4.

1.2.2. Создание эталонных справочников

Для создания эталонного справочника надо перейти в раздел «НСИ \ Настройка справочников» и нажать на кнопку [Создать] (см. Рисунок 5).

Рисунок 5. Внешний вид формы «Настройка справочников»

При созданииредактировании справочника надо заполнить следующие поля

Имя справочника – наименование справочника

Алиас – короткое наименование справочника, котрое будет использоваться в дальнейшем при создании представлений справочников.

Видимость кода – включить, если при выгрузке в ecxel нужно получить значение поля «Код» (является обязательным полем каждого справочника) каждой строки справочника.

Уникальность наименования – включить для проверки поля «Наименование» (является обязательным полем каждого справочника). При включенном признаке для каждой строки справочника будет проводиться проверка поля «Наименование» без учета регистра.

Рисунок 6. Настройка эталонного справочника

Поля справочника отображаются в соответствующей таблице. Для добавления справочнику полей необходимо нажать на кнопку [Создать] (см. Рисунок 6) и указать следующее:

  • Наименование реквизита – наименование поля справочника;

  • Тип реквизита – тип поля справочника. Возможно выбрать следующий тип из списка:

    • Строка;
    • Число;
    • Дата;
    • Ссылка на другой справочник. Возможно настроить, чтобы значения для поля справочника выбирались из другого эталонного справочника. Поэтому при выборе ссылочного типа в Типе ссылки необходимо указать справочник, на который он будет ссылаться.

  • Видимость реквизита - для отображения поля справочника в интерфейсе «Заполнения справочника»;

  • Использовать реквизит в отборе - используется для создания фильтра по реквизиту в разделе «Заполнения справочника»;

Рисунок 7. Добавление поля-реквизита справочника

Порядок вывода реквизита - отображает порядок вывода данного реквизита в разделе заполнения справочника и недоступно для редактирования в форме «Редактирование реквизита справочника». Изменить порядок вывода можно, воспользовавшись кнопками в разделе «Настройка справочника» (см. Рисунок 6).

1.3. Заполнение справочников

Заполнение первичных справочников осуществляется в разделе «Заполнение первичных справочников», заполнение эталонных справочников - в разделе «Заполнение справочников». Интерфейс работы со справочниками очень похож.

При переходе на раздел «Заполнение первичных справочников» или «Заполнение справочников» откроется список соответствующих справочников первичных данных или эталонов. Переход на заполнение конкретного справочника осуществляется двойным нажатием мышки по выбранному справочнику.

Рисунок 8. Заполнение эталонного справочника

Заполнение или редактирование справочников возможно как интерфейсно в соответствующем разделе так и с использованием excel-файлов.

1.3.1. Заполнение справочников через интерфейс

На Рисунок 8. отображен интерфейс работы с элементами эталонного справочника.

Добавить строку в справочник возможно по кнопке [Создать]. При двойном клике мышки на выбранную строку справочника откроется форма редактирования этой строки.

Удалить строку возможно по правой кнопке мыши.

Рисунок 9. Редактирование строки справочника

Если поле-реквизит справочника является ссылкой на другой справочник, то значение этого поля выбирается из списка значений справочника, на который ссылается поле-реквизит.

1.3.2. Заполнение справочников с использованием файлов Excel

Иногда, например, в случае большого количества строк в справочнике, удобно загрузить данные справочника с использованием xlsx-файла.

В этом случае предполагается следующий сценарий работы

  • Выгрузить шаблон справочника;
  • Заполнить данными шаблон, сохранить файл;
  • Загрузить файл.
1.3.2.1. Выгрузка файла шаблона справочника

Шаблон справочника представляет собой xlsx-файл, размеченный особенным образом (см. Рисунок 10). Формирование шаблона осуществляется по ссылке[Экспорт в шаблон] (см. Рисунок 8).

Рисунок 10. Файл шаблона справочника

При экспорте шаблона возможно указать количество строк, для которых будет сделана разметка файла по строкам. Возможно добавить и большее количество строк, чем указано в шаблоне.

1.3.2.2. Загрузка файла справочника

Импорт элементов справочника из xlsx-файла осуществляется по кнопке [Загрузить элементы справочника] (см. Рисунок 148).

При импорте осуществляются следующие проверки

  • на корректность заполннения поля «Наименование» (если при создании справочника установлен флаг «Уникальность наименования» см. пп. 1.2.2.Создание эталонных справочников);

  • в случае использования кодов записей, осуществляется проверка на заполнение поля «Код»;

  • на корретность заполнения ссылочных полей.

В случае ошибок при импорте справочных данных из xlsх-файла в директории с исходным файлом создается файл с ошибками, а пользователю выводится соответствующее сообщение.

1.3.2.3. Выгрузка справочника в excel-файл

Все элементы справочника возможно выгрузить в xlsx-файл. Выгрузка осуществляется по ссылке [Выгрузить элементы справочника] (см. Рисунок 8). Возможно отредактировать выгруженный файл и загрузить его обратно.

1.4. Настройка маппинга

Сценарий работы при создании нового маппинга

  1. Создать маппинг в разделе «Настройка первичных справочников» для выбранного справочника первичных данных. Текущие маппинги выбранного справочника отображаются в таблице «Вид справочника (маппинг)». По кнопке [Создать] возможно добавить новый маппнг для выбранного справочника (см. Рисунок 11). При создании необходимо указать эталонный справочник, с которым будут установлены связи.

Рисунок 11. Добавление маппинга к справочнику первичных данных

  1. Настроить связи между справочниками первичных данных и эталонных осуществляется в разделе «Маппинг элементов».

Внешний вид интерфейса представлен на Рисунок 12.

Рисунок 12. Внешний вид формы «Настройка маппинга»

На форме в левой части результат настройки маппинга между элементами справочника первичных данных и эталонными справочниками. В правой части представлены эталонные справочники, для которых создан для маппинг. Отображение маппинга зависит от выбранных эталонных справочников. Если не указывать флаг у эталонного справочника, его маппинг не будет отображаться в левой части формы.

В средней таблице представлены значения выбранного эталонного справочника. Установка связей осуществляется перетаскиванием мышкой элемента эталонного справочника на левую таблицу.

Очистка выбранных строк маппинга в левой таблице осуществляется по правой кнопке мыши.

Кроме того, есть возможность использовать xlsx-фйлы при настройке мапинга. По кнопке [Экспорт в шаблон] возможно выгрузить файл шаблона маппинга.

Кнопка [Выгрузить маппинг] позволяет выгрузить маппинг в таком виде, в каком он представлен в левой таблице на форме

Кнопка [Загрузить маппинг] позволяет загрузить маппинг из xlsx-файла.

1.5. Использование справочинков иили маппингов при обработке данных

После заполнения справочников и маппингов необходимо создать представления справочников и маппингов, которые возможно использовать в Сценариях обработки данных (см.[эту статью](../8.1 Сценарии обработки данных часть 1/index.md), [эту](../8.2 Сценарии обработки данных часть 2/index.md) и [эту](../8.3 Сценарии обработки данных часть 3/index.md).)

Для этого надо перейти в раздел «Меню: Размещение данных \ Базы данных» (быстрый доступ с Начальной страницы нажать на ссылку [Базы данных]) и выбрать базу, в которой развернута структура модуля. Затем перейти на вкладу «Функциональность» и нажать кнопку [Создать обновить представления справочников] (см. Рисунок 13).

Рисунок 13. Создание представлений маппингов и эталонных справочников модуля НСИ

Представления справочников будут созданы по следующему принципу префикс vw_ + «Алиас справочника». Представления маппингов будут созданы по следующему принципу префикс"vw_" + «Алиас первичного справочника» + «_» + «Алиас эталонного справочника».