Модуль НСИ

  7 минутное чтение  

1. Модуль НСИ

Модуль учета нормативно-справочной информации (сокращенно «НСИ») предназначен для хранения и использования объектов НСИ — справочников и маппингов («маппинг» — это соответствие элементов первичных данных элементам справочников). Объекты НСИ хранятся в универсальной структуре — в базе данных хранилища и используются для стандартизации, категоризации, очистки и обогащения первичных данных.

Ограничение: в настоящее время модуль НСИ возможно использовать только для хранилища на СУБД PostgreSQL.

Основные шаги использования НСИ при обработке данных:

  1. создать справочники первичных данных и эталонных данных;
  2. настроить маппинг полей первичных и эталонных справочников;
  3. использовать представления справочников и маппингов в сценариях обработки данных.

1.1. Настройка и подключение

Для возможности работы с модулем НСИ необходимо выполнить следующие действия:

  1. Установить соответствующий флаг в «Основных настройках»:
  1. Подключить модуль к базе данных, в которой будут храниться заведенные справочники в виде универсальной структуры. Для этого сначала необходимо создать структуру для модуля, а затем подключить хранилище к модулю.

Для подключения модуля к базе данных, надо перейти в раздел меню: «Размещение данных» / «Базы данных» (быстрый доступ с начальной страницы нажать на ссылку базы данных) и выбрать базу, в которой планируется развернуть структуру модуля. Затем перейти на вкладу «Функциональность» выбранной базы данных и нажать кнопку «Создать» / «Проверить таблицы справочников» (см. рисунок ниже). В результате пользователь увидит сообщение о создании структуры в хранилище и рядом с кнопкой автоматически будет установлен флаг «Таблицы НСИ созданы».

Затем необходимо нажать кнопку «Установить подключение к таблицам НСИ».

Результат настройки модуль НСИ подключен к выбранному хранилищу и готов к использованию.

Далее, в разделе «НСИ» / «Подключение» следует выбрать указанную базу.

1.2. Создание справочников

В модуле используются два вида справочников:

  • справочники первичных данных;
  • эталонные справочники (те данные, которые будут использоваться для стандартизации, категоризации и обогащения исходных данных).

При создании справочника добавляются обязательные поля-реквизиты – «Код» и «Наименование». Для эталонных справочников возможно добавить дополнительные поля-реквизиты.

1.2.1. Создание справочников первичных данных

Чтобы создать справочник первичных данных надо перейти в раздел «НСИ» / «Настройка первичных справочников» и нажать на кнопку «Создать»:

При создании надо заполнить следующие поля:

  • «Наименование» — наименование справочника;
  • «Алиас» — короткое наименование справочника, которое будет использоваться в дальнейшем при создании представлений справочников.

В таблице «Вид справочников» указаны маппинги для выбранного справочника первичных данных. Подробнее см. раздел 1.4.

1.2.2. Создание эталонных справочников

Для создания эталонного справочника надо перейти в раздел «НСИ» / «Настройка справочников» и нажать на кнопку «Создать»:

При создании и редактировании справочника надо заполнить следующие поля:

  • «Имя справочника» — наименование справочника;
  • «Алиас» — короткое наименование справочника, котрое будет использоваться в дальнейшем при создании представлений справочников;
  • «Видимость кода» — включить, если при выгрузке в Excel нужно получить значение поля «Код» (является обязательным полем каждого справочника) каждой строки справочника;
  • «Уникальность наименования» — включить для проверки поля «Наименование» (является обязательным полем каждого справочника). При включенном признаке для каждой строки справочника будет проводиться проверка поля «Наименование» без учета регистра.

Поля справочника отображаются в соответствующей таблице. Для добавления справочнику полей необходимо нажать на кнопку «Создать» (см. рисунок выше) и указать следующее:

  • «Наименование реквизита» — наименование поля справочника;
  • «Тип реквизита» — тип поля справочника. Возможно выбрать следующий тип из списка:
    • строка;
    • число;
    • дата;
    • ссылка на другой справочник. Возможно настроить, чтобы значения для поля справочника выбирались из другого эталонного справочника. Поэтому при выборе ссылочного типа в «Типе ссылки» необходимо указать справочник, на который он будет ссылаться.
  • «Видимость реквизита» — для отображения поля справочника в интерфейсе «Заполнения справочника»;
  • «Использовать реквизит в отборе» — используется для создания фильтра по реквизиту в разделе «Заполнения справочника»;

Порядок вывода реквизита — отображает порядок вывода данного реквизита в разделе заполнения справочника и недоступно для редактирования в форме «Редактирование реквизита справочника». Изменить порядок вывода можно, воспользовавшись кнопками в разделе «Настройка справочника».

1.3. Заполнение справочников

Заполнение первичных справочников осуществляется в разделе «Заполнение первичных справочников», заполнение эталонных справочников — в разделе «Заполнение справочников». Интерфейс работы со справочниками очень похож.

При переходе на раздел «Заполнение первичных справочников» или «Заполнение справочников» откроется список соответствующих справочников первичных данных или эталонов. Переход на заполнение конкретного справочника осуществляется двойным нажатием мышки по выбранному справочнику.

Заполнение или редактирование справочников возможно как через интерфейс в соответствующем разделе, так и с использованием файлов MS Excel.

1.3.1. Заполнение справочников через интерфейс

На ринсунке ниже отображен интерфейс работы с элементами эталонного справочника.

Добавить строку в справочник возможно по кнопке «Создать». При двойном клике мышки на выбранную строку справочника откроется форма редактирования этой строки.

Удалить строку возможно по правой кнопке мыши.

Если поле-реквизит справочника является ссылкой на другой справочник, то значение этого поля выбирается из списка значений справочника, на который ссылается поле-реквизит.

1.3.2. Заполнение справочников с использованием файлов Excel

Иногда, например, в случае большого количества строк в справочнике, удобно загрузить данные справочника с использованием файла MS Excel.

В этом случае предполагается следующий сценарий работы:

  • выгрузить шаблон справочника;
  • заполнить данными шаблон, сохранить файл;
  • загрузить файл.
1.3.2.1. Выгрузка файла шаблона справочника

Шаблон справочника представляет собой «XLSX»-файл, размеченный особенным образом:

Формирование шаблона осуществляется по ссылке «Экспорт в шаблон».

При экспорте шаблона возможно указать количество строк, для которых будет сделана разметка файла по строкам. Возможно добавить и большее количество строк, чем указано в шаблоне.

1.3.2.2. Загрузка файла справочника

Импорт элементов справочника из xlsx-файла осуществляется по кнопке «Загрузить элементы справочника».

При импорте осуществляются следующие проверки:

  • на корректность заполннения поля «Наименование» (если при создании справочника установлен флаг «Уникальность наименования» см. пп. 1.2.2.Создание эталонных справочников;
  • в случае использования кодов записей, осуществляется проверка на заполнение поля «Код»;
  • на корректность заполнения ссылочных полей.

В случае ошибок при импорте справочных данных из «XLSX»-файла в директории с исходным файлом создается файл с ошибками, а пользователю выводится соответствующее сообщение.

1.3.2.3. Выгрузка справочника в файл Excel

Все элементы справочника возможно выгрузить в «XLSX»-файл. Выгрузка осуществляется по ссылке «Выгрузить элементы справочника». Возможно отредактировать выгруженный файл и загрузить его обратно.

1.3.3. Заполнение справочников с использованием сценария WorkFlow

Предусмотренна возможность заполнения первичного справочника через шаблон сценария WorkFlow.

Источник данных сценария должен соответствовать базе НСИ.

Настройка происходит следующим образом:

  • выбирается шаблон «НСИ. Загрузка в первичный справочник»;
  • в поле настройки выбирается источник первичных данных для справочника;
  • в следующей вкладке сопоставляются поля таблицы источника и первичного справочника;
  • нажать «Провести и закрыть»;
  • запустить.

По окончанию выполнения операции в первичный справочник попадут уникальные значения полей, выбранных на этапе сопоставления.

1.4. Настройка маппинга

Сценарий работы при создании нового маппинга описан ниже.

  1. Создать маппинг в разделе «Настройка первичных справочников» для выбранного справочника первичных данных. Текущие маппинги выбранного справочника отображаются в таблице «Вид справочника (маппинг)». По кнопке «Создать» возможно добавить новый маппнг для выбранного справочника:

При создании необходимо указать эталонный справочник, с которым будут установлены связи.

  1. Настроить связи между справочниками первичных данных и эталонных осуществляется в разделе «Маппинг элементов».

Внешний вид интерфейса представлен на рисунке ниже:

На форме в левой части результат настройки маппинга между элементами справочника первичных данных и эталонными справочниками. В правой части представлены маппинги для первичного справочника. Отображение маппинга зависит от выбранных эталонных справочников. Если не указывать флаг у эталонного справочника, его маппинг не будет отображаться в левой части формы.

В средней таблице представлены значения выбранного эталонного справочника. Установка связей осуществляется несколькими способами:

  • можно использовать кнопку сопоставления, которая на основании разработанного алгоритма производит сопоставление полей (точность до 95% для строковых полей);
  • перетаскиванием мышкой элемента эталонного справочника на левую таблицу (первичного справочника);
  • с помощью «XLSX»-файла:
    • кнопкой «Экспорт в шаблон» получится выгрузить файл шаблона маппинга;
    • кнопка «Выгрузить маппинг» позволяет выгрузить маппинг в таком виде, в каком он представлен в левой таблице на форме;
    • кнопка «Загрузить маппинг» позволяет загрузить маппинг из «XLSX»-файла.

Очистка выбранных строк маппинга в левой таблице осуществляется по правой кнопке мыши.

1.5. Использование справочников или маппингов при обработке данных

Применение настроенных маппингов и справочников осуществляется в сценарии по средствам использования шаблонов НСИ.

Шаблоны НСИ в WorkFlow:

  1. «НСИ.Дополнение из маппинга» — используется для обогащения первичных данных значениями эталонного справочника по средствам преднастроенного маппинга.
    Настройка шаблона:
  • вкладка «Сопоставление»:
    • в поле «Источник данных» выбирается таблица источник с первичными данными;
    • в поле «Маппинг НСИ» выбирается настроенный маппинг;
    • в поле «Связи» настраивается связь таблиц по ключу.
  • «Поля выборки»: в правую часть шаблона помещаются все необходимые поля из источника первичных данных, а из маппинга эталонное значение справочника.

В «Результате» получается таблица первичных данных обогащенная значениями из эталонного справочника.

  1. «НСИ.Дополнение из эталонного справочника» — позволяет добавить дополнительные поля из эталонного справочника после маппинга первичных и эталонных значений.
    Настройка аналогична шаблону «НСИ.Дополнение из маппинга».

  2. «НСИ.Обновление из эталонного справочника» — позволяет обновить записи источника первичных данных на записи эталонного справочника по ключу.
    Настройка аналогична шаблону «НСИ.Дополнение из маппинга».

  3. «Маппинг НСИ» — может использоваться как источник, содержит справочники с маппингами.

  4. «Справочник НСИ» — может использоваться как источник, содержит перечень эталонных справочников.