Технические настройки для подготовки к работе

  6 минутное чтение  

1. Основные настройки

Для работы системы необходимо установить настройки, регулирующие доступ к данным и получение данных.

Расположение в меню: «Главное» / «Информация» / «Основные настройки».

Здесь устанавливают настройки, которые будут использоваться по умолчанию. Пользователь может изменить их для однократного использования.

Описание настроек:

  1. Закладка «Настройки получения данных» (см. рисунок выше) — устанавливаются правила, по которым обновляются данные.

Использовать менеджер сервиса 1С: Fresh — загрузка справочной информации из менеджера сервиса.

При загрузке справочных данных:

  • «Обновлять имеющиеся» — найти имеющиеся данные и, если нашли, обновить их, новые элементы не добавлять;
  • «Загружать отсутствующие» — проверить имеются ли данные, если нет — добавить, если есть — ничего не делать;
  • «Обновлять имеющиеся и загружать отсутствующие» — комбинация предыдущих пунктов: проверить имеются ли данные, если нет — добавить, если есть — обновить.

Остановить выполнение пакета при отсутствии лога — останавливает выполнение пакета при отсутствии документа «Факт выгрузки».

Режим записи данных во внешний приемник:

  • «Добавить» — дополнить уже имеющийся набор данных (данные могут дублироваться);
  • «Очистить и добавить» — удалить имеющиеся данные и загрузить заново;
  • «Скопировать и добавить» — сделать копию имеющихся данных (создается новая таблица тем же именем и постфиксом-датой операции), удалить имеющиеся данные и загрузить заново.

Использовать агентов — использовать агентов для сбора данных и / или выполнения запросов к СУБД

  • Агент для выполнения сценариев — агент, который используется для выполнения запросов к БД
  • Агенты ETL — переход к списку всех агентов
  • Максимальное количество заданий агентам — количество заданий по сбору данных из одного источника по одному правилу

Использовать обезличивание при получении данных — возможность настройки обезличивания в правиле выгрузки

Тип сериализации объектов при работе через Адаптер ETL:

  • «JSON»;
  • «JSONORIG»;
  • «XML»;
  • «INT».
  1. Закладка «Настройка пользователя ETL» (см. рисунок ниже) — параметры доступа (логин и пароль) к базам-источникам по умолчанию. При необходимости возможно для каждой базы-источника настроить свои параметры доступа в справочнике «Базы данных»:
  1. Закладка «Настройки очереди» — настройки, предназначенные для оптимизации процесса загрузки / выгрузки данных:
  • «Максимальное количество потоков задания сбора данных» — количество параллельно запускаемых фоновых заданий при работе регламентного задания сбора данных. При увеличении количества потоков увеличивается скорость получения данных, но когда потоков слишком много они начинают мешать друг другу и вместо увеличения скорости происходит задержка;
  • «Максимальное количество попыток обработки задания очереди» — позволяет пытаться выполнить задание несколько раз, это нужно из-за того, что подключение к источнику данных может быть нестабильно и однократное обращение может привести к ошибке;
  • «Номер попытки, с которой выполнять замену символов» — бывают ситуации, когда не удается записать полученные данные, так как они содержат спецсимволы. В системе настроена замена некоторых символов («’», «-», «>», «`», …), можно их искать и заменять в первой же, но тогда идет увеличение времени получения данных, поэтому устанавливаем номер попытки — т.е. если в первых попытках записать не получилось, то пробовать сделать замену символов;
  • «Настроить символы для замены» — замена символов в строках получаемых данных;
  • «Процент необработанных источников очереди» — это количество допустимых ошибок в очереди. Например, получаем данные из 100 источников, считаем, что если из 90 или более источников данные получены, то получение прошло успешно. Тогда устанавливаем процент — 10.
  • «Коэффициент понижения количества захватываемых в очереди» — влияет на количество заданий в очереди, захватываемых фоновым заданием при распределении.
  • «Ограничения количества источников порции» — минимальное и максимальное количество источников, которое фоновое задание может взять в обработку.
  1. Закладка «Таймауты» — настройки времени ожидания при выполнении фонового задания:
  1. Закладка «COM-connector» — для настройки COM-connector:
  1. Закладка «Верификация»:
  • «Использовать верификацию данных» — включение механизмов проверки данных на соответствие стандарту, на соответствие эталонным значениям.
  1. Закладка «Управление хранилищем» (см. рисунок ниже, «Основные настройки» / «Управление хранилищем»):
  • «БД SQL по умолчанию» — база данных — хранилище по умолчанию;
  • «Использовать трансформацию таблиц» — включает подсистему трансформации таблиц в схему звезда
  1. Закладка «Интерфейс» (см. рисунок ниже, «Основные настройки» / «Интерфейс»):
  • «Количество отображаемых пакетов виджетом контроля» — количество отображаемых пакетов виджетом контроля на начальной странице;
  • «Количество отображаемых прогрессов очередей виджета очередей» — количество отображаемых прогрессов очередей виджета очередей на начальной странице;
  • «Выбирать только пользовательские типы в полях выбора типов» — ограничивает выбор типа поля только пользовательским типом;
  • «Упрощенный ввод квалификаторов типов» — упрощенный режим ввода квалификаторов типа.
  1. Закладка «Пресеты»:
  • «Использовать пресеты» — включает подсистему «Пресеты», используемую для выгрузки и загрузки настроек.
  1. Закладка «Проекты»:
  • «Использовать проекты» — включает возможность указания проектов.
  1. Закладка «KPI» (см. рисунок ниже, «Основные настройки» / «KPI»):
  • «База данных для KPI» — база данных, в которой будут сформированы таблицы KPI;
  • «Использовать KPI» — создание и выполнение сценария формирования таблиц KPI в указанной базе данных.
  1. Закладка «НСИ»:
  • «Использовать НСИ» — включает модуль учета нормативно-справочной информации, предназначенный для хранения и использования объектов НСИ — справочников и маппингов (маппинг — соответствие / связь элементов первичных данных элементам справочников).
  1. Закладка «СЛК» (см. рисунок ниже, «Основные настройки» / «СЛК») — настройки системы лицензирования и защиты конфигурации:
  • «Параметры связи» – настройка параметров связи с сервером СЛК;
  • «Консоль сервера» – консоль сервера лицензирования выводит текущие параметры СЛК и служит для диагностики проблем;
  • «Установка/обновление лицензий» – интерфейс для запуска процедур по установке и активации лицензий.
  1. Закладка «Прочее» (см. рисунок ниже, «Основные настройки» / «Прочее»):
  • «Глубина хранения журнала событий (количество дней)» — количество дней, по прошествии которых будут автоматически очищены записи в журналах, относящиеся к фактам выгрузки, сценариям обработки данных. Периодическая очистка позволяет оптимизировать объем, занятый логами, и способствует быстрой работе отчетов по логам;
  • «Максимальное количество источников при очистке» — максимальное количество источников, по которым будут очищены записи в журнале событий сбора данных;
  • «Путь к comconnector оригинальной версии (версии сервера 1С)» — имя компьютера, на котором будет создан com объект;
  • «Использовать шаблоны шагов сценариев» — шаблоны позволяют формировать скрипт трансформации данных для шага сценария, используя визуальный интерфейс;
  • «Использовать интеграцию с OLAP-сервером» — для включения возможности интеграции с «Полиматикой»;
  • «Группа агрегатных функций» — агрегатные функции, доступные для выбора в мастере группировки данных;
  • «Режим заполнения служебных полей приемника по умолчанию» — режим заполнения служебных полей в правиле выгрузки по умолчанию;
  • «Постфикс для публикации адаптера» — постфикс базы данных источника;
  • «Использовать механизм распараллеливания записи в приемник» — признак доступности пакетной записи для базы данных;
  • «Взаимодействие с python» — использование предсказательной аналитики, если флаг установлен, то в сценарии доступны мастера «Кластеризация» и «Линейная регрессия»;
  • «Использовать WorkFlow» — визуальный интерфейс проектирования сценариев обработки данных.

2. Параметры администрирования

Для выполнения различных административных действий на кластере серверов 1С, необходимо установить параметры администрирования кластера. Расположение в меню: «Главное» / «Информация» / «Параметры администрирования»:

В открывшейся форме (см. рисунок ниже), заполнить требуемые поля:

  • логин / пароль администратора кластера;
  • «Порт кластера серверов» (менеджер кластера);
  • вариант «Подключения к кластеру серверов»;
  • «Адрес» (адрес сервера 1С);
  • «Порт» (порт агента сервер).

Важно! Если сервер 1С развернут на ОС Linux, в качестве способа подключения к кластеру серверов выбирать «Через сервер администрирования (ras)»
Предварительно на сервере приложений 1С должен быть установлен сервер администрирования кластера серверов (ras).
Инструкции по установке доступны в Руководстве администратора на сайте Информационно-технологического сопровождения 1C.