Технические настройки для подготовки к работе

1. Основные настройки

Для работы системы необходимо установить настройки, регулирующие доступ к данным и получение данных. Расположение в меню: «Главное \ Информация \ Основные настройки».

Рисунок 1. Доступ к основным настройкам системы.

Здесь устанавливают настройки, которые будут использоваться по умолчанию. Пользователь может изменить их для однократного использования.

Описание настроек:

1. Закладка «Настройки получения данных» (см. Рисунок 2) – устанавливаются правила, по которым обновляются данные.

Использовать менеджер сервиса 1С:Fresh – загрузка справочной информации из менеджера сервиса.

При загрузке справочных данных:

• «Обновлять имеющиеся» – найти имеющиеся данные и, если нашли, обновить их, новые элементы не добавлять;
• «Загружать отсутствующие» – проверить имеются ли данные, если нет – добавить, если есть – ничего не делать;
• «Обновлять имеющиеся и загружать отсутствующие» – комбинация предыдущих пунктов: проверить имеются ли данные, если нет – добавить, если есть – обновить.

Остановить выполнение пакета при отсутствии лога – останавливает выполнение пакета при отсутствии документа «Факт выгрузки»

Режим записи данных во внешний приемник:

• «Добавить» – дополнить уже имеющийся набор данных (данные могут дублироваться);
• «Очистить и добавить» – удалить имеющиеся данные и загрузить заново;
• «Скопировать и добавить» – сделать копию имеющихся данных (создается новая таблица тем же именем и постфиксом-датой операции), удалить имеющиеся данные и загрузить заново.

Использовать агентов – использовать агентов для сбора данных и/или выполнения запросов к СУБД

• Агент для выполнения сценариев – агент, который используется для выполнения запросов к БД
• Агенты ETL – переход к списку всех агентов
• Максимальное количество заданий агентам – количество заданий по сбору данных из одного источника по одному правилу

Использовать обезличивание при получении данных – возможность настройки обезличивания в правиле выгрузки

Тип сериализации объектов при работе через Адаптер ETL:

• JSON;
• JSONORIG;
• XML;
• INT.

Рисунок 2. Основные настройки. Действия при выгрузке\загрузке данных

2. Закладка «Настройка пользователя ETL» (см. Рисунок 3) – параметры доступа (логин и пароль) к базам-источникам по умолчанию. При необходимости возможно для каждой базы-источника настроить свои параметры доступа в справочнике «Базы данных».

Рисунок 3. Основные настройки. Настройки пользователя COM

3. Закладка «Настройки очереди» (см. Рисунок 4) – настройки, предназначенные для оптимизации процесса загрузки/выгрузки данных:

• «Максимальное количество потоков задания сбора данных» – количество параллельно запускаемых фоновых заданий при работе регламентного задания сбора данных. При увеличении количества потоков увеличивается скорость получения данных, но когда потоков слишком много они начинают мешать друг другу и вместо увеличения скорости происходит задержка;
• «Максимальное количество попыток обработки задания очереди» – позволяет пытаться выполнить задание несколько раз, это нужно из-за того, что подключение к источнику данных может быть нестабильно и однократное обращение может привести к ошибке;
• «Номер попытки, с которой выполнять замену символов» – бывают ситуации, когда не удается записать полученные данные, т.к. они содержат спецсимволы. В системе настроена замена некоторых символов («’», «-», «>», «`», …), можно их искать и заменять в первой же, но тогда идет увеличение времени получения данных, поэтому устанавливаем номер попытки – т.е. если в первых попытках записать не получилось, то пробовать сделать замену символов;
• «Настроить символы для замены» –замена символов в строках получаемых данных;
• «Процент необработанных источников очереди» – это количество допустимых ошибок в очереди. Например, получаем данные из 100 источников, считаем, что если из 90 или более источников данные получены, то получение прошло успешно. Тогда устанавливаем процент – 10.
• «Коэффициент понижения количества захватываемых в очереди» – влияет на количество заданий в очереди, захватываемых фоновым заданием при распределении.
• «Ограничения количества источников порции» – минимальное и максимальное количество источников, которое фоновое задание может взять в обработку.

Рисунок 4. Основные настройки. Настройки очереди

4. Закладка «Таймауты» (см. Рисунок 5) – настройки времени ожидания при выполнении фонового задания.

Рисунок 5. Основные настройки. Таймауты

5. Закладка «COM -connector» (см. Рисунок 6. Основные настройки. COM-connector) – настройки COM-connector

Рисунок 6. Основные настройки. COM-connector

6. Закладка «Верификация»

• «Использовать верификацию данных» – включение механизмов проверки данных на соответствие стандарту, на соответствие эталонным значениям.

7. Закладка «Управление хранилищем» (см. Рисунок 7. Основные настройки. Управление хранилищем)

• «БД SQL по умолчанию» – база данных – хранилище по умолчанию;
• «Использовать трансформацию таблиц» – включает подсистему трансформации таблиц в схему звезда

Рисунок 7. Основные настройки. Управление хранилищем

8. Закладка «Интерфейс» (см. Рисунок 8. Основные настройки. Интерфейс)

• «Количество отображаемых пакетов виджетом контроля» – количество отображаемых пакетов виджетом контроля на начальной странице;
• «Количество отображаемых прогрессов очередей виджета очередей» – количество отображаемых прогрессов очередей виджета очередей на начальной странице;
• «Выбирать только пользовательские типы в полях выбора типов» – ограничивает выбор типа поля только пользовательским типом;
• «Упрощенный ввод квалификаторов типов» – упрощенный режим ввода квалификаторов типа.

Рисунок 8. Основные настройки. Интерфейс

9. Закладка «Пресеты»

• «Использовать пресеты» – включает подсистему «Пресеты», используемую для выгрузки и загрузки настроек.

10. Закладка «Проекты»

• «Использовать проекты» – включает возможность указания проектов.

11. Закладка «KPI» (см. Рисунок 9. Основные настройки. KPI)

• «База данных для KPI» – база данных, в которой будут сформированы таблицы KPI;
• «Использовать KPI» – создание и выполнение сценария формирования таблиц KPI в указанной базе данных.

Рисунок 9. Основные настройки. KPI

12. Закладка «НСИ»

• «Использовать НСИ» – включает модуль учета нормативно-справочной информации, предназначенный для хранения и использования объектов НСИ - справочников и маппингов (маппинг – соответствие/связь элементов первичных данных элементам справочников).

13. Закладка «СЛК» (см. Рисунок 10. Основные настройки. СЛК) – настройки системы лицензирования и защиты конфигурации.

• «Параметры связи» – настройка параметров связи с сервером СЛК;
• «Консоль сервера» – консоль сервера лицензирования выводит текущие параметры СЛК и служит для диагностики проблем;
• «Установка/обновление лицензий» – интерфейс для запуска процедур по установке и активации лицензий.

Рисунок 10. Основные настройки. СЛК

14. Закладка «Прочее» (см. Рисунок 11. Основные настройки. Прочее)

• «Глубина хранения журнала событий (количество дней)» – количество дней, по прошествии которых будут автоматически очищены записи в журналах, относящиеся к Фактам выгрузки, Сценариям обработки данных. Периодическая очистка позволяет оптимизировать объем, занятый логами, и способствует быстрой работе отчетов по логам;
• «Максимальное количество источников при очистке» – максимальное количество источников, по которым будут очищены записи в журнале событий сбора данных;
• «Путь к comconnector оригинальной версии (версии сервера 1с)» – имя компьютера, на котором будет создан com объект;
• «Использовать шаблоны шагов сценариев» - шаблоны позволяют формировать скрипт трансформации данных для шага сценария, используя визуальный интерфейс;
• «Использовать интеграцию с OLAP-сервером» – для включения возможности интеграции с «Полиматикой»;
• «Группа агрегатных функций» – агрегатные функции, доступные для выбора в мастере группировки данных;
• «Режим заполнения служебных полей приемника по умолчанию» – режим заполнения служебных полей в правиле выгрузки по умолчанию;
• «Постфикс для публикации адаптера» – постфикс базы данных источника;
• «Использовать механизм распараллеливания записи в приемник» – признак доступности пакетной записи для базы данных;
• «Взаимодействие с python» – использование предсказательной аналитики, если флаг установлен, то в сценарии доступны мастера Кластеризация и Линейная регрессия;
• «Использовать WorkFlow» – визуальный интерфейс проектирования сценариев обработки данных.

Рисунок 11. Основные настройки. Прочее

2. Параметры администрирования

Для выполнения различных административных действий на кластере серверов 1С, необходимо установить параметры администрирования кластера. Расположение в меню: «Главное \ Информация \ Параметры администрирования» (Рисунок 12).

Рисунок 12. Доступ к параметрам администрирования

В открывшейся форме (Рисунок 13), заполнить требуемые поля:

• Логин/Пароль администратора кластера.
• Порт кластера серверов (менеджер кластера).
• Вариант подключения к кластеру серверов.
• Адрес (адрес сервера 1С).
• Порт (Порт агента сервер).

Рисунок 13. Параметры администрирования