база данных (см. рисунок ниже, 1) — выбрать из справочника баз данных базу-приемник;
таблица выгрузки (см. рисунок ниже, 2) — таблица-приемник. Эта таблица может уже существовать в базе-приемнике или можно ввести название еще несуществующей таблицы, а в последствии, когда ее поля будут описаны на вкладке «SQL» (см. рисунок ниже, 4) создать ее при помощи кнопки «Создать таблицу в SQL» (см. рисунок ниже, 3);
«Описание полей запроса и полей таблицы-приемника. Описывать поля запроса и поля выгрузки можно после соответствующих настроек для вида правила (см. ниже). Заполнять описание полей не обязательно, если предполагается получать данные разово в отчет или в файл;
версионирование для таблицы-приемника включается отдельной процедурой;
вкладка «Обработчики» — используется для настройки постобработки данных в особых случаях. Например, для преобразования / форматирования полученных значений; заполнения геокоординат по адресу и т.д.;
вкладка «Служебные поля» — используется для настройки аудиторских полей. После выбора режима, при создании таблицы поля будут добавлены в нее вместе с полями на вкладке SQL. По умолчанию используется режим — основной;
«Провести документ» — кнопка «Провести» / «Провести и закрыть». При проведении происходит запись («Период», «Регистратор», «Правило») в регистр «Правила выгрузки». Этот регистр служит для хранения истории документов-регистраторов для конкретного правила и получения актуального правила и актуального регистратора, что используется, например, в «Обработке выгрузки данных».
Настройка собственно правил получения данных зависит от вида правила выгрузки.
1 - Настройка служебных полей
В документе «Настройка правил выгрузки» перейти на вкладку «Служебные поля» и выбрать из выпадающего списка режим заполнения служебных полей:
При необходимости можно отредактировать — нажать:
или создать новый режим — нажать:
в выпадающем списке:
При создании добавить нужные поля. Для вывода различных значений можно использовать поле «ATTRIBUTE» (по умолчанию не содержит значения). Или добавить новое поле:
Значения можно выбрать из готового списка реквизитов справочника «Источники данных»:
или использовать выражения в контексте 1C, для вывода определенного значения:
Далее сохранить изменения и закрыть форму, нажав кнопку «Записать и закрыть».
Примечание. При редактировании режима изменения повлияют на все правила, где он используется.
2 - Настройка правила вида «Запрос»
Перечень дествий описан ниже.
Заполнить «Текст запроса» на языке 1C или SQL.
Заполнить «Параметры запроса» (типичным параметром является период выгрузки, в этом случае установить параметры «ДатаНачала» и «ДатаКонца»).
Для добавления параметра необходимо перейти на вкладку «Настройка параметров» и нажать ссылку «Настроить параметры»:
Откроется интерфейс, в котором возможно:
заполнить наименования параметров из запроса по кнопке «Заполнить из запроса» (см. рисунок выше, 1);
добавить строки параметров по кнопке «Добавить» (см. рисунок выше, 2) и заполнить поля: «Имя параметра», «Номер пакета / этапа» (если пакет / этап один, то выбрать «=1»), «Значение параметра» (см. рисунок выше, 3).
Вместо значения параметра возможно, проставив соответствующий флаг, заполнить поле «Выражение для вычисления параметра» на языке 1С (см. рисунок выше, 4). Результат расчета выражения возможно проконтролировать в поле «Значение» (см. рисунок выше, 5).
При необходимости следует запускать запрос более 1 раза с разными значениями параметров. Возможно заполнить значения параметров, объединенных в наборы / пакеты, заполняя для строк параметров объединяющий признак «Номер пакета». Это необходимо в случае, если из-за особенностей запроса его можно запускать, например, только помесячно, но требуется получить данные за несколько (N) месяцев — при этом запрос будет запускаться N раз с периодом 1 месяц.
Для параметров типа «дата / дата-время» существует помощник заполнения наборов / пакетов, запускаемый по кнопке «Заполнить наборы параметров» (см. рисунок выше, 6).
В форме необходимо ввести период дат «с … по», периодичность (день / неделя / месяц / квартал), смещение (время в секундах, которое будет добавлено к параметру даты) и вид периода (начало / конец периода) и нажать кнопку «Заполнить»:
Результатом будут заполненные строки параметров для пакетов получения данных:
3 - Настройка правила вида «Произвольный код»
Такие правила используются для источников отличных от баз данных SQL / 1С, например, получения данных из web-сервисов и разрабатываются
квалифицированным разработчиком 1С.
Требуется заполнить вкладки:
«Обработчик получения списка полей таблицы»;
«Обработчик получения данных»;
«Обработчик получения списка параметров»;
«Данные модуля»;
«Настройка параметров».
4 - Настройка правила вида «Загрузка из файла»
При загрузке из файла необходимо настроить правила работы с данным файлом. Для хранения этих правил создан справочник «Настройки загрузки из файла».
Примечание. Для получения данных через «ADO-ODBC» необходимо использовать правила выгрузки вида «Запрос».
Установка настроек загрузки из файла
Примечание. «Настройки загрузки из файла» удобно формировать с помощью обработок «Загрузка файла в БД» и «Загрузка файла в БД (мастер настройки)», которые подробно описаны в п. 14.1.
Открыть справочник можно из формы документа «Установить правила выгрузки», либо через меню «Главное» / «Настройки» / «Настройки загрузки из файла».
Необходимо создать новый элемент. В новом элементе нужно заполнить название настройки и следующие вкладки:
«Основная» — заполнить путь к файлу и список колонок, содержащихся в файле, название выходного поля, номер колонки в файле и тип данных.
«Правила исключения строк» — можно настроить правила отбора строк, которые не должны загружаться.
«Настройки» — установить настройки куда выгружать данные и режим записи, настройки получения данных из файла.
Дополнительно можно заполнить описание на вкладке «Описание» и использовать обработчики — специальные скрипты, которые можно внести в поле на вкладке «Обработчики».
5 - Настройка правила вида «Схема источника (СКД)» для 1С-источника
В качестве «Схемы источника» используется настройка отчета через систему компоновки данных (СКД) в базе определенной конфигурации 1С. Такой способ получения данных предполагает управление схемой СКД источника из Modus: ETL, передавая параметры и правила компоновки данных. Способ управления схемой СКД отчета в источнике используется, когда необходимые данные проблематично получить 1С-запросами, например, для среднесписочной численности работников.
Настройки отчета источника сохраняются в специальном справочнике «Отчеты конфигураций». Открыть справочник можно из формы документа «Установить правила выгрузки» (размещение: «Начальная страница» / «Сбор данных» / «Установка правил выгрузки»).
Создайте новый документ «Установить правила выгрузки». Выберите вид правила «Схема источника (СКД)».
Раскройте раздел «Настройки схемы компоновки данных». И в выпадающем списке «Схема источника» нажмите «Показать все» и выберите нужный отчет:
Откроется справочник «Схемы компоновки данных источников». Для создания нового элемента нажмите кнопку «Создать»:
Настройка элемента справочника «Схемы компоновки данных источников»
При настройке элемента справочника «Схемы компоновки данных источников» используются настройки из базы-источника. Для получения этих настроек, в форме нового элемента необходимо выбрать «Расположение схемы» и нажать кнопку «Импортировать из источника»:
Сделайте необходимые установки в мастере для импорта отчета:
выберите базу-источник;
выберите тип метаданных («Отчет» или «Справочники»);
выберите требуемый объект для импорта (настроенный на СКД отчет);
в открывшемся списке схем отчета, настроенного на СКД, выберите схему отчета для импорта (если нужно получать данные по нескольким схемам, для каждой схемы настройте отдельный элемент справочника «Схемы компоновки данных источников»);
выберите вариант настроенного на СКД отчета, (если нужно получать данные по нескольким вариантам отчета, для каждого варианта настройте отдельный элемент справочника «Схемы компоновки данных источников»).
В результате работы мастера по импорту настроек отчета из СКД:
будет автоматически заполнено «Наименование элемента справочника», оно компонуется из названия базы-источника, названия отчета и названия варианта отчета. Таким образом легко идентифицировать импортированные настройки;
будут загружены все настройки из выбранного отчета, выбранной схемы и выбранного варианта на закладах «Отбор», «Параметры», «Порядок», «Условное форматирование», «Поля», «Настройки»;
будут заполнены информационные поля на закладке «Дополнительно»:
Если в исходном отчете дополнительно к схеме есть настройки в виде программного кода, требуется установить флаг «Отчет требует инициализации» на закладке «Дополнительно». Сама инициализация, т.е. получение и запуск программного кода, будет происходить при исполнении отчета (получении данных).
В импортированные настройки можно вносить изменения: добавлять и группировать поля. При добавлении поля можно использовать вложенные данные до второго уровня вложенности. Например, «Организация.ИНН».
Сохраните элемент справочника и выберите его из списка в документе «Установка правил выгрузки».
Настройка правила на основе схемы источника
Настройка схемы компоновки данных:
на вкладке «Страница основная» выберите элемент справочника «Схема источника»;
набор параметров на вкладке «Настройка параметров» заполнится автоматически из настроек схемы отчета в выбранном элементе. Если в исходном варианте отчета на СКД в базе данных были внесены изменения в параметры, можно получить эти изменения при помощи кнопки «Обновить отчет» на вкладке «Страница основная».
Вкладка «SQL»:
поля запроса и выходные поля таблицы заполнены автоматически из настроек выбранного элемента справочника «Схемы компоновки данных источников»;
требуется заполнить типы полей.
На вкладке «Настройки представления полей» требуется указать, поля типа «ссылка» для автоматической генерации представления. При получении данных, ссылки будут заменены на строковые значения полей.
Остальные настройки аналогичны настройкам правила вида «Запрос».
Запуск правила вида «Схема источника» может быть только в автоматическом режиме через механизм «Состав выгрузки». Получить данные через сервис «Выгрузка в отчет» невозможно.
Ограничения при использовании СКД
Расположение схемы «База-источник»
Нельзя использовать СКД, у которых:
в настройках используется кросс-таблица;
в параметрах используются не примитивные типы (ссылки, массивы ссылок и т.п.);
есть набор данных — объект;
запросы в наборах данных требуют программной модификации / перезаполнения.
Расположение схемы «Локально в хранилище ETL»
Здесь действуют те же ограничения, что и в пп. 6.6.3.1, но так как схему можно изменить (создать с нуля), то эти ограничения можно обойти, например, вместо ссылок использовать код или наименование.
Для любых схем
Схему в ETL можно настраивать только в толстом клиенте.
Нельзя получить данные с видом правила «Схема источника» через агента ETL.
Особенности формирования схемы СКД:
Параметры для виртуальных таблиц следует указывать в фигурных скобках:
Период — для таблиц «СрезПоследних», «СрезПервых», «Остатки»;
НачалоПериода, КонецПериода — для таблиц «Обороты», «ОстаткиИОбороты».
Например:
ВЫБРАТЬ ИЗ
РегистрСведений.КурсыВалют.СрезПоследних({&ПараметрДата},
Валюта = &ПараметрВалюта)
В настройках схемы СКД следует, в общем случае, отключить вывод общих итогов по горизонтали и по вертикали.
