Настройка Правил загрузки данных

7 минутное чтение

Чтобы из ранее созданного подключения к источнику данных загрузить данные в облачное хранилище Modus BI Cloud, необходимо создать правило загрузки данных.

Правило загрузки данных — это механизм, в котором пользователь указывает, какие именно данные и из какого подключения к источнику данных необходимо загрузить в облачное хранилище Modus BI Cloud.

На основании одного и того же подключения к источнику пользователь может создать несколько правил загрузки данных. Такая возможность позволяет получать различные разрезы данных из одного источника (например, данные из разных листов Excel-файла, или загружать разные диапазоны строк, или использовать разные запросы к СУБД и 1С).

В правиле загрузки данных пользователь управляет следующими настройками загружаемых данных:

из какого подключения к источнику данных загружать данные;
из какого листа подключения следует загрузить данные (для Excel-файлов);
из каких строк следует загружать данные (для Excel-файлов и Google Sheets);
какой SQL-запрос для получения данных использовать (для СУБД);
какой 1С-запрос для получения данных использовать (для 1C);
с какой периодичностью автоматически загружать данные (для СУБД и 1С);
какие поля данных загружать, а какие нет;
какие имена полей указать при загрузке;
какие типы данных полей указать при загрузке;
какую длину и точность использовать для числовых полей.

Чтобы создать новое правило загрузки данных, следует на Аналитическом портале Modus BI Cloud перейти в раздел «Настройки»:

Далее в открывшемся окне в левой части экрана следует выбрать вкладку «Правила загрузки данных»:

На основной рабочей области экрана будет список имеющихся правил загрузки данных. Если правил загрузки данных еще нет, то на основной рабочей области экрана отображается надпись: «Ни одного правила загрузки данных не найдено». Чтобы создать новое правило загрузки данных, нажимаем на кнопку «Добавить правило» в правом верхнем углу экрана.

Появится всплывающее окно выбора подключения к источнику, на основании которого будет создано Правило загрузки данных. Чтобы найти нужное подключение можно воспользоваться строкой «Поиск» или сортировкой по «Наименованию» и «Типу». При создании правила загрузки данных можно выбрать только одно подключение к источнику. Нажимаем на нужное наименование подключения:

В результате на основной рабочей области экрана открывается форма «Правила загрузки данных». Форма состоит из двух вкладок:

«Основные настройки»;
«Настройка полей».

Вкладка «Основные настройки»

На вкладке «Основные настройки» в верхней части рабочей области экрана расположены различные поля для настройки. Они отличаются в зависимости от выбранного типа подключения (Excel-файл, Google Sheets, СУБД, 1С).

В нижней части рабочей области экрана расположена таблица превью.

Excel-файл

На вкладке «Основные настройки» для Excel-файла расположены следующие поля:

«Наименование»;
«Подключение» (не доступно для редактирования);
«Лист» (выбор из выпадающего списка);
«Строка заголовка» (указываем номер строки с заголовками);
«Импортировать строки с __ по __» (диапазон строк с данными для загрузки):

В нижней части экрана находится таблица превью, где отображаются первые 10 строк из Excel-файла (в которых есть какие-либо значения).

Чтобы настроить правило загрузки данных из Excel-файла нужно:

указать наименование правила загрузки данных (нельзя сохранить правило загрузки данных без какого-либо наименования);
выбрать из выпадающего списка необходимый рабочий лист Excel-файла для загрузки данных;
указать номер строки, которую следует использовать в качестве заголовка (по умолчанию указана строка 1);
указать диапазон строк для загрузки (по умолчанию автоматом указывается начало диапазона: строка заголовка +1; конец диапазона: без ограничения).

Google Sheets

На вкладке «Основные настройки» для Google Sheets расположены следующие поля:

«Наименование»;
«Подключение» (не доступно для редактирования);
«Лист» (выбор из выпадающего списка);
«Строка заголовка» (указываем номер строки с заголовками);
«Импортировать строки с __ по __» (диапазон строк с данными для загрузки):

В нижней части экрана находится таблица превью, где отображаются первые 10 строк из Google Sheets (в которых есть какие-либо значения).

Чтобы настроить правило загрузки данных из Google Sheets нужно:

указать наименование правила загрузки данных (нельзя сохранить правило загрузки данных без какого-либо наименования);
выбрать из выпадающего списка необходимый рабочий лист Google Sheets для загрузки данных;
указать номер строки, которую следует использовать в качестве заголовка (по умолчанию указана строка 1);
указать диапазон строк для загрузки (по умолчанию автоматом указывается начало диапазона: строка заголовка +1; конец диапазона: без ограничения).

СУБД

На вкладке «Основные настройки» для СУБД (ClickHouse, PostgreSQL, Vertica, MS SQL Server) расположены следующие поля:

«Наименование»;
«Подключение» (не доступно для редактирования);
«Текст запроса».

Чтобы настроить правило загрузки данных для СУБД (ClickHouse, PostgreSQL, Vertica, MS SQL Server) нужно:

Указать наименование правила загрузки данных (нельзя сохранить правило загрузки данных без какого-либо наименования);
Указать текст запроса (используется синтаксис SQL-запроса для соответствующей СУБД — ClickHouse, PostgreSQL, Vertica или MS SQL Server).

В нижней части экрана находится таблица превью, где отображаются первые 10 строк. Таблица превью отображается после заполнения поля «Текст запроса».

При нажатии на поле «Текст запроса» открывается всплывающее окно, в котором необходимо указать SQL-запрос для получение данных:

1С

На вкладке «Основные настройки» для 1С расположены следующие поля:

«Наименование;
«Подключение» (не доступно для редактирования);
«Текст запроса».

Чтобы настроить правило загрузки данных из 1С нужно:

указать наименование правила загрузки данных (нельзя сохранить правило загрузки данных без какого-либо наименования);
указать текст запроса (используется синтаксис запросов 1С).

При нажатии на поле «Текст запроса» открывается всплывающее окно, в котором необходимо указать запрос 1С для получение данных.

Вкладка «Настройка полей»

На вкладке «Настройка полей» в верхней части рабочей области экрана расположена таблица настройки полей. Она одинакова для всех типов подключения (Excel-файл, Google Sheets, СУБД, 1С). В ней осуществляются необходимые настройки полей. В нижней части рабочей области экрана расположена таблица превью.

В таблице настройки полей можно настроить следующие параметры:

«Имя поля» (указанное имя поля будет использоваться в Простом наборе данных);
«Тип поля» (в выпадающем списке можно выбрать доступные варианты);
«Длина числового поля» (количество знаков до запятой);
«Точность числового поля» (количество знаков после запятой);
Выбрать поля, которые не нужно загружать в Облачное хранилище и не нужно использовать в Простом наборе данных.

При уменьшении точности числового поля, происходит математическое округление дробной части числового значения до выбранного количества знаков после запятой.

Если в таблице настройки полей указать длину числового поля меньше, чем максимальное количество знаков до запятой (максимальная длина целой части) в соответствующем столбце Excel-файла, то при загрузке данных число не поместится в таблицу хранилища и Аналитический портал выдаст ошибку. В таком случае необходимо увеличить длину числового поля и повторно сохранить правило загрузки данных.

Сохранение «Правила загрузки данных»

После того, как все необходимые поля на вкладке «Основные настройки» и «Настройки полей» заполнены, нажимаем на кнопку «Сохранить».

В списке правил загрузки данных появится только что созданная запись. В правом нижнем углу будет всплывающее сообщение: «Правило успешно добавлено. Набор данных успешно создан»:

При сохранении правила загрузки данных автоматически происходит загрузка данных в облачное хранилище, а также создается Простой набор данных, на основании которого можно создавать отчеты или моставные наборы данных.

Поиск существующего правила загрузки данных

Когда в списке правил загрузки данных имеется много записей, можно воспользоваться поиском. Для этого достаточно в правом верхнем углу в поле «Поиск» указать нужную комбинацию символов (букв или цифр). В результате в списке правил загрузки данных останутся только релевантные записи. Поиск осуществляется одновременно среди следующих столбцов:

«ID»;
«Правило»;
«Подключение»;
«Автор»;
«Дата».

Поиск не чувствителен к регистру (т.е. в строке поиска можно указывать символы в верхнем или нижнем регистре — поиск будет работать в любом случае).

Также для поиска нужного правила загрузки данных можно воспользоваться возможностью сортировки списка правил по столбцам «Правило», «Подключение», «Тип» или «Автор». Для этого следует нажать на маленькие символы треугольников рядом с соответствующими заголовками. Можно устанавливать сортировку одновременно по нескольким полям по порядке выбранной очередности.

Редактирование существующего правила загрузки данных

При необходимости можно открыть ранее созданное правило загрузки данных, нажав на его наименование.

В открывшейся форме «Правила загрузки данных» можно внести необходимые изменения и затем нажать на кнопку «Обновить»:

После нажатия на кнопку «Обновить» происходит обновление данных, загруженных в облачное хранилище, а также обновляется соответствующий Простой набор данных.

Удаление существующего правила загрузки данных

При необходимости можно удалить ранее созданное правило загрузки данных, нажав на пиктограмму «Корзина» в списке правил.

Перед удалением правила загрузки данных следует убедиться, что созданные на его основании другие объекты (простые наборы данных, составные наборы данных) ранее уже были удалены.

После нажатия на пиктограмму «Корзина» отобразится всплывающее окно для подтверждения выбранного действия: «Вы действительно хотите удалить это правило?». Для подтверждения действия следует нажать на кнопку «Удалить». Если нет необходимости удалять выбранное правило загрузки данных, то следует нажать на кнопку «Отмена».