Дополнительные возможности. Часть 1

  6 минутное чтение  

1. Загрузка файлов БД

Функциональность загрузки файлов дает возможность загрузить данные сформированные и/или обработанные вручную в Excel или данные текстовых файлов CSV в таблицу хранилища данных. Чтобы загрузка прошла успешно к содержанию и названию файлам предъявляются обязательные требования:

  • Заголовки столбцов в загружаемых таблицах не должны содержать управляющие спецсимволы:
    • ;
    • &
    • Переход на новую строку
  • Данные в загружаемых таблицах должны быть отформатированы в соответствии с составом данных и содержать однородную информацию в столбцах:
    • Текст
    • Число
    • Дата
  • В наборах данных не должно быть пустых строк и столбцов.

1.1. Мастер загрузки

Доступ к сервису: «Меню: Главное \ Сервис \ Загрузка файла в БД (мастер настройки)» (см. Рисунок 1)

Рисунок 1. Загрузка файла в БД с помощью мастера

Порядок работы:

  • двигайтесь по шагам мастера;
  • пока не выполнены условия для перехода на следующий шаг, перейти дальше нельзя;
  • можно возвращаться на предыдущие шаги и изменять введенные настройки загрузки, а потом продолжать настройки;
  • в любой момент можно остановить настройку с помощью мастера, при этом уже сделанные настройки не сохранятся;
  • по окончании настройки можно сохранить сделанные настройки и использовать их для последующих загрузок из файлов аналогичной структуры.

Шаг 1 «Выберите исходный файл и место назначения данных»:

  • Укажите, требуется ли выгружать данные (см. Рисунок 2, 1 ).
  • Выберите базу данных-приемник (см. Рисунок 2, 2 ).
  • Выберите в новую или существующую таблицу должны загрузиться данные (см. Рисунок 2, 3 ).
  • Если был выбран вариант загрузки в существующую таблицу, укажите таблицу выгрузки (вручную или выбрав из списка) (см. Рисунок 2, 4 ).
  • Выберите тип файла (см. Рисунок 2, 5 ).
  • Выберите файл для загрузки (см. Рисунок 2, 6 ).
  • Когда выбран файл и приемник, становится доступна кнопка [Далее] (см. Рисунок 2, 6 ), которая переводит процесс на следующий шаг.

Рисунок 2. Шаг 1 – выбор файла для загрузки и место назначения данных

Шаг 2 «Выберите лист»:

  • По умолчанию для загрузки предлагается первый лист в файле, можно выбрать другой лист (см. Рисунок 3, 1 );
  • После выбора листа можно просмотреть данные, которые на нем находятся и убедиться, что лист выбран правильно (см. Рисунок 3, 2 );
  • Если все верно, переходите на следующий шаг кнопка [Далее] (см. Рисунок 3, 3 ).

Рисунок 3. Шаг2 – Выбор листа в файле

Шаг 3 «Настройте диапазон загрузки»:

  • Уточните, где на выбранном листе находится строка заголовка (см. Рисунок 4, 1 );
  • Начало и окончание диапазона загрузки (см. Рисунок 4, 2 и 3 );
  • Количество строк предпросмотра на экране ограничено значением 50, т.к. чем больше строк нужно отобразить, тем дольше будет работать мастер. При необходимости можно увеличить количество строк предпросмотра вручную (см. Рисунок 4, 4 ), строки предпросмотра отображаются в зоне 6 см. Рисунок 4;
  • Включенный флаг «Распространить значение в объединенных ячейках» означает, что при наличии в выбранном диапазоне объединенных ячеек, мастер разделит их и все заполнит текущим значением, если флаг выключить … (см. Рисунок 4, 5 );
  • Если все настроено верно, переходите на следующий шаг, нажав кнопку [Далее] (см. Рисунок 4, 7 ).

Рисунок 4. Шаг 3 – Настройка диапазона загрузки

Шаг 4 Соответствие исходных данных и таблицы-приемника

  • Выбирайте в области предпросмотра нужный столбец, нажимая на его заголовок (см. Рисунок 5, 1 );
  • Проверьте правильность предложенного системой названия поля, при необходимости измените его (см. Рисунок 5, 2 );
  • Проверьте правильность предложенного системой типа данных, при необходимости измените его (см. Рисунок 5, 3 );
  • Если столбец загружать не нужно, то установите переключатель «Импортировать поле» в положение «Нет» (см. Рисунок 5, 4 );
  • Если все столбцы настроены верно, переходите на следующий шаг, нажав кнопку [Далее] (см. Рисунок 5, 5 ).

Рисунок 5. Шаг 4 – Настройка соответствия полей источника и таблицы-приемника

Шаг 5 – Проверьте структуру новой таблицы

  • Проверьте получившуюся структуру перед загрузкой данных, при необходимости можно поменять названия поле и тип данных (см. Рисунок 6, 1 );
  • Если структура данных настроена верно, переходите на следующий шаг, нажав кнопку [Далее] (см. Рисунок 6, 2 ).

Рисунок 6. Шаг 5 – проверка структуры таблицы перед загрузкой

Шаг 6 – Запустите процесс загрузки данных

  • Введите название таблицы-приемника (см. Рисунок 7, 1);

Флаг «Сохранить ошибки при загрузке строк из файла» включает запись ошибок (см. Рисунок 7, 2 );

Если все настроено верно, запустите процесс загрузки, нажав кнопку [Далее] (см. Рисунок 7, 3 ).

Рисунок 7. Шаг 6 – запуск процесса загрузки данных

1.2. Настройка загрузки вручную

Доступ к сервису через Начальную страницу (см. Рисунок 8) или через «Меню: Главное \ Сервис \ Загрузка файла в SQL».

Рисунок 8. Загрузка файла в SQL

Порядок работы:

  • На закладке «Основная» - выбрать файл для загрузки; (см.Рисунок 9, 1 )
  • Нажать кнопку [1.Проанализировать файл]. При этом заполнится табличная часть со списком полей таблицы (см.Рисунок 9, 2 );
  • В табличной части при необходимости возможно отредактировать «Наименование», «Тип» и «Длину поля в создаваемой SQL-таблице» (см.Рисунок 9, 3 );
  • На вкладке «Пред. просмотр» возможно посмотреть, как будет выглядеть таблица (см. Рисунок 10);
  • Заполнить параметры на закладке «Все настройки» (см. Рисунок 11);
    • «База данных», «Имя таблицы», «Режим записи в SQL» (см. Рисунок 11, 1 );
    • Параметры файла, в зависимости от типа (см. Рисунок 11, 2 , 4);
    • Прочие настройки (см. Рисунок 11, 3 )
  • Вернуться на закладку «Основная» нажать кнопку [Создать таблицу SQL] (см. Рисунок 9, 4 ). Если все верно, выведется сообщение о создании таблицы, иначе – описание ошибки.
  • Нажать кнопку [Загрузить данные в SQL] (см. Рисунок 9, 5 ). Данные из файла запишутся в SQL-таблицу.

Рисунок 9. Вкладка «Основная»

Рисунок 10. Вкладка «Пред. просмотр»

Рисунок 11. Вкладка «Все настройки»

1.3. Особенности использования ADO-ODBC

В ETL есть возможность использования ADO – ODBC для загрузки данных файлов.

Примечание. Для использования ADO – ODBC, необходимы соответствующие драйвера.

Особенности настройки Базы данных и требования к файлам описаны в [этом разделе](../5. Управление источниками данных/index.md#34-настройка-подключения-к-источнику-типа-файл).

Для таких источников, со способом подключения ADODB, в правилах выгрузки используется вид правила «Запрос» и формируется обычный SQL-запрос. Из особенностей можно выделить только описание секции FROM в запросе:

  • Для файлов XLSX и XLS в секции FROM указывается имя листа, из которого получаются данные в формате [ИмяЛиста$]. Например, для листа «Лист1» секция FROM будет выглядеть «FROM [Лист1$]».
  • Для файлов CSV в секции FROM указывается имя файла. Например, «SELECT \* FROM datafile.csv»

При получении данных через ADO – ODBC, есть возможность использовать Агента ETL:

  • Для Windows – опционально.
  • Для unix-подобных систем – обязательно.

Для использования Агента ETL необходимо выбрать его в Составе выгрузки на вкладке «Дополнительно» (см. Рисунок 12).

Рисунок 12. Использование Агента ETL.

Отчеты по ETL

Для проверки доступности Агентов ETL и Баз данных, существует специальный отчет. Расположение в меню: «Главное \ Логи \ Отчеты по ETL\ Доступность баз данных» (Рисунок 13).

Рисунок 13. Доступ к отчету «Доступность баз данных»

В отчете необходимо выбрать проверяемые объекты и нажать сформировать, начнется проверка доступности объектов (Рисунок 14).

Рисунок 14. Запуск формирования отчета

После окончания проверки, в отчете отобразяться проверяемые объекты со статусом подключения (Рисунок 15).

Рисунок 15. Сформированный отчет