Загрузка файлов csv и xlsx

  5 минутное чтение  

Функциональность загрузки файлов дает возможность загрузить данные сформированные и / или обработанные вручную в Excel или данные текстовых файлов «CSV» в таблицу хранилища данных. Чтобы загрузка прошла успешно к содержанию и названию файлам предъявляются обязательные требования:

  • Заголовки столбцов в загружаемых таблицах не должны содержать управляющие спецсимволы:
    • «;»;
    • «&»;
    • переход на новую строку;
  • Данные в загружаемых таблицах должны быть отформатированы в соответствии с составом данных и содержать однородную информацию в столбцах:
    • текст;
    • число;
    • дата;
  • В наборах данных не должно быть пустых строк и столбцов.

1. Мастер загрузки

Доступ к сервису осуществляется через меню: «Главное» / «Сервис» / «Загрузка файла в БД (мастер настройки)»:

Порядок работы:

  • двигайтесь по шагам мастера;
  • пока не выполнены условия для перехода на следующий шаг, перейти дальше нельзя;
  • можно возвращаться на предыдущие шаги и изменять введенные настройки загрузки, а потом продолжать настройки;
  • в любой момент можно остановить настройку с помощью мастера, при этом уже сделанные настройки не сохранятся;
  • по окончании настройки можно сохранить сделанные настройки и использовать их для последующих загрузок из файлов аналогичной структуры.

Шаг 1 «Выберите исходный файл и место назначения данных»:

  • укажите, требуется ли выгружать данные (см. рисунок выше, 1);
  • выберите базу данных-приемник (см. рисунок выше, 2);
  • выберите в новую или существующую таблицу должны загрузиться данные (см. рисунок выше, 3);
  • если был выбран вариант загрузки в существующую таблицу, укажите таблицу выгрузки (вручную или выбрав из списка) (см. рисунок выше, 4);
  • выберите тип файла (см. рисунок выше, 5);
  • выберите файл для загрузки (см. рисунок выше, 6);
  • когда выбран файл и приемник, становится доступна кнопка «Далее» (см. рисунок выше, 7), которая переводит процесс на следующий шаг.

Шаг 2 «Выберите лист»:

  • по умолчанию для загрузки предлагается первый лист в файле, можно выбрать другой лист (см. рисунок выше, 1);
  • после выбора листа можно просмотреть данные, которые на нем находятся и убедиться, что лист выбран правильно (см. рисунок выше, 2);
  • если все верно, переходите на следующий шаг кнопка «Далее» (см. рисунок выше, 3).

Шаг 3 «Настройте диапазон загрузки»:

  • уточните, где на выбранном листе находится строка заголовка (см. рисунок выше, 1);
  • начало и окончание диапазона загрузки (см. рисунок выше, 2 и 3);
  • количество строк предпросмотра на экране ограничено значением 50, так как чем больше строк нужно отобразить, тем дольше будет работать мастер. При необходимости можно увеличить количество строк предпросмотра вручную (см. рисунок выше, 4), строки предпросмотра отображаются (см. рисунок выше, 6);
  • включенный флаг «Распространить значение в объединенных ячейках» означает, что при наличии в выбранном диапазоне объединенных ячеек, мастер разделит их и все заполнит текущим значением, если флаг выключить (см. рисунок выше, 5);
  • если все настроено верно, переходите на следующий шаг, нажав кнопку «Далее» (см. рисунок выше, 7).

Шаг 4 «Соответствие исходных данных и таблицы-приемника»:

  • выбирайте в области предпросмотра нужный столбец, нажимая на его заголовок (см. рисунок выше, 1);
  • проверьте правильность предложенного системой названия поля, при необходимости измените его (см. рисунок выше, 2);
  • проверьте правильность предложенного системой типа данных, при необходимости измените его (см. рисунок выше, 3);
  • если столбец загружать не нужно, то установите переключатель «Импортировать поле» в положение «Нет» (см. рисунок выше, 4);
  • если все столбцы настроены верно, переходите на следующий шаг, нажав кнопку «Далее» (см. рисунок выше, 5).

Шаг 5 «Проверьте структуру новой таблицы»:

  • проверьте получившуюся структуру перед загрузкой данных, при необходимости можно поменять названия поле и тип данных (см. рисунок выше, 1);
  • если структура данных настроена верно, переходите на следующий шаг, нажав кнопку «Далее» (см. рисунок выше, 2).

Шаг 6 «Введите название таблицы и запустите процесс»:

  • введите название таблицы-приемника (см. рисунок выше, 1);
  • флаг «Сохранить ошибки при загрузке строк из файла» включает запись ошибок (см. рисунок выше, 2);
  • если все настроено верно, запустите процесс загрузки, нажав кнопку «Далее» (см. рисунок выше, 3).

2. Настройка загрузки вручную

Доступ к сервису через начальную страницу или через меню: «Главное» / «Сервис» / «Загрузка файла в SQL»:

Порядок работы:

  • на закладке «Основная» — выбрать файл для загрузки (см. рисунок выше, 1);

  • нажать кнопку «1. Проанализировать файл». При этом заполнится табличная часть со списком полей таблицы (см. рисунок выше, 2);

  • в табличной части при необходимости возможно отредактировать «Наименование», «Тип» и «Длину поля в создаваемой SQL-таблице» (см. рисунок выше, 3);

  • на вкладке «Пред. просмотр» возможно посмотреть, как будет выглядеть таблица:

  • заполнить параметры на закладке «Все настройки»:

  • «База данных», «Имя таблицы», «Режим записи в SQL» (см. рисунок выше, 1);

  • параметры файла, в зависимости от типа (см. рисунок выше, 2, 4);

  • прочие настройки (см. рисунок выше, 3);

  • вернуться на закладку «Основная» нажать кнопку «Создать таблицу SQL». Если все верно, выведется сообщение о создании таблицы, иначе — описание ошибки;

  • нажать кнопку «Загрузить данные в SQL» (вкладка «Основная»). Данные из файла запишутся в SQL-таблицу.

3. Особенности использования «ADO-ODBC»

В ETL есть возможность использования «ADO-ODBC» для загрузки данных файлов.

Примечание: для использования «ADO-ODBC», необходимы соответствующие драйвера.

Для таких источников, со способом подключения «ADODB», в правилах выгрузки используется вид правила «Запрос» и формируется обычный SQL-запрос. Из особенностей можно выделить только описание секции FROM в запросе:

  • для файлов «XLSX» и «XLS» в секции FROM указывается имя листа, из которого получаются данные в формате ИмяЛиста$. Например, для листа «Лист1» секция FROM будет выглядеть как FROM [Лист1$];
  • для файлов «CSV» в секции FROM указывается имя файла. Например, SELECT * FROM datafile.csv.

При получении данных через «ADO-ODBC», есть возможность использовать Агента ETL:

  • для Windows — опционально.
  • для Unix-подобных систем — обязательно.

Для использования Агента ETL необходимо выбрать его в составе выгрузки на вкладке «Дополнительно»: