Настройка потоков интеграции

Блок предназначен для настройки коннекторов, которые используются для формирования потоков интеграции.

Примечание

Поток интеграции – это процесс потоковой передачи данных между источником и сырым слоем данных.

Коннекторы подразделяются на 2 типа:

  • Source-коннектор - компонент интеграции, который позволяет считывать и извлекать данные из выбранных ранее источников.

  • Sink-коннекторы - компонент интеграции, который отправляет извлеченные из источников данные в сырой слой.

Настройка потоков интеграции

Для перехода к блоку нажмите Параметры интеграции -> Потоки интеграции SOURCE/SINK.

Переход в блок Настройка потоков интеграции

Справа отобразится блок Настройки потоков интеграции SOURCE/SINK коннекторов.

Блок Настройка потоков интеграции

Блок настройки потоков интеграции содержит:

  1. Кнопку Подобрать для автоматического подбора оптимальных настроек SOURCE/SINK-коннекторов.

    Примечание

    Кнопка Подобрать отображается, если:

    1. При создании интеграции был выбран чек-бокс «Выбор шаблона».

    2. Для выбранного шаблона доступен подбор коннекторов.

  2. Блок, содержащий созданные SOURCE-коннекторы и SINK-коннекторы.

Для создания SOURCE/SINK-коннекторов используйте:

Конфигурация SOURCE-коннекторов

Конфигурация SOURCE-коннекторов

Содержит:

  1. Название SOURCE-коннектора.

  2. Статус SOURCE-коннектора.

  3. Доступные действия:

    • run Запустить.

    • stop Остановить.

    • edit Редактировать.

    • basket Удалить.

  4. Название источника.

  5. Таблицы источника.

Примечание

Если SOURCE-коннектор в статусе не «Черновик» отображаются дополнительные поля:

  1. Время обновления статуса.

  2. Статус заявки на обновление статуса коннектора.

  3. Таблицы источника.

    Если были изменения в списке таблиц SOURCE-коннектора:

    • Для добавленных и удаленных таблиц отображаются их признаки примененности.

    • У коннектора появляется пометка Требуется перезапуск.

Дополнительные поля SOURCE-коннектора

Примечание

Если пользователь нажал кнопку Обновить статусы коннекторов справа от статуса коннектора отображается значок обновления статуса update_status_connector.

Кнопка обновить статусы коннекторов

Конфигурация SINK-коннекторов

Конфигурация SINK-коннекторов

Содержит:

  1. Название SINK-коннектора.

  2. Статус SINK-коннектора.

  3. Доступные действия:

    • run Запустить.

    • stop Остановить.

    • edit Редактировать.

    • basket Удалить.

  4. Таблицы основного источика.

  5. Количество тасков (задач).

    Примечание

    Параметр отвечает за распределение нагрузки при передаче данных в сырой слой.

    Каждая задача представляет собой отдельный поток, который обрабатывает часть данных. По умолчанию - 1.

Примечание

Если SINK-коннектор в статусе не «Черновик» отображаются дополнительные поля:

  1. Время обновления статуса.

  2. Статус заявки на обновление статуса коннектора.

Дополнительные поля SINK-коннектора

Внимание

В одном SINK-коннекторе можно выбрать все непартиционированные таблицы или одну партиционированную таблицу.