Процессы

Раздел «Процессы» предназначен для:

  • добавления новых процессов трансформации;

  • анализа данных;

  • просмотра информации о добавленных процессах.

Примечание

Процессы — это набор действий над исходными данными из одного или нескольких источников на основе SQL-кода.

Процессы предназначены для автоматического преобразования данных из источников в удобные для дальнейшей работы форматы.

Витрина данных — база данных, ориентированная на одно направление деятельности или тему.

Отличия процесса и витрины данных:

  • Процесс:
    • Выполняет преобразование данных при ручном запуске или по расписанию.

    • Используется для ETL (Extract, Transform, Load) операций.

    • Позволяет использовать сложные вычисления и объединения данных источников.

  • Витрина данных:
    • Конечный продукт обработки данных.

    • Подготовленные данные хранятся для анализа и отчетности.

    • Обновляется с помощью процессов, но сама по себе не выполняет преобразования данных.

Процесс включает:

  • Работа с SQL-запросами: Написание и оптимизация SQL-кода для выполнения необходимых операций.

  • Планирование выполнения: Настройка расписания выполнения процессов.

  • Интеграция с источниками данных: Подключение и извлечение данных из различных источников.

Важно понимать, что единовременный запуск большого количества процессов может повлиять на:

  • Производительность: Увеличение числа процессов может повлиять на производительность системы, требуя дополнительных ресурсов.

  • Управление: Трудности в управлении и мониторинге большого числа процессов.

  • Конфликты и ошибки: Вероятность возникновения конфликтов данных и ошибок при выполнении.

Рекомендация: переносите не используемые процессы в архив для снижения нагрузки.

Раздел «Процессы» состоит из:

  1. Строки поиска (1) - поиск процессов по названию.

  2. Кнопки Добавить процесс (2) - добавление нового процесса.

  3. Рабочей области с карточками добавленных процессов (3).

В карточке процесса отображается:

  • Название процесса

  • Состояние - текущий статус процесса:
    • Активный (Active): Процесс готов к выполнению.

    • Выполняется (Running): Процесс выполняется.

    • Черновик (Draft): Процесс в разработке.

    • В архиве: Процесс перенесен в архив и не выполняется.

  • Источники процесса - названия задействованных в процессе источников;

  • Описание процесса - текстовое поле, где автор процесса указывает цель, функции и важные детали процесса.
    • Заполняется при создании или редактировании процесса.

    • Используется для документации и понимания контекста процесса другими пользователями.

    • Помогает определить, что делает процесс, какие данные использует.

  • Действия (действия доступные для каждого состояния процесса приведены в таблице ниже).

Действие

Состояние процесса

Draft

Running

Active

В архиве

settings

Настройка процесса

+

+

+

+

run

Запустить

-

-

+

-

edit

Редактировать

+

-

-

-

archiv

Архивировать

-

-

+

-

unarchiv

Разархивировать

-

-

-

+