Процессы
Раздел «Процессы» предназначен для:
добавления новых процессов трансформации;
анализа данных;
просмотра информации о добавленных процессах.
Примечание
Процессы — это набор действий над исходными данными из одного или нескольких источников на основе SQL-кода.
Процессы предназначены для автоматического преобразования данных из источников в удобные для дальнейшей работы форматы.
Витрина данных — база данных, ориентированная на одно направление деятельности или тему.
Отличия процесса и витрины данных:
- Процесс:
Выполняет преобразование данных при ручном запуске или по расписанию.
Используется для ETL (Extract, Transform, Load) операций.
Позволяет использовать сложные вычисления и объединения данных источников.
- Витрина данных:
Конечный продукт обработки данных.
Подготовленные данные хранятся для анализа и отчетности.
Обновляется с помощью процессов, но сама по себе не выполняет преобразования данных.
Процесс включает:
Работа с SQL-запросами: Написание и оптимизация SQL-кода для выполнения необходимых операций.
Планирование выполнения: Настройка расписания выполнения процессов.
Интеграция с источниками данных: Подключение и извлечение данных из различных источников.
Важно понимать, что единовременный запуск большого количества процессов может повлиять на:
Производительность: Увеличение числа процессов может повлиять на производительность системы, требуя дополнительных ресурсов.
Управление: Трудности в управлении и мониторинге большого числа процессов.
Конфликты и ошибки: Вероятность возникновения конфликтов данных и ошибок при выполнении.
Рекомендация: переносите не используемые процессы в архив для снижения нагрузки.
Раздел «Процессы» состоит из:
Строки поиска (1) - поиск процессов по названию.
Кнопки Добавить процесс (2) - добавление нового процесса.
Рабочей области с карточками добавленных процессов (3).
В карточке процесса отображается:
Название процесса
- Состояние - текущий статус процесса:
Активный (Active): Процесс готов к выполнению.
Выполняется (Running): Процесс выполняется.
Черновик (Draft): Процесс в разработке.
В архиве: Процесс перенесен в архив и не выполняется.
Источники процесса - названия задействованных в процессе источников;
- Описание процесса - текстовое поле, где автор процесса указывает цель, функции и важные детали процесса.
Заполняется при создании или редактировании процесса.
Используется для документации и понимания контекста процесса другими пользователями.
Помогает определить, что делает процесс, какие данные использует.
Действия (действия доступные для каждого состояния процесса приведены в таблице ниже).
Действие |
Состояние процесса |
||||
---|---|---|---|---|---|
Draft |
Running |
Active |
В архиве |
||
Настройка процесса |
+ |
+ |
+ |
+ |
|
Запустить |
- |
- |
+ |
- |
|
Редактировать |
+ |
- |
- |
- |
|
Архивировать |
- |
- |
+ |
- |
|
Разархивировать |
- |
- |
- |
+ |