Расширение позволяет установить верхний предел количества кортежей, отправляемых от узлов сканирования к верхним узлам. Например, узел SeqScan может передавать не более 100 кортежей в секунду к верхним узлам.

Ограничение устанавливается как количество кортежей, возвращаемых узлом сканирования в секунду. Поддерживаемые ScanNodes:

Также поддерживаются другие операторы DML, которые могут изменять таблицу. Например, INSERT, UPDATE, DELETE, но только если указано предложение RETURNING.

Существуют 2 режима работы для ограничения скорости:

Скорость ограничения измеряется как количество кортежей, возвращаемых соответствующим узлом за 1 секунду. Расширение отслеживает только количество кортежей, и если оно превышает лимит (менее чем за 1 секунду), оно просто спит оставшееся время. Например, время ограничения составляет 100 (100 кортежей в секунду):

Расширение должно быть загружено с использованием session_preload_libraries. Во время загрузки оно обращается к своей таблице конфигурации (см. ниже) и устанавливает хуки, если необходимо. Добавьте расширение в postgresql.conf

# postgresql.conf
session_preload_libraries = 'pg_throttle'

Наконец, запустите БД и создайте расширение:

CREATE EXTENSION pg_throttle;

Установите расширение, как обсуждалось в разделе настройки.

После этого вы можете захотеть ограничить себя, чтобы протестировать расширение. Выполните это:

CREATE TABLE tbl(
    value int
);
INSERT INTO tbl SELECT * FROM generate_series(1, 200);
SELECT throttle_user_per_node_all(current_user, 100);

Теперь этот пользователь (которого вы используете для входа) будет ограничен. Выйдите, войдите снова и выполните этот запрос:

SELECT * FROM tbl;

Продолжительность запроса должна составлять около 2 секунд: 200 кортежей / 100 кортежей в секунду = 2 секунды задержки.

Расширение позволяет назначать фоновые процессы в предварительно созданную Cgroup версии 2 (группа управления версии 2). Используя скрипт pg_throttle_setup_cgroup.sh, вы можете создать и настроить группу управления с указанными ограничениями. После установки этого расширения скрипт будет находиться в каталоге share/postgresql/extension/pg_throttle_setup_cgroup.sh.

Скрипт позволяет настроить следующие ограничения:

Вы можете узнать больше обо всех параметрах скрипта с помощью --help.

Чтобы создать контрольную группу без ограничений ttcg, выполните команду:

sudo ./pg_throttle_setup_cgroup.sh --group-name "ttcg"

Creating new cgroup 'ttcg'...
Group 'ttcg' configured with parameters:
 cpu.max      = max 100000
 cpu.weight   = 100
 memory.max   = max
 pids.max     = max
 cpuset.cpus  = 
 io.max       = 

Чтобы установить предел потребления ЦП на 50% для этой контрольной группы, выполните команду:

sudo ./pg_throttle_setup_cgroup.sh --group-name "ttcg" --update --cpu-max-percent 50

Group 'ttcg' exists. Updating specified parameters...
Group 'ttcg' configured with parameters:
 cpu.max      = 800000 100000
 cpu.weight   = 100
 memory.max   = max
 pids.max     = max
 cpuset.cpus  = 
 io.max       = 

Вы можете аналогичным образом установить или обновить другие ограничения для контрольной группы.

Формат ограничений ввода-вывода предоставляет два варианта для указания:

В первом случае вы можете указать путь к PGDATA каталогу или путь к tablespace каталогу, а затем значения ограничений ввода-вывода (параметры разделяются символом :).

Во втором случае вы можете указать основной и второстепенный номера блочного устройства, на котором находится директория PGDATA или директория tablespace, а затем значения ограничений ввода-вывода (параметры разделяются символом :)

При указании пути к директории PGDATA или директории tablespace, скрипт попытается автоматически определить основной и второстепенный номера блочного устройства, на котором расположены эти директории. API Cgroup требует указания основного и второстепенного номеров блочного устройства для установки ограничений на ввод-вывод, скрипт помогает упростить определение номеров блочного устройства, предоставляя возможность указать только путь к нужной директории.

Чтобы получить настройки Cgroup в формате параметров скрипта, выполните команду:

sudo ./pg_throttle_setup_cgroup.sh --group-name "ttcg" --show

Cgroup settings for group 'ttcg':
--cpu-max-percent -1
...

Чтобы сбросить все настройки Cgroup, выполните команду:

sudo ./pg_throttle_setup_cgroup.sh --group-name "ttcg" --show

Resetting all limits in group 'ttcg'...

Чтобы удалить Cgroup, выполните команду:

sudo ./pg_throttle_setup_cgroup.sh --group-name "ttcg" --delete

Group 'ttcg' deleted

Чтобы процессы бэкенда, выполняющие запросы конкретного пользователя, автоматически назначались Cgroup, вам нужно вызвать функцию throttle_user_cgroup, где вы указываете имя пользователя и имя Cgroup:

SELECT throttle_user_cgroup('analytics', 'ttcg');

Важно знать, что после перезапуска операционной системы требуемая Cgroup будет удалена. Чтобы автоматически создать требуемую Cgroup, вы можете создать unit systemd, который создаст требуемую Cgroup при запуске операционной системы.

Пример шаблона системной единицы systemd можно найти в pg-throttle-cgroup.service.

На основе шаблона unit-файла systemd, вам нужно создать ссылку на шаблон:

sudo systemctl link ./pg-throttle-cgroups@.service

Шаблон unit-файла systemd принимает параметр, который указывает имя Cgroup. Чтобы создать службу systemd, которая будет воссоздавать Cgroup ttsg при запуске операционной системы, необходимо выполнить команду:

sudo systemctl enable pg-throttle-cgroups@ttcg.service
sudo systemctl start pg-throttle-cgroups@ttcg.service

Проверьте результат запуска службы systemd:

sudo systemctl status pg-throttle-cgroups@ttcg.service

Если вам нужно удалить эту службу systemd и ссылку на шаблон единицы, вам нужно выполнить команду:

sudo systemctl disable pg-throttle-cgroup@ttcg.service
sudo systemctl daemon-reload

Остановка или удаление службы systemd не удаляет созданную Cgroup. Чтобы удалить Cgroup, вам нужно запустить скрипт pg_throttle_setup_cgroup.sh с параметром --delete.

Если точка монтирования файловой системы Cgroup cgroup2fs не расположена по адресу /sys/fs/cgroup, то расширение имеет GUC pg_throttle.cgroup_mount_point для указания пути к точке монтирования:

ALTER SYSTEM SET pg_throttle.cgroup_mount_point TO '/custom/mount/point/to/cgroup2fs';
SELECT pg_reload_conf();

Скрипт pg_throttle_setup_cgroup.sh также имеет параметр --cgroup-root для явного указания точки монтирования файловой системы Cgroups cgroup2fs.

pg_throttle.cgroup_mount_point - точка монтирования файловой системы Cgroup cgroup2fs (по умолчанию /sys/fs/cgroup).

FUNCTION throttle_user_per_node(username text, 
                                seq_scan_max int
                                idx_scan_max int,
                                idx_only_scan_max int
                                bitmap_heap_scan_max int,
                                bitmap_index_scan_max int
                                custom_scan_max int,
                                foreign_scan_max int
                                tid_range_scan_max int,
                                modify_scan_max int,
                                values_scan_max int,
                                result_scan_max int,
                                func_scan_max int);

Это основная функция для установки ограничения пользователя. Однако, обычно вы будете использовать другие сокращенные функции ниже.

username - имя пользователя, для которого должно быть ограничение. Если указанный пользователь не существует, будет выброшено исключение.

XXX_max - другие аргументы указывают ограничение для соответствующего узла:

Для аргументов XXX_max допустимое значение:

Пример - ограничение пользователя ‘analytics’.

SELECT throttle_user_per_node('analytics',
                              100,          -- SeqScan
                              1000, 1000,   -- Index/IndexOnly Scan
                              1000, 1000,   -- Bitmap Heap/Index Scan
                              NULL,         -- Custom Scan (disable throttling)
                              10,           -- Foreign Scan
                              100,          -- TID Range Scan
                              NULL,         -- DML (disable throttling)
                              NULL, NULL,   -- Values/Result Scan (disable throttling)
                              1000);        -- Function Scan

FUNCTION throttle_user_per_node_all(username text, max int);

Это сокращенная функция для throttle_user_per_node, которая устанавливает все XXX_max в max.

Пример:

SELECT throttle_user_per_node_all('analytics', 100);

FUNCTION throttle_user_query(username text, max int);

Эта функция ограничивает все узлы Scan, используя общее состояние. Это означает, что все узлы имеют один и тот же счетчик ограничения. Счетчик применяется ко всем поддерживаемым узлам - вы не можете установить конкретные узлы

Пример:

SELECT throttle_user_query('analytics', 100);

FUNCTION unthrottle_user(username text);

Эта функция удаляет ограничение пропускной способности для указанного пользователя.

Пример:

SELECT unthrottle_user('analytics');

FUNCTION throttle_user_cgroup(username text, cgroup_name text);

Эта функция устанавливает для конкретного пользователя имя Cgroup, в которой будут запускаться фоновые процессы, обслуживающие запросы этого пользователя.

Пример:

SELECT throttle_user_cgroup('analytics', 'ttcg');

TABLE throttlings(
    username text,
    query_throttle int,
    XXX_throttle int
);

Это основная таблица конфигурации расширения - хранит конфигурацию ограничения для пользователей:

Эта таблица читается расширением при запуске бэкенда, во время инициализации расширения. Поэтому пользователь должен иметь к ней доступ, но это создает риски безопасности. Чтобы решить эту проблему, см. раздел безопасность ниже.

Расширение реализовано с использованием декораторов.

Когда ExecutorStart_hook срабатывает, мы ищем в его PlanState интересующие узлы (которые поддерживаются). Если такой узел найден, мы:

Затем во время выполнения:

Это относится ко всем поддерживаемым узлам, за исключением CustomScan и ForeignScan. Мы не можем сделать то же самое для них, потому что расширения создают свои собственные структуры поверх них (также декоратор). Поэтому, делая это снова - мы перезаписываем их данные. Чтобы преодолеть это, мы создаем такой декоратор для его интерфейса - CustomScanMethods и FdwRoutine.

Существует множество предостережений, о которых вы должны знать

REVOKE ALL ON TABLE throttlings FROM public;
GRANT SELECT ON TABLE throttlings TO public;