3. Различия между Tantor SE 16 и PostgreSQL 16#
3. Различия между Tantor SE 16 и PostgreSQL 16 #
- 3.1. Полезные ссылки
- 3.2. Улучшения ядра
- 3.3. Дополнительные поставляемые модули и расширения
- 3.4. Дополнительные поставляемые утилиты
- 3.5. Дополнительные программы Tantor, поставляемые в виде отдельных пакетов
- 3.6. Дополнительные внешние модули, поставляемые в виде отдельных пакетов
- 3.7. Программные интерфейсы для различных языков
- 3.8. Примечания к выпуску
3.1. Полезные ссылки #
3.2. Улучшения ядра #
64-битный счетчик транзакций.
Логическая репликация между кластерами СУБД с 32-битным и 64-битным идентификатором транзакций.
Улучшенная производительность с большим количеством одновременных пользователей благодаря улучшениям в механизме SLRU, которые были внесены в PostgreSQL 17.
Увеличенное количество секций в общих буферах.
Оптимизированный алгоритм сжатия данных
pglz(~1,4 раза).Уменьшенное количество блокировок страниц данных в общих буферах.
Сжатие в libpq.
Оптимизированный процесс восстановления репликации (
fadviseна резервном сервере).Возможность завершения транзакции на основе предустановленного тайм-аута.
Улучшения SIMD для архитектур x86 (SSE2) и ARM (NEON) были введены, что привело к улучшению обработки транзакций. Эти достижения также способствуют более быстрым операциям с jsontext, тем самым повышая общую эффективность обработки потоков данных.
Оптимизация для линейного поиска для процессоров архитектуры ARM64.
Проверка контрольной суммы блоков данных при отправке WAL на резервный сервер.
Повышенная информативность диагностической информации:
Диагностика внутренних ошибок СУБД (
backtrace_on_internal_errorпараметр).Информативность журналов сервера СУБД — стартовые сообщения содержат дополнительную диагностическую информацию.
Приложение сервера pg_controldata содержит дополнительную метаинформацию о редакции и сборке для упрощения диагностики возможных неполадок.
Максимальный размер данных в ячейках таблицы, поддерживаемый модулем pg_dump, составляет 2 ГБ.
3.3. Дополнительные поставляемые модули и расширения #
auto_dump - помогает создавать самодостаточную репродукцию проблемных запросов, которые выполняются в рабочей среде (например, из 1С).
credcheck - обеспечивает проверку учетных данных, во время создания пользователя, смены пароля и переименования пользователя. Используя это расширение, можно определить набор правил для разрешения определенного набора учетных данных и набор правил для отклонения определенного типа учетных данных. Расширение разработано на основе хука check_password_hook в PostgreSQL.
Hydra Columnar - обеспечивает колоночный метод хранения данных с возможностью сжатия для уменьшения объёма ввода-вывода и обеспечения высокой производительности. Применимо только для добавления (append-only), например, для временных рядов данных и витрин корпоративных хранилищ.
hypopg - добавляет поддержку гипотетических индексов. Гипотетический, или виртуальный индекс — это индекс, который в действительности не существует, и поэтому его создание не требует ресурсов ЦП, диска или каких-либо ресурсов. Они полезны, чтобы знать, могут ли определенные индексы повысить производительность для проблемных запросов. Дает возможность узнать, будет ли СУБД использовать эти индексы или нет, не тратя ресурсы на их создание.
orafce - представляет собой набор функций, обеспечивающих совместимость с базами данных Oracle. Эти функции позволяют упростить миграцию на Tantor и снизить затраты на перенастройку приложений.
page_repair - предназначен для восстановления отдельных поврежденных страниц с использованием резервных данных с сервера репликации. Он позволяет сэкономить время на операции восстановления, так как не требует восстановления всех данных, а только отдельных страниц.
pg_archive - позволяет автоматически архивировать исторические данные из секционированных таблиц.
pg_background - позволяет выполнять команды в фоновом режиме, такие как VACUUM и CREATE INDEX CONCURRENTLY, из SQL, а также запускать автономные транзакции.
pg_cron - это планировщик заданий на основе cron, работающий внутри базы данных как расширение. Он использует тот же синтаксис, что и обычный cron, и позволяет планировать выполнение команд непосредственно из базы данных Tantor.
pg_hint_plan - позволяет настраивать планы выполнения SQL-запросов с использованием так называемых "подсказок" в комментариях SQL. Это дает возможность компенсировать ошибки планировщика, возникающие в критических случаях.
pg_partman - позволяет создавать и управлять секциями таблицы как на основе времени, так и на основе последовательностей.
pg_qualstats - сохраняет статистические данные по найденным предикатам в операторах WHERE и предложениях JOIN. Это позволит проанализировать наиболее часто выполняемые квалификаторы (предикаты) в вашей базе данных, а также идентифицировать коррелированные столбцы, определяя, какие столбцы чаще всего запрашиваются вместе.
pg_repack - позволяет удалять раздувание таблиц и индексов (BLOAT) и, при необходимости, восстанавливать физический порядок кластеризованных индексов. В отличие от CLUSTER и VACUUM FULL, он работает онлайн, не удерживая эксклюзивную блокировку обрабатываемых таблиц во время обработки.
pg_stat_kcache - собирает статистику о реальных операциях чтения и записи, выполняемых на уровне файловой системы.
pg_store_plans - предоставляет средства для отслеживания статистики плана выполнения для всех операторов SQL, выполняемых сервером Tantor.
pg_throttle - позволяет ограничивать скорость выполнения запросов.
pg_trace - предоставляет возможность для глубокого анализа и профилирования SQL-запросов, особенно актуальное для пользователей платформы 1С.
pg_uuidv7 - обеспечивает поддержку работы с типом данных UUIDv7.
pg_variables - предоставляет функции для работы с переменными различных типов в текущей сессии пользователя.
pg_wait_sampling - предоставляет информацию о текущем событии ожидания конкретного процесса. Однако для того, чтобы собрать описательную статистику поведения сервера, пользователь должен многократно отбирать текущее событие ожидания. pg_wait_sampling — это расширение для сбора выборочной статистики событий ожидания, которое предотвращает избыточное семплирование ожидания текущего события.
pgaudit - предоставляет детализированное ведение журнала аудита сеансов и/или объектов через стандартное средство ведения журнала Tantor DBMS. Цель pgAudit - предоставить пользователям Tantor DBMS возможность создавать журналы аудита, которые часто требуются для соблюдения государственных, финансовых или ISO сертификаций.
pgauditlogtofile - это дополнение к pgAudit, которое перенаправляет строки аудита в отдельный файл, вместо использования диспетчера журналирования сервера PostgreSQL. В итоге мы получаем файл аудита, который можно легко ротировать, не загрязняя журналы сервера этими сообщениями. Журналы аудита в системах с высокой нагрузкой могут очень быстро расти. Это расширение позволяет автоматически ротировать файлы на основе заданного количества минут.
pgl_ddl_deploy - это расширение для отправки команд DDL на сервер-реплику во время логической репликации.
pgq - предоставляет универсальную высокопроизводительную не заблокированную очередь с простым API, основанным на функциях SQL.
pgsql-http - дает возможность написать триггер, вызывающий веб-сервис, способный вернуть результат, либо заставить этот сервис обновляться в соответствии с новым состоянием базы данных.
transp_anon (прозрачная анонимизация) - это расширение для маскировки или замены персонально идентифицируемой информации или коммерчески чувствительных данных из базы данных Tantor SE.
vector - позволяет находить сходства векторов.
3.4. Дополнительные поставляемые утилиты #
columnar_migrator — переносит данные из расширения Citus Columnar в расширение Hydra Columnar.
data_generator — генерирует фейковые данные для тестирования и разработки. Поддерживает различные типы данных и позволяет настраивать генерируемые данные с помощью шаблонов.
pgcompacttable — уменьшает размер раздутых таблиц и индексов без использования тяжелых блокировок. Он разработан для реорганизации данных в таблицах и перестроения индексов с целью освобождения дискового пространства без влияния на производительность базы данных.
pgcopydb — автоматизирует выполнение pg_dump | pg_restore между двумя работающими серверами Postgres. Чтобы как можно быстрее скопировать базу данных на другой сервер, желательно использовать параллельные опции pg_dump и при этом иметь возможность передавать данные в несколько задач pg_restore.
slru_upgrader — автоматически переименовывает параметры конфигурации, связанные с SLRU-буферами, при обновлении основной версии с Tantor SE 15. Эта утилита помогает избежать проблемы, когда сервер не может запуститься после обновления из-за наличия старых имён параметров в файле
postgresql.conf.
3.5. Дополнительные программы Tantor, поставляемые в виде отдельных пакетов #
Платформа Тантор — полнофункциональная модульная платформа администрирования и мониторинга СУБД Tantor и большинства кластеров на базе PostgreSQL. Платформа упрощает повседневную работу с СУБД, значительно повышая простоту управления. Функциональные возможности программного обеспечения включают: умный и простой пользовательский интерфейс, автоматическую адаптивную настройку кластера, обзор системы, оповещения и мониторинг, автоматические проверки состояния и аудит схемы, выполнение задач обслуживания через графический интерфейс, продвинутый профилировщик запросов и администрирование нескольких серверов в одном месте.
pipelinedb — высокопроизводительное расширение PostgreSQL, созданное для непрерывного выполнения SQL-запросов на потоковых данных. Результаты этих непрерывных запросов хранятся в обычных таблицах, которые можно запросить как и любую другую таблицу или представление. Таким образом, непрерывные запросы можно рассматривать как очень производительные, инкрементально обновляемые материализованные представления. Как и любая система обработки данных, Tantor PipelineDB эффективен для работы с определенными нагрузками и не подходит для других.
pg_anon — самостоятельная программа на Python для работы с СУБД Tantor или базами данных на основе PostgreSQL, предназначенная для маскировки и анонимизации данных при миграции данных между производственными и тестовыми средами.
pg_cluster — ansible-плейбук для кластера высокой доступности PostgreSQL на Patroni.
pg_configurator — инструмент для настройки PostgreSQL.
3.6. Дополнительные внешние модули, поставляемые в виде отдельных пакетов #
ldap2pg — инструмент, который автоматизирует синхронизацию ролей PostgreSQL и их привилегий из каталога LDAP (или YAML-конфигурации), создавая, обновляя и удаляя роли для соответствия вашему корпоративному каталогу.
mysql_fdw — обёртка внешних данных (Foreign Data Wrapper) для PostgreSQL, которая позволяет Postgres выполнять запросы и манипулировать таблицами на удалённом сервере MySQL так, как если бы они были локальными, поддерживая операции SELECT/INSERT/UPDATE/DELETE и оптимизации push-down.
oracle_fdw — обёртка внешних данных (Foreign Data Wrapper) для PostgreSQL, которая обеспечивает эффективный доступ к таблицам базы данных Oracle из PostgreSQL, сопоставляя типы Oracle и передавая фильтры/запросы на уровень Oracle, так что данные Oracle можно запрашивать и изменять так, как если бы они были локальными.
pg_timetable — продвинутый, автономный планировщик заданий для PostgreSQL, который выполняет SQL-запросы, системные программы и встроенные задачи по пользовательскому расписанию cron или с заданным интервалом, с поддержкой связанных рабочих процессов и конфигурации, управляемой из базы данных.
pgbouncer — легковесный пулер подключений PostgreSQL, который располагается между клиентами и базой данных для эффективного управления и повторного использования соединений с сервером, снижая издержки и повышая параллелизм при высоких нагрузках.
tds_fdw — обёртка внешних данных (Foreign Data Wrapper) для PostgreSQL, которая позволяет PostgreSQL подключаться к базам данных и выполнять запросы с использованием протокола Tabular Data Stream (TDS), таким как Microsoft SQL Server и Sybase, предоставляя их таблицы как внешние таблицы.
wal-g — инструмент для создания зашифрованных, сжатых резервных копий Tantor SE (полных и инкрементальных) и отправки/загрузки их в/из хранилища без сохранения на вашей файловой системе.
3.7. Программные интерфейсы для различных языков #
Tantor SE предоставляет широкий спектр драйверов и библиотек для взаимодействия с базой данных из различных языков программирования и сред. В следующих разделах описаны основные интерфейсы и соответствующие инструменты.
3.7.1. C/C++ #
libpq: Основная библиотека C для клиентских программ Tantor SE. Она позволяет отправлять запросы, получать результаты и управлять соединениями.
libpqxx: Обертка C++ над libpq, предлагающая более современный и удобный интерфейс для разработчиков на C++.
3.7.2. Java/JDBC #
PostgreSQL JDBC Driver: Официальный JDBC-драйвер, который позволяет Java-приложениям взаимодействовать с базами данных Tantor SE с использованием стандартного JDBC API.
3.7.3. .NET #
Npgsql: Открытый .NET провайдер данных для PostgreSQL. Он позволяет .NET приложениям использовать ADO.NET для подключения к Tantor SE, выполнения запросов и получения данных.
3.7.4. ODBC #
psqlODBC: Официальный драйвер PostgreSQL ODBC, обеспечивающий подключение для приложений и инструментов, использующих интерфейсы ODBC.
3.7.5. Perl #
DBD::Pg: Perl модуль, совместимый с DBI для Tantor SE. Он безупречно интегрируется с Perl DBI фреймворком для взаимодействия с базами данных.
3.7.6. Python #
psycopg2/psycopg: Широко используемые адаптеры Python, реализующие спецификацию Python DB-API. Они обеспечивают надежный и эффективный способ выполнения запросов, обработки транзакций и управления соединениями.
pg8000: Чисто-Python альтернативный адаптер, который также поддерживает стандарт DB-API.
3.7.7. Ruby #
pg gem: Официальный драйвер Ruby для PostgreSQL, предоставляющий родной интерфейс для выполнения запросов и обработки результатов.
3.7.8. Ткл #
pgtcl/pgtcl-ng: расширения Tcl, позволяющие устанавливать соединения с Tantor SE, выполнять запросы и управлять результатами запросов в скриптах Tcl.
3.8. Примечания к выпуску #
Первый выпуск Tantor SE — 16.2.1.
Значительные изменения можно найти на соответствующей странице.
Все остальные изменения см. в Примечаниях к выпуску.