PostgreSQL "connection timeout expired"
Выполняю массовый запрос на вставку в базу, который загружает HDD в 100%, при этом задействуются от 14 до 17 подключении из 100:
test=# show max_connections;
max_connections
-----------------
100
test=# select count(*) from pg_stat_activity;
count
-------
14
При попытке подключиться через любой GUI pgAdmin или DBeaver, выбрасывает ошибку "connection timeout expired". Через консоль спустя несколько минут простоя подключился.
Что пробовал менять из настроек в файле postgresql.conf:
shared_buffers = 2GB
work_mem = 1024MB
maintenance_work_mem = 1024MB
max_wal_size = 1GB
min_wal_size = 80MB
effective_cache_size = 4GB
Никакого улучшения ни в быстродействии ни в исчезновении этой ошибки не заметил. В чём проблема и как это исправить? P.S. PostgreSQL 16, ОЗУ у меня 16Гб, CPU Intel(R) Core(TM) i3-6320 CPU @ 3.90GHz, HDD на который идёт запись WD Gold 8TB, системный диск SSD (но это не имеет особого значения postgresql установлен на HDD WD Gold). При выполнении запроса оперативная память, практически не используется. В системе остаётся как минимум 4-8Гб свободно.
P.S. Добавляю лог при массовой вставке данных:
2024-05-05 21:45:49.746 MSK [6892] —ќќЅў≈Ќ»≈: контрольна¤ точка завершена: записано буферов: 90044 (34.3%); добавлено файлов WAL 0, удалено: 14, переработано: 27; запись=246.205 сек., синхр.=29.660 сек., всего=277.759 сек.; синхронизировано_файлов=7, сама¤_долга¤_синхр.=20.678 сек., средн¤¤=4.238 сек.; рассто¤ние=661045 kB, ожидалось=839900 kB; lsn=3F/FEFC7DA0, lsn redo=3F/DA4CD510
2024-05-05 21:45:49.886 MSK [6892] —ќќЅў≈Ќ»≈: начата контрольна¤ точка: wal
2024-05-05 21:46:11.366 MSK [7568] ѕ–≈ƒ”ѕ–≈∆ƒ≈Ќ»≈: процесс автоочистки запускалс¤ слишком долго; его запуск отменЄн
2024-05-05 21:47:11.371 MSK [7568] ѕ–≈ƒ”ѕ–≈∆ƒ≈Ќ»≈: процесс автоочистки запускалс¤ слишком долго; его запуск отменЄн
2024-05-05 21:47:58.566 MSK [12040] ѕ–≈ƒ”ѕ–≈∆ƒ≈Ќ»≈: autovacuum worker started without a worker entry
2024-05-05 21:49:11.390 MSK [7568] ѕ–≈ƒ”ѕ–≈∆ƒ≈Ќ»≈: процесс автоочистки запускалс¤ слишком долго; его запуск отменЄн
2024-05-05 21:50:11.401 MSK [7568] ѕ–≈ƒ”ѕ–≈∆ƒ≈Ќ»≈: процесс автоочистки запускалс¤ слишком долго; его запуск отменЄн
2024-05-05 21:50:12.987 MSK [21056] ѕ–≈ƒ”ѕ–≈∆ƒ≈Ќ»≈: autovacuum worker started without a worker entry
2024-05-05 21:51:31.422 MSK [7568] ѕ–≈ƒ”ѕ–≈∆ƒ≈Ќ»≈: процесс автоочистки запускалс¤ слишком долго; его запуск отменЄн
2024-05-05 21:52:14.177 MSK [21040] ѕ–≈ƒ”ѕ–≈∆ƒ≈Ќ»≈: autovacuum worker started without a worker entry
2024-05-05 21:52:14.182 MSK [21964] ѕ–≈ƒ”ѕ–≈∆ƒ≈Ќ»≈: autovacuum worker started without a worker entry
2024-05-05 21:52:14.197 MSK [18104] ѕ–≈ƒ”ѕ–≈∆ƒ≈Ќ»≈: autovacuum worker started without a worker entry
2024-05-05 21:53:31.463 MSK [7568] ѕ–≈ƒ”ѕ–≈∆ƒ≈Ќ»≈: процесс автоочистки запускалс¤ слишком долго; его запуск отменЄн
2024-05-05 21:54:31.480 MSK [7568] ѕ–≈ƒ”ѕ–≈∆ƒ≈Ќ»≈: процесс автоочистки запускалс¤ слишком долго; его запуск отменЄн
2024-05-05 21:54:36.428 MSK [6892] —ќќЅў≈Ќ»≈: контрольна¤ точка завершена: записано буферов: 80006 (30.5%); добавлено файлов WAL 0, удалено: 37, переработано: 0; запись=495.672 сек., синхр.=30.380 сек., всего=526.540 сек.; синхронизировано_файлов=7, сама¤_долга¤_синхр.=18.922 сек., средн¤¤=4.340 сек.; рассто¤ние=604158 kB, ожидалось=816326 kB; lsn=40/41191040, lsn redo=3F/FF2CCDE0
2024-05-05 21:54:36.442 MSK [6892] —ќќЅў≈Ќ»≈: начата контрольна¤ точка: wal time
2024-05-05 21:55:31.500 MSK [7568] ѕ–≈ƒ”ѕ–≈∆ƒ≈Ќ»≈: процесс автоочистки запускалс¤ слишком долго; его запуск отменЄн
2024-05-05 21:56:31.515 MSK [7568] ѕ–≈ƒ”ѕ–≈∆ƒ≈Ќ»≈: процесс автоочистки запускалс¤ слишком долго; его запуск отменЄн
2024-05-05 21:57:31.624 MSK [7568] ѕ–≈ƒ”ѕ–≈∆ƒ≈Ќ»≈: процесс автоочистки запускалс¤ слишком долго; его запуск отменЄн
2024-05-05 21:57:40.709 MSK [5328] ѕ–≈ƒ”ѕ–≈∆ƒ≈Ќ»≈: autovacuum worker started without a worker entry
2024-05-05 21:57:41.200 MSK [8968] ¬ј∆Ќќ: извините, уже слишком много клиентов
2024-05-05 21:57:41.200 MSK [15904] ѕ–≈ƒ”ѕ–≈∆ƒ≈Ќ»≈: autovacuum worker started without a worker entry
2024-05-05 21:58:51.654 MSK [7568] ѕ–≈ƒ”ѕ–≈∆ƒ≈Ќ»≈: процесс автоочистки запускалс¤ слишком долго; его запуск отменЄн
2024-05-05 21:59:02.116 MSK [6892] —ќќЅў≈Ќ»≈: контрольна¤ точка завершена: записано буферов: 145230 (55.4%); добавлено файлов WAL 0, удалено: 33, переработано: 33; запись=252.535 сек., синхр.=11.395 сек., всего=265.661 сек.; синхронизировано_файлов=7, сама¤_долга¤_синхр.=10.802 сек., средн¤¤=1.628 сек.; рассто¤ние=1080194 kB, ожидалось=1080194 kB; lsn=40/5F74CA10, lsn redo=40/411AD6E8
2024-05-05 21:59:16.568 MSK [6892] —ќќЅў≈Ќ»≈: начата контрольна¤ точка: wal
2024-05-05 21:59:51.669 MSK [7568] ѕ–≈ƒ”ѕ–≈∆ƒ≈Ќ»≈: процесс автоочистки запускалс¤ слишком долго; его запуск отменЄн
2024-05-05 22:00:51.675 MSK [7568] ѕ–≈ƒ”ѕ–≈∆ƒ≈Ќ»≈: процесс автоочистки запускалс¤ слишком долго; его запуск отменЄн
2024-05-05 22:01:13.498 MSK [7540] ѕ–≈ƒ”ѕ–≈∆ƒ≈Ќ»≈: autovacuum worker started without a worker entry
2024-05-05 22:01:13.864 MSK [3604] ¬ј∆Ќќ: извините, уже слишком много клиентов
2024-05-05 22:01:13.864 MSK [15948] ѕ–≈ƒ”ѕ–≈∆ƒ≈Ќ»≈: autovacuum worker started without a worker entry
2024-05-05 22:02:31.698 MSK [7568] ѕ–≈ƒ”ѕ–≈∆ƒ≈Ќ»≈: процесс автоочистки запускалс¤ слишком долго; его запуск отменЄн
2024-05-05 22:02:52.643 MSK [6892] —ќќЅў≈Ќ»≈: контрольна¤ точка завершена: записано буферов: 73093 (27.9%); добавлено файлов WAL 0, удалено: 2, переработано: 31; запись=197.676 сек., синхр.=16.219 сек., всего=216.075 сек.; синхронизировано_файлов=7, сама¤_долга¤_синхр.=15.702 сек., средн¤¤=2.317 сек.; рассто¤ние=539125 kB, ожидалось=1026087 kB; lsn=40/8200DEE8, lsn redo=40/6202AEC8
2024-05-05 22:02:57.623 MSK [6892] —ќќЅў≈Ќ»≈: начата контрольна¤ точка: wal
2024-05-05 22:03:31.718 MSK [7568] ѕ–≈ƒ”ѕ–≈∆ƒ≈Ќ»≈: процесс автоочистки запускалс¤ слишком долго; его запуск отменЄн
2024-05-05 22:04:31.733 MSK [7568] ѕ–≈ƒ”ѕ–≈∆ƒ≈Ќ»≈: процесс автоочистки запускалс¤ слишком долго; его запуск отменЄн
2024-05-05 22:05:31.748 MSK [7568] ѕ–≈ƒ”ѕ–≈∆ƒ≈Ќ»≈: процесс автоочистки запускалс¤ слишком долго; его запуск отменЄн
2024-05-05 22:06:31.760 MSK [7568] ѕ–≈ƒ”ѕ–≈∆ƒ≈Ќ»≈: процесс автоочистки запускалс¤ слишком долго; его запуск отменЄн
2024-05-05 22:06:42.553 MSK [6892] —ќќЅў≈Ќ»≈: контрольна¤ точка завершена: записано буферов: 81215 (31.0%); добавлено файлов WAL 0, удалено: 1, переработано: 32; запись=204.358 сек., синхр.=18.860 сек., всего=224.928 сек.; синхронизировано_файлов=7, сама¤_долга¤_синхр.=18.479 сек., средн¤¤=2.695 сек.; рассто¤ние=540559 kB, ожидалось=977534 kB; lsn=40/A2A02CB0, lsn redo=40/8300EC78
2024-05-05 22:06:49.581 MSK [6892] —ќќЅў≈Ќ»≈: начата контрольна¤ точка: wal
Кстати, почему то часть текста в логах нормально отображается, а часть "крякозябрами"