
Hello,我是小兔大白糖。 批处理压测里日志刷 too many clients,有人第一反应是「把 max_open_conns 调大」。池子抬了,多实例一叠,数据库 max_connections 跟着炸。写成这篇,给熟悉线程池 / 连接池、但还没把嵌套并发乘积写进预算的初中级后端同学。
说明:数字与伪流程均为教学脱敏 / 示意,不是某产品线上配置。读完带走的是「峰值连接意图 ≤ 池预算」的心智模型与取舍清单;协程怎么收成有界池、任务要不要外置队列,见文末相关阅读。
估计阅读时间:9 分钟
目录
为什么现在要关心
根因很少是「数据库太弱」,而是外层 worker × 内层扇出的连接意图,从没按池预算建模。
批处理 / 同步任务常见结构:
外层:N 个 worker 拉任务
内层:每个任务再开 M 路并发打 DB
池:max_open_conns = P若内层每一路都可能持有一条连接,理论峰值接近 N × M。乘积远大于 P 时,现场通常长这样:
| 你看到的现象 | 常见真相 |
|---|---|
too many clients / 池等待打满 | 峰值连接意图 ≫ P,再叠多副本 |
| 查询阶段连接数看起来还好 | 拉任务省连接;处理阶段才 fan-out |
抬了 max_open_conns 仍偶发炸 | 多实例 ΣP 顶穿 DB max_connections |
| 重试一波,超时雪崩更猛 | 失败路径再开一波无界并发,二次打满 |
同站已写过:协程别按 m×n 无界扇出——见 /blog/goroutine_explosion_worker_pool/;进程内池与托管队列是另一层合同——见 /blog/inprocess_pool_vs_managed_queue/。本文只钉一件事:DB 连接预算怎么被嵌套并发乘穿,以及怎么把它压回可证明的峰值。
心智模型:园区车位 vs 楼宇闸机
主比喻:停车场。
- DB
max_connections= 园区车位总数(整库硬顶)。 - 应用
max_open_conns= 本楼闸机放行数(单进程/单池上限)。 - 外层 worker = 车队数;内层并发 = 每队同时抢车位的司机。
- N 队 × 每队 M 人同时抢 → 闸机(池)先堵,再堵到园区(库)。
类比局限一句说清:车位 / 闸机解释「配额与排队」;解释不了「该不该批量写、事务边界怎么切」——那是 SQL 形状与业务正确性,不是池参数。
精确定义:峰值连接意图
峰值连接意图(peak)≈ 外层并发 ×(每个任务同时持有的连接数)。 必须让 peak ≤ max_open_conns,并给在线 API / 其他进程留余量。
三条硬规则(删掉比喻也能复述):
-
先算峰值,再谈加池。
外层 N、内层同时持连接的路数、副本数,写在压测前的一张纸上。peak对不上 P,调参只是推迟爆炸。 -
加池是止疼,不是根治。
抬应用max_open_conns之前,先对齐:单实例 P × 实例数 ≤ DBmax_connections− 运维预留。否则「应用池变大」等于「更快打穿库」。 -
内层并发要有界,且优先复用 / 批量。
禁止「每个 item 新开无界协程、各借一条连接」。能一条语句 / COPY / pipeline 吃一批,就不要扇出成几百条独立会话。
「同时持有」很关键:若内层串行、复用同一条连接,有效乘数接近 1,不是 M。很多事故来自把「逻辑上的 M 路并行」默认当成「M 条连接」。
业界常见治理模式
长期常见组合是:降乘积(B)+ 连接感知信号量(C)+ 批量改形状(D);只加池(A)只作与库配额对齐后的缓冲。
| 模式 | 做法 | 代价 | 适用 |
|---|---|---|---|
A. 只加 max_open_conns | 池从例如 100→200 | 快;多实例仍可打满 DB | 急救,且已对齐库配额 |
| B. 降内层 M 或外层 N | 把乘积压回 P 以下 | 吞吐下降;墙钟变长 | 急救 + 长期基线 |
| C. 连接感知信号量 | 全局/每池 sem ≈ P − margin;拿不到许可就阻塞 | 实现稍复杂;峰值延迟可见 | 生产常用 |
| D. 批量写替代扇出 | 多 row 一条语句 / COPY / pipeline | 要改批形状与错误粒度 | 写放大、逐行往返场景 |
| E. 任务队列外置 | 外层并发交给队列消费者水平扩 | 运维面变大;至少一次与幂等合同 | 大规模 ETL / 跨进程保活 |
没有「最佳实践」口号:B/C 把爆炸换成排队与吞吐上限;D 用工程改造换连接节省;E 解决的是编排层,不自动修好「每消费者内部仍 N×M」。选 C 时,阻塞路径上的超时与取消必须写进合同,否则池前信号量会变成隐形死锁现场。
教学示意:一组可复述的数字
下面数字是教学量级,用来练嘴,不对应任何真实集群:
N = 40 workers
每 worker 内层 M = 500 同时写
理论峰值意图 ≈ 40 × 500 = 20_000
池 P = 100 → 必然排队 / 报错
目标:peak ≤ 0.7 × P(给 API 留约 30%)
可选:
N=20, M=3(批写) → peak ≈ 60
N=40, 内层串行复用连接 → peak ≈ 40扫一眼就能带走的结论:先把 20_000 压成两位数,再讨论池要不要从 100 调到 120。 顺序反了,库侧 max_connections 会替你做最终否决。
常见坑
-
只看「查询 / 拉任务阶段」的连接数。
FOR UPDATE SKIP LOCKED一类拉活往往很省连接;爆点在后面处理阶段的 fan-out。 -
多副本 × 每副本 P,忘记库硬顶。
单实例「池还够」≠ 集群总和够。看板要按应用拆当前连接,不只看库总连接一个数。 -
错误重试再开一波无界并发。
第一次打满触发超时,重试路径又乘一次 M——二次打满比原故障更难归因。 -
「已经限了 goroutine」却没限持连接数。
协程有界 ≠ 连接有界。限的是调度形态时,连接仍可能按任务内并行度冒头——连接预算要单独建模。 -
把加池当根治,且不留 API 余量。
批处理把 P 吃满,在线接口开始等连接;用户感知是「网站卡了」,监控却先怪业务接口。 -
批量改形状后仍按旧 M 开并发。
批大小变了,内层并发合同没改,乘积账对不上,优化白做。
选型结论
- 压测前写清:N、M(或每任务同时持连接数)、是否复用连接、实例数、目标余量。
- 乘积超预算:先砍 M / 改批量 / 内层串行化,再谈加池;加池必须对齐 DB
max_connections。 - 用信号量或 worker 内串行化 DB 访问,使
peak可证明,而不是靠运气。 - 监控优先盯:池等待、
too many clients、DB 当前连接按应用拆分——不只看「库还活着」。 - 分工:本文管 DB 连接预算;任务编排与进程内池见 /blog/inprocess_pool_vs_managed_queue/;协程扇出见 /blog/goroutine_explosion_worker_pool/。
下一步:用一次压测对照「无界内层扇出 vs 有界乘积」的池等待与错误率 → 定 peak 公式与余量 → 再决定 B/C/D 的组合顺序。