
Hello,我是小兔大白糖。 推送压测里 goroutine 曲线像电梯失控——消息一多、接收者一多,机器还没 OOM,调度器先喘不过气。写成这篇,给熟悉线程池、但还把「Go 随便 go」当免费午餐的后端同学。
说明:数字、伪代码均为教学脱敏 / 示意,不是某产品线上配置。读完带走的是心智模型与取舍清单,不是可粘贴的内部实现。
估计阅读时间:10 分钟
目录
为什么现在要关心
Goroutine 便宜,不等于「按接收者数线性开协程」也便宜。
常见现场:
| 你看到的现象 | 常见真相 |
|---|---|
| 推送高峰 goroutine 数飙到数万、数十万 | 每条消息 × 每个接收者各 go 一次(m×n) |
| RSS 还没顶到 limit,延迟已经拉长 | 海量协程抢调度;栈起始虽小,调度与元数据仍贵 |
| 「已经用了信号量限并发」仍卡 | 无界创建 + 门口排队:协程照样先造出来再等许可 |
| 换成工作池后内存曲线平了,消息却越来越晚 | 爆炸变成了队列积压——问题没消失,只是换了形态 |
实时通道怎么搭可以看 /blog/websocket_protobuf_framework/;入口闸门与下游保险丝见 /blog/rate_limit_circuit_breaker/。本文只钉一件事:扇出并发怎么从「无限叫号」收到「有界窗口」——以及你必须付的代价。
心智模型:无限叫号 vs 固定窗口
主比喻:银行大厅。
- 无限叫号:每个客户到柜台前先领一个号码牌,并立刻占一个「虚拟窗口」——人再多也先发牌。对应:每条投递任务
go一个协程。 - 固定窗口:只有 N 个柜员;客户进有限座椅排队,柜员忙完接下一位。对应:固定 / 有上限的 worker + 任务队列。
类比局限一句说清:窗口/排队解释「并发上限与积压形态」;解释不了业务上「谁该收到、离线怎么补」——那是领域规则,不是池子配置。
精确定义:什么是 m×n 扇出
m×n 扇出:对 m 条待投递消息,每条要对 n 个接收者各做一次异步投递;若每次投递都 go,瞬时协程数近似 m × n(教学量级,忽略共享与提前返回)。
教学数字(脱敏):
| m(并发消息) | n(每条接收者) | 无界 go 量级 |
|---|---|---|
| 100 | 50 | ≈ 5,000 |
| 1,000 | 500 | ≈ 500,000 |
再钉三条硬边界:
-
Go 起始栈通常很小(常见叙述约 2KB 量级,随运行时与版本会变),不是「每个协程默认吃几 MB」。
但海量 goroutine 仍有:调度排队、栈增长、per-G 元数据、缓存抖动。别用「栈很小」给无界扇出开脱。 -
「限并发」≠「限创建」。
若先go再在门口抢信号量,峰值协程数仍可按 m×n 冒头——大部分时间在等许可,调度器照样忙。 -
有界池消灭的是爆炸形态,不是负载本身。
产生速率 > 处理速率时,压力变成队列长度、延迟、丢弃率——见下一节。
有界工作池:把「创建」改成「提交」
心智切换:业务侧不再 go deliver(user),而是 submit(task);真正跑投递的只有固定(或有上限)的 worker。
| 维度 | 无界 go | 有界工作池 |
|---|---|---|
| 并发形态 | 峰值 ≈ m×n | 峰值 ≈ worker 数(+ 队列里排队的任务,不是等价协程) |
| 资源曲线 | 随扇出基数陡升 | 更平滑,但仍受队列容量约束 |
| 失败形态 | 调度卡死 / 内存与 FD 等资源被拖垮 | 提交阻塞、拒绝、或策略性丢弃 |
| 可观测 | 「goroutine 很多」难归因 | 队列长度、入队拒绝、处理耗时可单独盯 |
教学伪代码(合计约十几行,非生产实现):
# 启动:W 个 worker 从 queue 取任务
for i in 1..W:
go worker: loop { task = queue.recv(); deliver(task) }
# 业务扇出:提交,不再 per-user go
for each recipient in recipients:
ok = queue.try_send(PushTask{recipient, msg})
if not ok:
handle_backpressure(task) # 阻塞 / 拒绝 / 丢低优 —— 必须显式选固定池的好处是可预期:goroutine 数不再跟「消息 × 人数」线性开。坏处也直白——吞吐上限被 W 钉死,尖峰只能进队列或被背压策略消化。
动态扩缩容(按队列长度加 worker)能缓解尖峰,但带来扩缩延迟、抖动、缩容打断在途任务等另一套复杂度;分享向建议:先把「有界 + 明确背压」跑通,再谈弹性。
积压与背压:池子不是免费午餐
处理慢于产生时,有界池把「协程爆炸」换成「任务积压」——这不是银弹,是换账单。
教学算术(示意):
| 量 | 示意值 | 读法 |
|---|---|---|
| 瞬时任务 | 1,000 消息 × 500 人 = 500,000 | 扇出基数 |
| Worker | 20 | 并发上限 |
| 单任务耗时 | ~100,ms | 含网络抖动 |
| 粗算吞吐 | ≈ 200 任务/秒 | 20 / 0.1s |
| 清空时间 | 量级可达数十分钟 | 期间新任务继续涌入 → 延迟雪球 |
积压的账单通常长这样:
| 代价 | 发生什么 | 谁先疼 |
|---|---|---|
| 队列内存 | 任务对象 / 消息引用堆在 channel 或缓冲里 | RSS、GC |
| 延迟 | 新消息排在长队尾 | P99 推送延迟、用户体感「消息晚到」 |
| 阻塞提交 | 队列满时 send 卡住调用方 | API / 上游协程被拖死(背压传到入口) |
| 拒绝 / 丢弃 | 满则返回错误,或丢掉低优先级 | 消息丢失、要补拉 / 重试;需业务可接受 |
| 弹性扩缩 | 按积压加 worker | 抖动、资源争用;缩容时机难拍 |
背压(backpressure) 人话:下游忙不过来时,上游必须减速或丢弃,而不是假装「提交成功了」。常见三选一(可组合):
- 阻塞:调用方等有空位——保护内存,牺牲入口延迟与线程/协程占用。
- 拒绝:立刻失败,让上游重试或走降级——要幂等与明确错误码。
- 丢低优:保紧急通知,牺牲营销 / 批量已读之类——必须可观测(丢了多少、哪一类)。
无限长队列 ≈ 把 OOM 推迟到更难看的时刻。有界队列 + 显式策略,才是「可控的坏」。
优先级一眼表
不是每种推送都该抢同一条生命线;分层是为了「坏的时候先保什么」。
| 车道 | 典型内容(教学) | 池 / 配额直觉 | 队列满时更倾向 |
|---|---|---|---|
| 高优 | 安全验证、强提醒 | 小而稳的固定 worker | 尽量不丢;可阻塞短超时 |
| 普通 | 会话消息 | 主池或有上限弹性 | 拒绝并让客户端补拉 |
| 低优 | 批量已读、运营广播 | 更严的配额 / 更小缓冲 | 优先丢弃或合并 |
限流思路可与 /blog/rate_limit_circuit_breaker/ 的多级漏斗对照:池子管并发形态,限流管进入速率——两道闸配错,仍会在某一层堆成山。
常见坑
-
「Go 栈很小,多开点没关系」
起始栈小是真的;m×n 无界扇出的调度与内存压力也是真的。用正确的半句事实,推错误的全句结论。 -
先
go再限流 / 抢锁
协程已经造出来了。要限的是创建与在途任务,不是门口的等待人数化妆成「已经限住了」。 -
无界队列当「异步就完事」
提交永远成功,直到内存报警。延迟在积压里偷偷涨,比 goroutine 曲线更晚被发现。 -
池子上线却不盯队列长度与丢弃率
goroutine 数好看了,P99 和丢消息投诉上来了——看板缺关键列。 -
动态扩缩当默认答案
阈值、冷却、缩容是否打断在途任务说不清时,扩缩本身会制造抖动。先固定上界 + 背压。 -
所有优先级进同一个满队列
紧急通知排在万条「已读」后面——分层或可抢占策略没写进合同。 -
把「工作池」写成银弹口号
正确说法是:用可预期的积压与丢弃,换不可预期的协程爆炸——账单要当着写出来。
小结
- m×n 扇出:消息数 × 接收者数若每条都
go,峰值协程按乘积长。 - 有界工作池:固定/有上限 worker + 任务队列;业务侧「提交」而不是「创建」。
- 栈小 ≠ 免费:起始栈通常不大,海量 G 仍有调度与内存成本。
- 池子把爆炸变成积压:处理跟不上就排队;必须选阻塞 / 拒绝 / 丢低优,并接受延迟与丢失。
- 可观测优先盯:队列长度、入队失败、处理耗时、按优先级的丢弃计数——不只看 goroutine 总数。
下一步:用一次压测画出「无界扇出 vs 有界池」的 goroutine 与 P99 对比 → 给队列定容量与满载策略 → 再决定要不要弹性 worker。相关阅读:/blog/websocket_protobuf_framework/、/blog/rate_limit_circuit_breaker/。