限流与熔断:容量闸门、故障隔离与多级漏斗

限流与熔断:容量闸门、故障隔离与多级漏斗

Hello,我是小兔大白糖。 压测周下游 RT 飙到秒级,入口还在疯狂重试——线程池被拖死之前,限流和熔断往往是最后两道闸。写成这篇,给熟悉超时重试、却还把「入口闸门」和「下游保险丝」揉成一件事的后端同学:做一次业界向的流量治理选型调研。

限流是容量闸门,熔断是下游故障隔离;二者常联用,但不要当成同一个开关。

说明:文中 QPS、阈值与伪流程均为教学脱敏 / 示意,不绑定某司业务栈。Guava / Sentinel / Resilience4j / Hystrix 等只谈公开能力边界与常见归纳,不声称任何厂商「官方内部就是这样」。

估计阅读时间:12 分钟


目录


为什么现在要关心这件事?

硬规则先说清:限流是容量闸门;熔断是故障隔离;两者互补,谁也替不了谁。

现场里常见的误伤,几乎都来自把两件事当成一道开关:

你看到的现象常见真相
下游超时,上游线程池打满没有熔断,失败请求继续占满线程
刷接口时正常用户一起挂只有全局限流,没有用户 / IP / 设备分层
扩容后新实例立刻超时再熔断冷启动没有预热(Warm Up),瞬时全量打进来
限流了还是把 DB 拖死入口允许突发,下游却需要平滑输出
配额在扩缩容后「莫名变松/变紧」只有单机限流,没有按集群容量重算

和本系列前面讲的事务补偿、分布式锁同一类问题:你以为在「挡流量」,其实在谈容量合同和依赖健康合同是否写清楚。


心智模型是什么:闸机与保险丝

先记住一个主比喻,再进精确定义。

限流 ≈ 景区闸机:单位时间只放进这么多人,防止里面挤爆。

  • 固定窗口计数器:整点清零——边界处容易「双倍进场」。
  • 滑动窗口:看「过去一段时间」滚动统计,更平滑。
  • 令牌桶:按固定速率发卡;空闲时票会攒着,允许合法突发。
  • 漏桶:人先进缓冲间,出去速度恒定——最平滑,也最不吃突发。

熔断 ≈ 家里的保险丝:

状态人话
CLOSED(闭合)保险丝正常,电流照常过
OPEN(断开)故障率 / 慢调用过高,直接断路
HALF_OPEN(半开)过一会放几路探测;正常再全开,失败再断开

类比局限一句说清:景区闸机解释的是「入口速率」;保险丝解释的是「依赖健康」——解释不了超时重试怎么把线程池打满,那是熔断 + 降级要一起管的。

后端类比:限流像线程池的 core/max 与队列上限(管进场);熔断像对某个依赖单独挂断(管别把整屋电器烧了)。类比只管调度直觉,解释不了业务降级合同该返回什么。


限流、熔断、降级怎么区分?

限流(Rate Limiting):控制单位时间内进入系统(或某一维度)的请求量,防止突发流量压垮后端——目的是保护核心链路,不是「拒服越多越好」。

熔断(Circuit Breaking):当依赖出现高错误率、高延迟(慢调用)等不健康信号时,自动停止或大幅减少对该依赖的调用,把「雪崩等待」变成「快速失败」。

降级(Fallback / Degradation):熔断或过载之后显式换一条更便宜的响应路径(缓存、默认值、人工复核队列)。没有合同的「抛异常给上游」不算合格降级。

机制盯什么时机典型动作
限流入口流量是否过大预防过载拒绝 / 排队 / 429 + Retry-After
熔断下游是否健康止损、防级联OPEN 快速失败
降级系统还剩什么能力过载或熔断后简化响应、关非核心

关系链:限流是第一道防线,熔断是第二道,降级是失败后的合同。 三者可以共存;禁止用限流代替容量规划,也禁止用熔断假装「下游永远健康」。


四种限流算法怎么选?

选型核心是突发与平滑的取舍,不是「哪个算法更高级」。

算法核心机制优点代价类比
固定窗口计数器固定时间窗内计数,窗末清零简单、内存小边界突刺严重电梯限载,整点重置
滑动窗口窗切多格或记时间戳,滚动统计更平滑、更准实现与内存成本更高滑动门分段统计
令牌桶固定速率放令牌,请求取令牌允许突发、长期平均可控突发仍可能打穿脆弱下游停车场自动发卡
漏桶请求进桶,固定速率漏出输出绝对平滑吃不了合法突发输液匀速滴落

一句话选型(教学向):

  • API 入口、需要合法突发 → 优先令牌桶(或带 Warm Up 的变种);
  • 保护脆弱下游(短信网关、严格配额第三方 API) → 漏桶更合适;
  • 用户 / 设备频控要「过去 N 秒计数」 → 滑动窗口(常配 Redis);
  • 演示 / 极简场景 → 固定窗口可以,但别当生产默认。

令牌桶的数学直觉是流量整形里的 (σ, ρ) 模型:σ = 桶容量(最大突发),ρ = 令牌产生速率(长期平均)。漏桶则强制输出速率恒定。

固定窗口的核心缺陷:窗口边界处,前后两个窗口的剩余配额可以叠加,瞬时通过量接近翻倍。滑动窗口把时间切成多个小格子,每次统计最近 N 格之和——格子越多越平滑,内存与更新开销也线性上升。公开实现里,Sentinel 一类组件常用环形格子(如 LeapArray)做近似滑动窗口,默认常见是「1 秒少量格子」:精度与成本的折中,不是「格子越多越好」。


多级漏斗怎么分层?

硬规则:多级漏斗与线程池隔离同一哲学——外层挡洪水,内层挡单点刷穿,资源层挡连接池耗尽。

单一维度不够。生产常见做法是从外到内层层收窄配额:

多级漏斗限流:边缘 → 服务 → 租户 → 键,层层收窄配额
多级漏斗限流:边缘 → 服务 → 租户 → 键,层层收窄配额 · 点击查看 SVG 原图
层级(教学)典型维度作用代价
边缘IP / 地域 / CDN挡最粗糙的刷量代理池可绕过,不能当唯一防线
服务 / API路径、方法保护后端集群与单接口容量阈值要跟压测,不能拍脑袋
租户 / 用户userId、AppKey防单租户占满配额Key 设计不当会误伤(见坑)
键 / 资源热点商品、设备指纹热点隔离、防设备农场指纹可伪造,需与行为信号配合
资源池DB 连接、线程池最后一道硬顶满了只能拒绝或排队,别无限等待

教学伪流程(非生产 API):

on_request(ctx):
  if !allow("edge", ctx.ip):     return 429 + Retry-After
  if !allow("api", ctx.path):    return 429 or queue
  if !allow("tenant", ctx.uid):  mark_suspicious; return 429
  if !allow("key", ctx.device):  return 429
  return handle(ctx)   # 再受连接池 / 线程池硬顶约束

限流返回值建议用 HTTP 429(Too Many Requests),并带 Retry-After,让客户端知道何时再试。用 200 + "系统繁忙" 会把限流伪装成业务成功,排障和客户端协作都会变难。


熔断状态机与慢调用怎么配合?

熔断写清三件事:错误率 / 慢调用阈值、最小样本、OPEN 时长与半开探测策略。

熔断器状态机:CLOSED → OPEN → HALF_OPEN,探测成功回 CLOSED,失败回 OPEN
熔断器状态机:CLOSED → OPEN → HALF_OPEN,探测成功回 CLOSED,失败回 OPEN · 点击查看 SVG 原图
状态行为进入退出
CLOSED正常放行初始 / 探测恢复错误率或慢调用率超阈值
OPEN直接拒绝(快速失败)超阈值且样本够熔断时长到期 → HALF_OPEN
HALF_OPEN放行少量探测OPEN 到期成功 → CLOSED;失败 → OPEN

三种常见熔断策略:

  1. 错误比例:错误率超过阈值(且请求数 ≥ 最小样本);
  2. 慢调用比例:RT 超过阈值的请求占比过高——依赖「亚健康」不报错也能拖死线程池;
  3. 错误计数:累计错误次数超过阈值。

公开库对照(选型时看合同,不背 API 墙):

能力Guava RateLimiterSentinelResilience4jHystrix(已停更,思想仍常用)
单机令牌桶 / 预热强有 Warm Up / 排队限流另配弱(侧重隔离)
滑动窗口指标—核心滑动窗统计滚动窗
慢调用熔断—有有超时 + 错误
线程池 / bulkhead 隔离—并发线程数等Bulkhead线程池隔离经典

HALF_OPEN 不要「探一个成功就全开」:刚恢复的依赖可能缓存未热、连接池未满。业界常见是限制半开最大探测数,再渐进放量,避免 抖动(flapping):CLOSED ↔ OPEN 来回甩。

降级合同必须显式。教学向例子(风控 / 评分类链路常见归纳,非某厂定档):

触发常见降级合同代价
模型 / 评分依赖 OPEN跳过模型,只走本地规则或缓存可能误杀升高,但保住入口
规则引擎也 OPEN默认保守决策 + 进人工 / 异步复核吞吐掉、人工成本升
连接池耗尽读本地短缓存;未命中则拒绝一致性窗口变大

原则是:快速失败要有 Fallback 合同;「熔断了然后抛给上游」只是把雪崩往上推一层。


单机配额还是集群配额?

保护单实例用本地限流;保护共享资源用集群配额——扩缩容时配额要跟着重算。

维度单机限流集群限流
实现本地计数 / Guava / Sentinel 本地模式Redis + Lua、Token Server 等
精度 / 延迟高、几乎无网络有 RTT 与协调开销
适用保护本进程线程池、本机连接保护 DB、第三方 API、全集群总配额
扩缩容每台阈值 × 台数 ≈ 总容量,易「越扩越松」总配额固定,按实例分配或集中扣减

混合模式在高 QPS 很常见:本地令牌桶挡尖刺,周期性与中心配额对齐——接受少量误差,换掉每次请求都打 Redis 的成本。

中心限流挂了怎么办(教学三档):

  1. 本地降级:退回单机限流,至少保本机不炸;
  2. Fail-Open:非核心接口暂时不限流,优先可用性;
  3. Fail-Close:资金 / 履约类接口宁可拒绝,优先一致性。

选哪档写进合同,别临场拍脑袋。

阈值怎么定(公开可复述的四步):

  1. 压测找到「RT 突增 / 错误率抬头」的临界 QPS;
  2. 阈值落在临界的约 70%~80%,留缓冲;
  3. 核心写路径保守,只读查询可相对宽松;
  4. 上线后用 CPU、RT、队列深度微调;自适应限流(如按负载收紧)是增强项,不是免压测的借口。

示意公式(教学):阈值 ≈ min(压测上限 × 0.8, 下游最小承载 × 0.9)。


常见坑有哪些?

常见坑:阈值拍脑袋、熔断后无脑重试、限流与熔断揉成一个开关。

  1. 阈值拍脑袋:「平时到不了」
    平时到不了 ≠ 被刷或热点时刻到不了。阈值应来自压测,并留缓冲。

  2. 熔断后无 Fallback
    OPEN 的目的是快速失败,失败后要有显式降级合同,而不是把异常原样砸回入口。

  3. 一种算法打天下
    入口常吃突发(令牌桶),脆弱下游要平滑(漏桶),频控要滚动精确(滑动窗口)——按场景拆。

  4. HALF_OPEN 一探就全开
    易抖。限制探测数并渐进放量。

  5. 阈值写死在代码里
    活动前后要调;规则宜动态下发,并灰度生效(先小比例实例观察再全量)。

  6. 只盯错误率,忽略慢调用
    依赖可以「全成功但 RT 从 20ms 涨到 2s」,照样拖死线程池。慢调用比例是发现亚健康的关键。

  7. 限流 Key 维度不够
    只用 userId 时,查询可能占满配额导致同用户写路径也被挡。常见补法是 userId + apiPath(或等价组合)。

  8. 只限入口,不限服务间调用
    A 调 B 也要有并发 / QPS 上限;否则 A 的线程池会被 B 拖垮。

  9. 只看 QPS,不看 in-flight
    10 QPS × 每请求 10s ≈ 同时 100 个在飞。并发上限(bulkhead)和 QPS 限流要一起看。

  10. 用限流代替容量规划
    闸门保护的是「别被打死」;长期靠拒请求撑业务,说明该扩容或减载,而不是把阈值当容量本身。


该怎么选?一句话结论

  1. 限流管入口容量,熔断管依赖健康,降级管失败合同——三件事分开写清。
  2. 算法按突发/平滑选:入口令牌桶、脆弱下游漏桶、频控滑动窗口;固定窗口别当默认。
  3. 多级漏斗:边缘 → 服务 → 租户 → 键 → 资源池;与线程池隔离同一哲学。
  4. 熔断必配慢调用 + 最小样本 + 半开渐进;OPEN 之后要有显式 Fallback。
  5. 单机保自身,集群保共享资源;扩缩容重算配额;中心挂了的 Fail-Open / Fail-Close 预先定档。
  6. 429 + Retry-After;客户端协作降速,比「200 + 系统繁忙」好排障。

下一步:画一张「入口 → 关键依赖」漏斗图,给每一层标算法、维度、阈值来源(压测 / 下游合同)、熔断阈值与降级合同——缺任一项就先补合同,再谈微调数字。

系列导航: