CAP / BASE / 一致性 Hash:分区时选 C 还是 A,以及扩容怎么少搬家

CAP / BASE / 一致性 Hash:分区时选 C 还是 A,以及扩容怎么少搬家

Hello,我是小兔大白糖。 架构评审里最容易吵起来的一句话是:「我们系统到底是 CP 还是 AP?」——一问之下,往往发现有人把全站口号当成了设计,有人把最终一致听成了「可以不对账」。写成这篇,给要做分布式取舍调研的初中级后端同学:带走可复述的硬规则,不是某司内部定档。

说明:产业分层示例与数字均为教学脱敏 / 示意。文中「账本 / 撮合 / 行情」是公开产业叙事里常见的业务平面,不声称任何厂商「官方内部就是这样」。

估计阅读时间:11 分钟


目录


为什么现在要关心

分区一旦发生,一致性(C)与可用性(A)只能二选一;无分区时,强一致还要和延迟讨价还价——这不是口号,是合同。

现场里常见的误伤:

你看到的现象常见真相
「全站 CP」写进设计,读列表却永远要强一致非资金路径被强一致拖死;P99 全是跨副本等待
「我们是 BASE,最终一致就行」没有幂等、对账、修复 SLA;差异永远挂着
缓存扩容一晚打满带宽hash % N 改 N,几乎全量重映射
节点挂了一台,相邻机跟着雪崩迁移面砸在单一邻居;无过载保护
Cassandra「可调一致」被当成 CAP 被推翻调的是单次读写级别,不是魔法三角消失

心智模型一句话:CAP 管「路断了选哪边」;PACELC 补「路通时还要付延迟」;一致性 Hash 管「加人时少搬家」。


心智模型:餐厅分店与环形车位

用两家分店和环形停车场,先建立直觉;精确定义以下一节为准。

CAP ≈ 两家分店的不可能三角

  • C(Consistency,一致性):同一时刻,两家看到的菜单库存一致。
  • A(Availability,可用性):客人来了总能点单,不被拒。
  • P(Partition Tolerance,分区容错):两条街之间的路断了,分店还得各自撑着。

路一断(分区发生),你只能选:关一家保「库存说法一致」(偏 C),或两家各自卖、可能一边卖光一边还有(偏 A)。类比局限:餐厅解释不了「无分区时同步复制要等多久」——那是 PACELC 的账。

BASE ≈ 火锅店经营哲学

  • Basically Available(基本可用):高峰只降级体验(排队、关非核心),不全站关门。
  • Soft State(软状态):允许短暂中间态(汤还在加热)。
  • Eventually Consistent(最终一致):没有新更新时,副本会收敛——不是「可以随便丢数据」。

一致性 Hash ≈ 环形车位

传统 hash % N 像按尾号停编号车位:车位总数一变,几乎全员挪车。一致性 Hash 把节点和 key 都丢进环,key 顺时针找下一个节点;增删节点主要搅动相邻弧段。类比局限:停车场解释不了「热点 key」和「副本策略」——环只解决映射与迁移面,不自动解决负载与正确性。


精确定义:CAP、PACELC、BASE

硬规则:分布式默认要把 P 当现实约束;分区时在 C 与 A 之间选;无分区时在延迟(L)与一致(C)之间选;BASE 是缩小强一致边界的工程哲学,不是放弃一致。

CAP

Eric Brewer 提出,后由 Gilbert / Lynch 形式化讨论。教学常用三元组:

字母含义(人话)牺牲时常见代价
C读到的是约定语义下的「最新一致视图」脏读 / 旧读
A请求在有限时间内拿到非错误响应拒服务、超时、阻塞
P节点间网络分区时系统仍按所选策略继续若放弃 P,分区即全停

为什么实务常说「在 C 与 A 之间选」: 多机部署几乎绕不开网络故障与延迟;把「绝不分区」当假设,等于分区一来整站停机。公开教材叙事里,P 是默认要面对的约束,争议点在「一次分区事件里,这次读写保 C 还是保 A」。

PACELC

Daniel J. Abadi 的扩展(教学记法):

  • 有 Partition(P):在 A 与 C 之间选。
  • Else(E,无分区):在 Latency(L,延迟) 与 C 之间选。

人话:路通的时候,强一致也经常等于「等多数副本确认」——延迟就是账单。 跨可用区同步写几十毫秒量级很常见;本地提交再异步复制可以压到毫秒内,但读侧要接受短暂落后。数字因拓扑而异,标为量级示意。

BASE

Dan Pritchett(eBay 时期公开文章语境)归纳的互联网高吞吐哲学,对照 ACID:

BASE含义容易误读成
Basically Available故障时允许部分降级,不完全不可用「可以经常挂」
Soft State允许副本短暂不一致「状态可以乱」
Eventually Consistent无新更新时最终收敛「永远不用对账」

BASE 不是「不要一致」。 它把强一致收缩到最小必要范围:资金类仍可能走同步确认 / TCC 一类短边界;通知、画像、统计走异步与最终一致,并配幂等与对账。


业界模式对照:CP / AP / 分层

成熟做法很少「全站一个 CAP 标签」;按读写语义与错账成本分层。

类型公开系统举例(生态叙事)分区时典型行为更常见场景
偏 CPZooKeeper、etcd、HBase;不少协调与配置中心拒写 / 阻塞到恢复分布式锁协调、配置真相、强一致元数据
偏 APCassandra、Dynamo 风格存储、DNS、部分服务发现继续服务,可能读旧Feed、列表、画像、行情推送
「CA」叙事单机库本就没有跨节点分区问题非分布式边界;别拿来给多机房贴金

Cassandra 一类的 Tunable Consistency(可调一致性) 不推翻 CAP:ONE / QUORUM / ALL 是单次操作在延迟、可用与一致之间滑动。读写都 ALL 更偏保 C;都 ONE 更偏保 A。分区事件里,每一次具体读写仍然在做二选一。

大型交易 / 电商公开叙事里,常见分层是:

业务平面倾向买什么卖什么
账本 / 撮合 / 库存扣减CP少错账、可审计分区时可能拒单或停写
行情 / 推送 / 搜索列表AP不断服、低延迟读短暂旧数据、乱序要客户端容忍
审计 / 特征 / 离线报表最终一致吞吐与解耦要监控复制延迟与对账修复
按业务平面做 CAP:账本撮合偏 CP,行情推送偏 AP,审计对账走最终一致
按业务平面做 CAP:账本撮合偏 CP,行情推送偏 AP,审计对账走最终一致 · 点击查看 SVG 原图

一致性 Hash:少搬家的分片合同

硬规则:一致性 Hash + 虚拟节点,把节点变更时的迁移面从「几乎全量」压到约总数据的 1/N 量级;用于缓存分片、请求路由、部分 LB——仍要处理热点与级联过载。

传统取模的痛

节点 = hash(key) % N
N: 3 → 4 时,多数 key 的取模结果整体位移 → 近乎全量迁移

环上的映射

  1. 把哈希空间看成环(教学常用 0 … 2^32-1 示意)。
  2. 节点、key 都哈希上环。
  3. key 顺时针遇到的第一个节点即归属。
  4. 增删一个节点,主要影响相邻弧段上的 key。

查找常用有序结构(如跳表 / 有序树)做到约 O(log N);也可配合固定槽(如 Redis Cluster 的 16384 hash slot)做成「预分片」变体——槽位固定、迁的是槽的归属,目标同样是可控迁移面。

虚拟节点(Virtual Node)

物理节点少时,环上落点可能挤成一团 → 数据倾斜。做法:每个物理节点映射成多个虚拟节点(业界公开讨论里常见约 150~256 / 节点量级,需按分布标准差调,不是越大越好)。

收益:弧长更均匀。代价:环表更大、路由与变更时的维护成本上升。

一致性 Hash:哈希环加虚拟节点,节点变更迁移约 O(K/N),用于缓存分片与负载路由
一致性 Hash:哈希环加虚拟节点,节点变更迁移约 O(K/N),用于缓存分片与负载路由 · 点击查看 SVG 原图

和 Redis Cluster Slot 差在哪(选型时常问)

维度动态一致性 Hash 环固定 Hash Slot(如 16384)
映射key → 环 → 顺时针节点key → slot → 负责该 slot 的节点
扩缩容搅动相邻弧段迁移一组 slot(粒度可控)
均匀性靠虚拟节点数固定槽天然细粒度
运维手感权重≈调虚拟节点数可显式挪 slot

两者都在做「分片 + 少搬家」;选环还是选槽,看你要的是自动均匀还是显式可控迁移。

教学伪流程(路由,非生产代码)

route(key):
  h = hash(key)
  vnode = ring.ceiling(h) or ring.first()   # 顺时针
  return vnode.physicalNode

全文刻意不贴实现墙:分享向要带走的是合同——变更迁移面与倾斜治理,不是某段 TreeMap 粘贴。


教学场景:按平面做 CAP

把「交易所 / 电商核心链路」拆成平面,比贴一张全站 CP/AP 标签有用。

平面选型倾向分区时示意行为代价
撮合 / 资金所有权CP拒写或只读;不双开主脑各自成交可用性下降;用户感知「下单失败」
同步风控拦截偏 CP + 超时降级本地规则兜底(常「宁可误杀」)误杀率上升;要事后申诉 / 复核
行情 Tick 推送AP继续推,允许毫秒~秒级落后短暂旧价;客户端要能重连对齐
画像 / 列表缓存AP + 本地缓存读旧个性化或列表短暂不准
异步审计 / 特征BASE积压可接受必须有延迟监控与对账修复

为什么撮合叙事几乎总偏 CP: 资金所有权转移要防双花、超卖,并保留可解释时序。分区时若两地各自撮合,对账可能无法收敛——这时「停写」往往比「错账」便宜。行情与推送则相反:断一会难受,错账更难受的是账本平面。

一致性 Hash 在这类系统里的常见落点(通用归纳):

用途路由键示意买到的仍要付的
缓存 / 会话分片userId / key同用户粘滞,本地命中更好热点用户仍可能打爆单分片
规则 / 配置分片ruleId热更新搅动面约 1/N虚拟节点与监控要跟上
消费组再均衡分区→消费者少搬分区Rebalance 风暴要限频

常见坑

从架构视角,下面几条会把硬规则听成口号。

  1. 全站一套 CAP 口号
    列表、推送、账本绑死同一策略。该快的被拖死,该对的又对不齐。

  2. 把 BASE 当成「可以不对账」
    最终一致的前提是收敛;没有复制延迟指标、差异率、修复 SLA,差异会永久挂账。

  3. 「上了 MQ 就等于最终一致」
    队列只是工具。缺幂等、死信、对账,丢消息或毒消息会让系统永远到不了一致。

  4. 以为 P 可以不选,多机房还能「纯 CA」
    单机库的 CA 叙事搬不到跨节点拓扑。分区是分布式的默认天气,不是稀有彩蛋。

  5. 一致性 Hash 裸上线、虚拟节点过少
    倾斜把流量砸到少数物理机;再叠加「邻居接盘」→ 级联过载。要过载保护、多副本、扩容预热,不只靠环本身。

  6. 虚拟节点「越多越好」
    内存与变更成本上升。用分布标准差与热点监控调参,而不是玄学加到几千。

  7. 节点宕机后无界接盘
    环会把负载顺时针推给邻居;邻居再挂就滚雪球。限流与熔断是合同,不是可选优化。


选型结论

  1. 分区时 C 与 A 二选一;无分区时用 PACELC 记住——强一致经常换延迟。
  2. BASE = 基本可用 + 软状态 + 最终一致;缩小强一致边界,配幂等与对账,不是放弃一致。
  3. 按业务平面做 CAP:账本 / 撮合偏 CP;行情 / 推送可 AP;审计走最终一致并盯收敛。
  4. 一致性 Hash + 虚拟节点:扩缩容迁移面约 O(K/N);缓存、分片、粘滞 LB 常用;固定 Slot 是可控迁移的近亲。
  5. 环解决映射,不解决热点与雪崩:副本、过载保护、预热切流要单独设计。

下一步:画一张「平面 × 读写合同」表——每条链路写清:分区时拒写还是读旧、无分区时同步还是异步、复制延迟告警阈值、对账窗口;缓存 / 分片列再补一列「路由键 + 虚拟节点量级 + 倾斜监控」。

系列导航: