request 与 limit 详解:订座、天花板,以及「能不能超卖」

request 与 limit 详解:订座、天花板,以及「能不能超卖」

Hello,我是小兔大白糖。 这是全系列最重要的一篇。压测时 CPU 顶在 0.5 核走平、内存逼近 1Gi,多半就栽在 request/limit 上。

副标题:全系列主菜——用餐厅订位、线程池、JVM 堆,一次讲清 CPU throttle 与 OOM

估计阅读时间:25 分钟


目录


一句话先记住

request = 向调度器预订的「座位」;limit = 进程运行时允许冲到的「天花板」。
抬 limit ≠ 永久占满机器;抬 request = 真的多占调度名额。

把这两句刻进肌肉记忆,后面排障会少走一半弯路。

Kubernetes request 与 limit 生效阶段
Kubernetes request 与 limit 生效阶段 · 点击查看 SVG 原图

request:餐厅订位(调度用)

想象节点是一家餐厅,可接待「可分配资源」(allocatable)有限。

  • 你写 requests.cpu: 1000m,等于说:「请给我留 至少 1 核 的座位。」
  • 调度器把同一 Node 上所有 Pod 的 request 加总,不能超过该 Node 的 allocatable(对 CPU/内存分别算)。
  • 排不上座 → Pod 一直 Pending,事件里常见 Insufficient cpu / Insufficient memory。

类比后端:

概念类比
Node allocatable连接池 maxActive 或线程池能登记的总槽位
Pod request这个服务启动时预占的槽位
limit > request(Burstable)订了小桌,忙时还能去抢自助餐台的空位——这才是日常说的「CPU 超卖感」

注意:request 是预订,不是「进程每时每刻都用满这么多」。空闲时 CPU 可以很低,但座位已经记在调度账本上了。
默认调度器下:Running Pod 的 Σ request 不能超过该 Node 的 allocatable——订座账本本身不超卖;忙时抢的是「别人订了但暂时没用满」的空闲 CPU。


limit:消费天花板(运行时约束)

limit 回答的是另一件事:忙起来,这个容器最多能用到多少。

  • limits.cpu: 2000m → CPU 用量会被 cgroup 限制,超过就 throttle(节流);
  • limits.memory: 2Gi → 内存触及上限,内核倾向于 OOMKill 掉该容器。

类比:

K8s后端日常
CPU limit线程池 max 再往上不给了;或进程被 CFS 配额卡住
Memory limitJVM -Xmx;或 Go 进程 RSS 顶满 cgroup 被杀
只有 limit、request 很小订了小桌,却允许你把自助餐台搬空——邻居遭殃,你自己也容易在压力下乱抖

规则(简化):

  • 通常 limit ≥ request(同资源);
  • 若只写 limit 不写 request,某些版本/配置下 request 会默认等于 limit(具体以集群与 LimitRange 为准,见第 06 篇)。

灵魂拷问:Pod limit 加起来可以超过物理机吗

短答

资源request 之和 vs 节点 allocatablelimit 之和 vs 节点容量
CPUΣ request ≤ allocatable(默认调度硬约束,超了就 Pending)可以超过——limit 是天花板,不是预留
MemoryΣ request ≤ allocatable(同样是调度硬约束)limit 之和可以超过物理内存——这就是内存超卖,高峰易互相 OOM

常被误叫「CPU request 超卖」的,其实多半是这两件事:

  1. Σ limit > 物理核(天花板加总超过机器)——完全合法、也很常见;
  2. request << limit(Burstable)——订座少、天花板高,空闲时邻居的 CPU 会被你「借」走;高峰大家一起冲 limit,就互相 throttle。

所以:

「Pod 的 limit 加起来可以超过物理机吗?」→ 可以。
「那 request 呢?」→ CPU / 内存的 Σ request 在默认调度下都不能超过 allocatable;监控里若看到 Requests% > 100%,先核对公式(除数是 capacity 还是 allocatable、是否重复统计),别当成「平台允许订座超卖」。

节点资源 request 与 limit 对比
节点资源 request 与 limit 对比 · 点击查看 SVG 原图

再对照数据库:

  • CPU limit 超卖 + Burstable ≈ 各服务连接池 max 加起来超过 DB max_connections,但平时只用 min——账单好看,大促一起抢连接;
  • Memory limit 超卖 ≈ 多台 JVM -Xmx 加起来超过机器物理内存——大家堆一涨就翻车;
  • Σ request > allocatable ≈ 连接池「保证连接数」加总超过 DB 上限——在默认 K8s 里新 Pod 根本排不上座(Pending),不会默默超卖进去。

CPU:throttle,不是「直接杀」

当容器 CPU 用量碰到 limit:

  1. 进程还活着;
  2. 但被 cgroup 限速:该跑的周期跑不满;
  3. 监控上常见:
    • 「相对 limit 的利用率」长期顶在 ~100%;
    • 实际消耗的核数却卡在 limit 对应的值上(例如 limit 500m 时,实际大约 0.5 核)。

某次脱敏压测观察(教学数字):

  • limit = 500m;
  • 监控里 CPU 利用率相对 limit 卡在 100%;
  • 实际核数 平坦在约 0.5;
  • 业务表现:延迟升高、吞吐上不去——很像「线程池满了,任务在排队」。
相对 limit 的 CPU%
100% | ████████████████  ← 看起来「打满了」
     | ████████████████
  0% +------------------
实际核数 ≈ 0.5(因为 limit=500m)

处理思路直觉:

  • 单副本已经顶满 limit → 要么 抬 CPU limit(让单进程能跑更多),要么 加副本(水平拆流量);
  • 若 request 远小于实际用量,还会误导调度,导致「纸面还能塞、实际已经挤爆」。

内存:撞 limit ≈ OOMKill

内存和 CPU 不对称:

CPU 撞 limitMemory 撞 limit
典型结果throttle,进程仍在OOMKill,容器重启
监控线索throttled 指标、CPU% 顶满OOMKilled、重启次数 ↑
类比线程池排队变慢-Xmx 不够直接崩

脱敏观察示例:

  • memory limit = 1Gi;
  • Working Set(WSS)约 850Mi,约占 limit 的 84%;
  • 再涨一点尖峰就可能杀进程——Go 服务也一样吃 cgroup 内存上限,别以为「没有 JVM 就没事」。

经验口令:

  • 内存 limit 要留余量(堆外、缓存、尖峰);
  • 内存 request 尽量贴近常驻用量,避免「订座太小、一堆胖进程挤同一节点」。

QoS:Guaranteed vs Burstable(人话版)

Kubernetes 会根据 request/limit 给 Pod 打 QoS 等级(还有 BestEffort,生产业务少用)。后端只需抓住两种:

Guaranteed(有保障)

  • 每个容器的 CPU/内存都设置了 request 和 limit,且 request == limit;
  • 语义:订多少座,天花板也是那么高——不「偷」邻居的突发额度,也不太被别人挤;
  • 节点内存压力大时,更不容易被优先杀掉。

适合:延迟敏感、核心链路。

Burstable(可突发)

  • 设置了 request,但 limit > request(或只设了部分);
  • 语义:订了小桌,忙时允许吃到更高天花板——空闲时省订座,忙时抢共享资源;
  • 内存紧张时,相对 Guaranteed 更容易成为牺牲品。

适合:流量波动大、可接受偶发抖动的服务;很多业务默认就是这种。

Kubernetes QoS 等级
Kubernetes QoS 等级 · 点击查看 SVG 原图

示例服务常见起步是 Burstable:

requests:
  cpu: "100m"
  memory: "256Mi"
limits:
  cpu: "500m"
  memory: "1Gi"

压测后若改成 request 接近实际、且希望 QoS 更稳,可能走向「request 抬高、甚至 request≈limit」——那是产品与成本的选择,不是教条。


和后端知识的对照表

后端概念K8s 对应设错了会怎样
线程池 coreCPU request(粗类比:预留算力)调度以为你很小,和别的胖服务挤一起
线程池 maxCPU limit顶满就 throttle,延迟毛刺
连接池大小并发/副本 × 单副本连接与 DB max_connections 同构
JVM -Xmxmemory limit顶满 OOMKill
堆基线 / 常驻 RSSmemory requestrequest 过小 → 调度过度堆积
DB 连接池 max 超卖CPU limit 超卖 + Burstable忙时全体变慢 / throttle

贯穿例子:backend-api 调优前后

调优前(开发/轻量默认):

resources:
  requests:
    cpu: "100m"
    memory: "256Mi"
  limits:
    cpu: "500m"
    memory: "1Gi"
# replicas: 1

压测现象(脱敏):CPU 相对 limit 100%,实际约 0.5 核;WSS ~850Mi / 1Gi。

调优后(承载压测量级的示例):

resources:
  requests:
    cpu: "1000m"
    memory: "1Gi"
  limits:
    cpu: "2000m"
    memory: "2Gi"
# 副本数按流量再水平扩展

解读:

  • request 从「占位」变成「按真实用量订座」,调度更诚实;
  • limit 抬高,单副本能吃到约 2 核 / 2Gi,减少 throttle 与 OOM 风险;
  • 抬 limit 不会在空闲时永久占满 2 核——空闲仍然很闲;但 抬 request 会立刻占用调度账本上的座位。

常见误区

  1. 「limit 设很大就安全」
    内存 limit 过大且 request 很小 → 节点被内存超卖,别人一忙你也遭殃;CPU limit 过大同理抢夺。

  2. 「request 设很小,好调度」
    短期好排上,长期变成「纸面不挤、实际挤爆」——和连接池全设 max=100 但以为连接很便宜一样。

  3. 「利用率 100% 就是机器不够」
    先看是相对 limit 的 100%,还是 Node 整机 100%。前者可能只是自己的天花板太低。

  4. 「Go 没有堆,不用管内存 limit」
    cgroup 杀的是进程地址空间用量,和语言无关。


小结

  • request = 订座(调度);limit = 天花板(运行)。
  • limit 之和可以超过物理机;CPU/内存的 Σ request 在默认调度下都不应超过 allocatable;日常说的「CPU 超卖感」多半来自 limit 超卖与 Burstable,而不是订座账本超卖。
  • CPU 撞 limit → throttle;内存撞 limit → OOMKill。
  • Guaranteed:request=limit,更稳;Burstable:可突发,更省订座、压力大时更危险。
  • 抬 limit ≠ 永久占用;抬 request = 预订座位。

下一篇预告

下一篇把数字落到一台虚构的 16 核 / 16Gi 机器上:系统预留后还能订多少、怎么避免高峰抢车、超卖比例怎么心里有数。


系列导航:导读 · 02 · 03(本文) · 04 单机规划 · 05 压测