定时任务撞锁:拿不到互斥锁时,丢窗、等待还是入队

定时任务撞锁:拿不到互斥锁时,丢窗、等待还是入队

Hello,我是小兔大白糖。 下午四点调度又触发了增量同步,日志一行 tryLock failed,进程直接 return——晚上对账才发现:这一窗数据没人跑过。写成这篇,给要做批跑 / 同步任务互斥选型的初中级后端同学:不是某家仓库的定档工单,而是业界常见的「锁失败合同」。

说明:advisory lock、Redis SET NX、云调度互斥等只写公开可核对的概念与代价;伪流程与时间点均为教学脱敏示意。读完带走的是「锁失败必须显式策略」的心智模型,不是某产品的 cron 配置清单。

估计阅读时间:8 分钟


目录


为什么现在要关心

问题往往不在「要不要互斥」,而在 tryLock 失败之后有没有写进合同——无指标的失败即退,等于静默丢窗。

增量同步、报表批跑、对账任务,常见靠互斥保证「同类型任务全球只有一个在跑」:Postgres advisory lock(会话级咨询锁)、Redis SET key NX + TTL、租约(lease)续约,或调度平台自带的 concurrency 策略。锁本身没写错时,现场仍可能长这样:

你看到的现象常见真相
某小时段报表空白Job2 撞锁 return,该窗从未入队
日志只有 Debug「拿不到锁」无 skipped 计数、无告警、无补跑
进程干等很久才开始干活选了进程内 sleep 重试,时间窗漂移
「明明持着锁」却被别人抢走持锁连接还回连接池,会话锁随会话结束

示意时间线(教学用):

14:00 Job1 持锁跑很久
16:00 调度再触发 Job2 → tryLock 失败 → 直接 return
→ 16:00 这一窗数据永远没人跑(静默丢窗)
Job1 持锁未结束时 Job2 tryLock 失败即退,导致该时间窗数据静默丢失
Job1 持锁未结束时 Job2 tryLock 失败即退,导致该时间窗数据静默丢失 · 点击查看 SVG 原图

同站已写过:连接池被嵌套并发乘穿——见 /blog/db_pool_vs_nested_concurrency/。本文只钉一件事:任务互斥的「失败合同」与持锁生命周期,不重复讲池乘积怎么算。


心智模型:单人卫生间门锁

主比喻:门锁与取号。

  • 互斥锁 = 卫生间占用灯(同一时刻只让一人进)。
  • 策略 A 失败即退 = 看到有人直接回家(可能错过这一次洗澡)。
  • 策略 B 门口等待 = 干等到出来再进(占地方、迟到)。
  • 策略 C 前台取号 = 去前台领号,轮到再进(可补跑、可观测)。
  • 专用连接 / 租约 = 进门后钥匙揣自己口袋,不能随手借给别人开门(连接回池)。
A 失败即退、B 门口等待、C 前台取号三种锁失败策略对照
A 失败即退、B 门口等待、C 前台取号三种锁失败策略对照 · 点击查看 SVG 原图

类比局限一句说清:门锁类比解释「互斥与排队形态」;解释不了分片键怎么切、工作项怎么幂等——那是数据模型与消费语义,不是锁原语本身。


精确定义:锁失败的合同

硬规则三条(删掉比喻也能复述):

  1. 锁失败必须显式策略。
    禁止「拿不到就 return」且无指标、无补跑、无产品结论(丢窗是否可接受)。

  2. 持锁连接 / 租约生命周期 = 任务生命周期。
    会话级锁绑在具体连接上:锁期间不能把该连接还回池「假装还持着」;Redis 一类租约要有 TTL,长任务要续约,进程被杀靠 TTL / 会话结束自动释放。

  3. 长任务优先「投递工作项」,而不是叠多个 cron 进程死等。
    cron / 调度 tick 只负责 enqueue(入队);worker 持锁后 claim(认领)并消费。水平扩的是消费者,不是「再多起几个互相抢锁的 cron」。

「合同」在这里指:失败时是丢弃、等待、入队,还是换触发模型——写进设计与监控,而不是留给值班同事猜。


业界常见策略对比

默认可接受丢窗 → A + 强告警;不可丢 → C;短任务单机可 B;禁止无观测的 A。

模式锁失败时优点代价适用
A. 失败即退return / 标 skipped实现简单静默丢窗(无观测时)仅当「跳过可接受」且有 metrics + 告警
B. 进程内等待重试sleep 再 tryLock无外部组件占进程、时间漂移、难水平扩短任务、单机
C. DB / Redis 任务队列插入 pending 工作项可补跑、可观测要设计幂等与清理常见生产
D. 外部调度锁如 K8s CronJob concurrencyPolicy、云调度互斥平台托管绑定平台能力与语义已有强调度、接受平台合同
E. 分区 / 分片锁按 shard 持锁提高吞吐分片键与跨 shard 一致性窗口可并行切分

没有「最佳实践」口号:A 把冲突换成可能丢数据;B 把冲突换成阻塞与漂移;C 把冲突换成队列积压、幂等与清理成本。先答产品「这一窗能不能跳」,再选字母——顺序反了,锁再正确也只是更快地做错事。

平台名与 flag 以各厂商公开文档为准;上表是常见归纳,不是某云「官方内部就是这样」。


教学示意:补跑与专用连接

不可丢窗时:enqueue + 持锁 worker

下面伪流程是教学顺序,不是某仓库 API:

cron tick → enqueue(window_id)   // 幂等 upsert
worker:
  acquire lock
  claim next pending window
  process
  mark done / retry
  release lock

要点:调度触发与执行解耦;撞锁时工作项仍在队列里,而不是随进程 return 蒸发。claim 与幂等(同一 window_id 不重复成功提交)要一起设计,否则「可补跑」会变成「重复跑」。

持锁不要绑在「已归还的池连接」上

错误:借 pool conn → advisory_lock → 还回池 → 仍以为自己持锁
正确:锁期间独占该 conn(或 Redis 租约 TTL+续约)→ 任务结束再 unlock / 释放
错误:持锁连接归还连接池导致误释锁;正确:锁期间独占连接或使用带 TTL 的租约
错误:持锁连接归还连接池导致误释锁;正确:锁期间独占连接或使用带 TTL 的租约 · 点击查看 SVG 原图

Postgres 会话级 advisory lock 随会话走:连接回池被别人复用或断开,锁语义就变了。Redis 锁常见靠 key + TTL;无续约的长任务会在 TTL 到期后被别人抢走——续约失败路径也要写进合同(中止任务还是告警后继续冒险)。

类比再钉一句:钥匙不能借给池子里的下一位房客。 池管连接复用;锁管任务互斥——两套生命周期,别绑错。


常见坑

  1. tryLock 失败只打 Debug,无 skipped 计数。
    丢窗在业务侧表现为「数据缺口」,在工程侧却像「什么都没发生」。至少要有可告警的 skip / contention 指标。

  2. 等待重试无 deadline。
    进程内 sleep 死等,调度下一次又叠一层 → 僵尸占用与时间窗整体后移。B 必须有总等待上限与退出策略。

  3. 锁 ID / key 全局硬编码冲突。
    多个任务共用同一 advisory key 或 Redis key,等于把无关批跑串进同一把锁——表现为「莫名互相卡住」。

  4. 任务成功或崩溃后未 unlock,又无 TTL / 会话释放。
    进程被杀时,依赖会话结束或租约过期自动释放;纯进程内 boolean「我持着锁」扛不住 OOMKill。

  5. 用叠 cron 代替队列。
    长任务未结束又起一个实例去抢锁:要么失败即退丢窗,要么门口排队占资源。长任务更适合 C,而不是「再加一个 crontab 行」。

  6. 把「有锁」当成「有补跑」。
    锁只保证互斥;补跑靠工作项持久化与 claim。只有 A 没有队列时,锁成功路径再完美,失败路径仍可能永久缺口。


选型结论

  1. 产品先答:这一类窗丢了可不可以(报表可空?账务不可空?)。
  2. 不可以丢 → 队列化工作项 + 持锁 worker(模式 C);设计幂等与清理。
  3. 可以丢 → 失败即退必须配 metrics + 告警(模式 A);禁止无观测的静默 return。
  4. 短任务、单机 → 才优先考虑进程内等待(模式 B),并加 deadline。
  5. 核对锁实现:会话级 / 租约 TTL / 专用连接;持锁生命周期 = 任务生命周期。
  6. 分工:本文管 任务互斥合同;连接池与嵌套并发乘积见 /blog/db_pool_vs_nested_concurrency/。

下一步:挑一条真实批跑,画出「触发 → tryLock → 成功/失败」三岔口,在失败枝上写清是 A/B/C 哪条,以及对应的指标名——能讲给值班同事听,这篇就够用了。


Checklist「润色」自检

  • 已读 polish.md §0;调性:分享向;业界通用
  • Hello 开篇;Hook → 模型 → 定义 → 对比 → 示例 → 坑 → 小结
  • 各 H2 BLUF;少代码;三图 <Diagram>;内链尾斜杠
  • 推荐方案写了代价;未发明内部 API;无项目工单口吻
  • 无重复 H1;HTML 注释 frontmatter date=2026-11-04

[TECH-CHECK]

无。文中 K8s concurrencyPolicy、Postgres advisory lock、Redis SET NX 均为公开文档可核对概念;未断言特定云厂商内部实现细节。