别用正则当搜索:text index、$text 与专用搜索怎么选

别用正则当搜索:text index、$text 与专用搜索怎么选

Hello,我是小兔大白糖。 「地址 / 标题模糊搜一下」——第一反应常是 %keyword% 或 $regex。数据一涨就全表扫、普通索引帮不上、超时开始刷屏。

写成这篇,给要做文档库文本检索选型调研的初中级后端同学:公开能力里还有 text index + $text(词项匹配 + 相关性评分);再往上是 专用搜索引擎 / 托管全文(可调分析器、同义词、规模)。目标是带走选型心智模型,不是某集合的建索引操作手册。

说明:MongoDB $text / text index、正则、外部搜索(含托管全文)均为公开举例;模式 A/B/C 是分析框架,不是某厂 SLA。语言与分词行为因引擎 / 版本而异,文中标示意。公开文档里经典 $text 多词默认为词项间 OR(短语 / 否定另有语法);经典语言列表偏若干语系 + none——中文任意子串常不满足「内置 text ≈ contains」幻想,必须抽样验收。同站分工:索引归属 管谁建索引;慢查询审计 管怎么量——本文钉选哪种搜索合同。

估计阅读时间:10 分钟


目录


为什么现在要关心

硬规则一句话:前导通配的正则 ≈ 扫库候选;别把它当默认「搜索」方案。

删掉比喻之后,你仍应能对同事复述这六条:

  1. 前导通配正则 ≈ 扫库候选:$regex / LIKE %x% 很难吃到普通 B-tree;规模一上来就变成超时工厂。
  2. text index 是 DDL:走迁移 / infra,不塞启动 Ensure(见索引归属文)。
  3. $text 换的是「词项匹配 + 可评分」,不是任意子串 contains 的万能替代。
  4. 相关性排序用 textScore(或引擎等价分);再叠业务次级排序要写进合同。
  5. 多语言 / 同义词 / 拼写容错超出内置 text 边界时,上专用搜索,别硬拧正则。
  6. count 与 find 同一过滤器:大结果集 count 也要有超时与降级(估值 / 截断)。

心智模型:放大镜、主题词卡片、独立检索室

主比喻:三种找书方式,对应三种合同。

类比含义
用放大镜逐页找「含某串」的字前导 % / 无锚正则
图书馆主题词卡片text index + $text
独立检索室(分词器、同义词表、可调相关性)专用搜索 / 托管全文

类比局限:这三把尺子解释选哪份搜索合同;解释不了具体业务字段权重表,也解释不了你们产品对「子串命中」的承诺能不能改。

三种搜索合同:正则、text、$text、专用搜索
三种搜索合同:正则、text、$text、专用搜索 · 点击查看 SVG 原图

精确定义:三种合同

先问产品到底要「任意子串」还是「词项 / 相关性」;合同没定,技术选型只是在赌运气。

概念人话边界(公开可核对方向)
正则 / like 子串在字段值里找连续字符片段前导通配通常吃不到普通索引;适合极小库或已有前缀索引的前缀匹配
text index + $text对已建 text 索引的字段做词项检索,并可拿 textScore需要先有 text index;一个集合至多一个 text index(可盖多字段);默认按词项组合匹配,不是任意子串;default_language 影响停用词与词干
专用搜索独立分析器、同义词、可调相关性、常可多索引双写 / 同步管道;运维与一致性税;能力上限更高

两处容易混称(写进笔记里):

  • 查询算子是 $text;里面的检索字符串字段叫 $search。别和聚合里托管全文的 $search stage 当成同一个东西。
  • 若托管全文分析器覆盖 CJK,那是模式 C 能力,不要假装「经典 $text 已经等于中文子串搜索」。

问题空间:本地绿、生产红

先问「我手里的症状在控诉哪份合同」;答错题,加字段进 text 只会更慢。

你看到的常见真相
搜索 P95 崩正则无法用 B-tree;或 text 未建 / 查询没走 $text
「contains 中文地址」结果怪分词 / language 与预期不符;误以为 $text = 子串
本地绿、生产红索引未迁;应用账号无权限;或排序未用 textScore
越加字段进 text 越慢索引膨胀与写放大;应裁剪可搜字段集合
count 单独超时大结果集 count 与 find 同贵;缺超时 / 降级

证据怎么诚实量,见慢查询审计文。


业界常见模式对照

调研默认:先问是否真要子串;词项检索试 B;产品要「搜索体验」再 C。A 仅限极小库或前缀匹配。

模式做法优点代价 / 边界
A. 正则 / like 子串$regex / LIKE %x%实现直觉;任意子串语义直观难用普通索引;易全扫;规模不友好
B. 内置 text index + $textDDL 建多字段 text;查询 $text;排序 textScore中小规模、与库一体;有相关性分分词 / 语言边界;非任意子串;每集合一个 text index;功能上限
C. 专用搜索ES / OpenSearch / 托管全文等分析器、同义词、规模、可调相关性双写 / 同步;运维与一致性税;团队要会排「索引滞后」
选型:正则、内置 text、专用搜索
选型:正则、内置 text、专用搜索 · 点击查看 SVG 原图

推荐 B 时必须写清副作用:写路径多一份 text 索引维护;查询语义从「contains」变成「词项合同」——产品文案若仍承诺「输入任意片段必出」,你会在验收抽样里翻车。

推荐 C 时必须写清副作用:同步延迟窗口内「库里有、搜不到」;回滚要同时想主存与搜索侧。


可复述清单与伪流程

目标态:可搜字段有清单;text 索引归 DDL;查询带评分与超时;子串预期抽样验收。

  1. 定义可搜字段集合(标题、摘要、地址部件…),避免整文档扔进 text。
  2. DDL 建 text index(default_language 按产品;不确定就先标示意并抽样)。
  3. 应用不在启动 Ensure 建索引;只假设已存在。
  4. 查询用 $text;投影 / 排序带 textScore,再叠业务次级键(如 created_at)。
  5. 分页 + 查询超时(驱动参数名因栈而异,示意如 maxTime);count 失败有降级(估值 / 「很多」占位)。
  6. 观测:搜索慢查询 shape、空结果率、超时率。
  7. 验收:抽样「子串预期」是否被 text 满足;不满足则改合同或上 C。
  8. 禁止默认 $regex 上生产热路径。

伪流程(教学示意,非某驱动 API):

search(q, page):
  filter = { $text: { $search: q } }
  sort   = [textScore desc, created_at desc]
  return find(filter, sort, limit, skip) with maxTime

教学级 find 形状(脱敏):

// 教学示意:需已有 text index;排序用 textScore
db.docs.find(
  { $text: { $search: q } },
  { score: { $meta: "textScore" }, title: 1 }
).sort({ score: { $meta: "textScore" }, created_at: -1 })

反模式

下面五条,删掉场景名之后仍应能当评审红线念。

  1. 热路径 $regex 无锚点当搜索——规模上来就是扫库。
  2. 启动 Ensure 建 text index——多副本与权限面;归索引归属红线。
  3. 把所有字符串字段塞进一个 text index——写放大 + 噪声命中;每集合还只有一个 text index 名额。
  4. 排序忘了 textScore——结果「像随机」,产品以为搜索坏了。
  5. 用内置 text 硬撑电商级搜索体验,却不接受分词 / 语言边界——验收必翻车;该上 C 或改承诺。

选型结论

  • 子串幻想用 A,会在规模上破产;词项检索用 B;体验与规模、可调分析器用 C。
  • 索引归 DDL;查询要评分 + 超时合同;count 与 find 同过滤器、同降级意识。
  • 与索引归属、慢查询审计分工:谁建、怎么量、本文选哪种搜索合同。
  • 可带走的复述句:放大镜别当默认搜索;主题词卡片先试;检索室留给真要体验的时候。