
Hello,我是小兔大白糖。 这篇整理面试口述与高频追问要点,方便对照站内同主题通识文。
面向后端开发者(FastAPI / PostgreSQL / Redis / K8s)。
经典系统设计题:如何设计 AI 客服的架构、技术选型与数据流。
可与 00-langchain-langgraph-for-backend-dev.md、本仓库 agentic-rags 对照阅读。
一、先澄清需求(面试开场 30 秒)
不要上来堆技术,先界定范围:
| 维度 | 要问 / 要假设的 |
|---|---|
| 渠道 | App 内聊天、Web、微信;语音需另架构 |
| 知识来源 | 帮助中心、商品/订单 API、CRM、历史工单 |
| 自动化程度 | 仅 FAQ,还是查单、改地址、退款(写操作) |
| 人工 | 何时转人工、坐席是否看 AI 草稿 |
| 规模 | QPS、知识库体量、是否多租户 |
| 合规 | 数据是否出境、日志留存、PII 脱敏 |
示例假设(可直接说):
我按 B2C App 内文字客服 设计:以只读问答为主,订单类走内部 API,低置信度转人工,知识库可运营更新。
二、逻辑架构(分层)
各层职责
| 层 | 职责 | 不应放在这里 |
|---|---|---|
| BFF / Gateway | 鉴权、用户身份、接口聚合 | 复杂 AI 逻辑 |
| Conversation Service | 存消息、会话状态、限流、幂等 | 向量检索实现 |
| AI Orchestrator | 路由、RAG、Tool、LLM、缓存、转人工策略 | 订单库事务 |
| Knowledge | 文档入库、Embedding、检索 | 实时 IM 长连接 |
| 人工 / 运营 | 排队、接管、质检、知识更新 | — |
与 Real 技术栈的映射
| 面试抽象层 | 可参考实现 |
|---|---|
| BFF | real-backend-api(Go / Hertz) |
| AI Orchestrator | agentic-rags(Python FastAPI + LangGraph) |
| 向量 / 缓存 / PG | Milvus·Qdrant、Valkey、PostgreSQL(listing RAG 同款) |
三、技术选型
3.1 核心组件
| 组件 | 推荐 | 解决什么问题 | 备选 |
|---|---|---|---|
| 对外 API | Go/Java BFF + Python AI 服务 | 接入高并发;AI 生态在 Python | 小团队全 Python |
| AI 编排 | LangGraph(复杂)/ 手写 Service(简单 FAQ) | 多分支、记忆、checkpoint、流式 | Temporal + 自研 |
| LLM 零件 | LangChain 或薄 HTTP 封装 | 模型、Prompt、结构化输出 | 直接 OpenAI SDK |
| LLM 推理 | vLLM / Ollama 内网 + 云 API 兜底 | 成本、隐私、延迟 | 纯商用 API |
| 向量库 | 大规模 Milvus/Qdrant;小规模 pgvector | 语义检索 FAQ | OpenSearch kNN |
| 业务库 | PostgreSQL | 会话、工单、checkpoint | MySQL |
| 缓存 | Redis/Valkey | 会话热数据、语义答案缓存、限流 | — |
| 消息队列 | Kafka | 日志、评测、索引异步化 | Redis Stream |
| 可观测 | OTel + Langfuse | 链路 + Prompt/节点级 debug | LangSmith |
| 知识入库 | CronJob / Airflow + 切块 | 文档→向量版本一致 | — |
3.2 MVP vs 生产
| MVP(1~2 个月) | 生产(类 agentic-rags) | |
|---|---|---|
| 编排 | 线性 RAG:检索→生成(类 game-reco) | LangGraph:路由 + RAG + Tool + 记忆 |
| 向量 | pgvector 与业务同库 | 独立 Milvus / Qdrant |
| 多轮 | Redis 存最近 N 轮 | PG checkpoint + thread_id |
| 转人工 | 关键词 + 置信度阈值 | 意图分类 + 敏感词 + 用户按钮 |
四、核心数据流
4.1 用户提问(主路径)
口述要点:
- 先落库再调 AI,避免丢消息。
- 读路径:记忆 → 路由 →(缓存 | 向量 | API)→ LLM。
- 返回:
confidence、source_ids,供转人工与审计。
与 listing_agent_query 同构:retrieve_memories → smart_routing → cache/vector/SQL → generate。
4.2 知识库更新(离线 / 准实时)
运营上传文档 / CMS 改文章
→ 对象存储 (S3)
→ 切块 + Embedding Job (K8s Cron / Airflow)
→ 写入向量库 (doc_id, version)
→ 可选:新 collection 蓝绿切换4.3 转人工
触发:用户点击 | confidence < 阈值 | 敏感词 | 连续无法理解
→ Conversation Service 创建 ticket (waiting_agent)
→ 推送坐席队列
→ 展示:最近 N 轮 + AI 草稿(可选)4.4 反馈闭环
点踩 / 坐席改正
→ Kafka 事件
→ 评测表 + trace_id
→ 离线:回归集、调 Prompt、调路由阈值五、关键设计决策(追问)
| 问题 | 答法要点 |
|---|---|
| 为什么拆 BFF 和 AI 服务? | 发布节奏、依赖、语言栈不同 |
| 为什么需要向量库? | 问法多样,关键词漏召回 |
| 为什么还要 SQL/Tool? | 订单号等精确查询,向量不适合 → 混合 + 路由 |
| 语义缓存? | 降成本、降延迟(listing RAG 同款) |
| LangGraph 必须吗? | 简单 FAQ 不必;多数据源/多轮建议用 |
| 幻觉怎么控? | 检索约束、引用、低置信转人工、写操作只信 Tool |
| 多租户? | tenant_id 进 cache key、collection、Prompt |
六、非功能(加分项)
| 维度 | 做法 |
|---|---|
| 可用性 | LLM 超时 → 模板回复 + 转人工;向量超时 → 关键词降级 |
| 性能 | 流式首 token;检索与 LLM 分阶段 SLA;异步 webhook(现有模式) |
| 安全 | Prompt 注入防护;日志 PII 脱敏;Tool 用用户 token 防越权 |
| 成本 | 语义缓存;小模型路由;大模型只负责生成 |
七、面试话术
30 秒
AI 客服分 会话服务、AI 编排、知识库、人工 四层。BFF 扛流量;Python 做 意图路由 + RAG + Tool 查业务库,复杂流程用 LangGraph,LLM 优先自托管。消息落 PostgreSQL,FAQ 走向量库,相似问法走 Redis 语义缓存,低置信转人工,全链路 Langfuse/OTel 追踪。
2 分钟
用户消息先进 Conversation Service 落库,再调 Orchestrator:会话记忆 → 路由到 FAQ 向量检索或订单 API → LLM 生成并带引用和置信度。知识库离线切块入 Milvus。MVP 可用 pgvector + 单 Service 线性 RAG;规模上来再拆向量库、加缓存和 LangGraph。Kafka 做日志与评测异步化,部署在 K8s。
结合项目经历
房源场景已实践:记忆、smart routing、SQL/向量/RAG 分支、语义缓存、FastAPI + webhook,与 AI 客服是同一架构模式,领域从帮助文档换成 listing/房源,Tool 换成订单/用户 API。
八、平台 vs 自研(一句)
| 低代码 (Dify/Coze) | 自研 (LangGraph + 自建) | |
|---|---|---|
| 适合 | PoC、标准 FAQ | 深耦合业务 API、合规、自定义路由与评测 |
| 风险 | 定制与数据出境受限 | 工程与运维成本高 |
九、相关文档
| 文档 | 内容 |
|---|---|
| 00-langchain-langgraph-for-backend-dev.md | LangChain / LangGraph 分工 |
| 02-architecture.md | listing RAG 分层架构 |
| 05-api-workflow.md | API 与主工作流 |
文档版本:2026-05 · 面试系统设计参考
相对 Intercom Fin、Zendesk AI、企业知识库 Copilot、Dify 生产版 这类成熟问答机器人,agentic-rags(Listing RAG) 在「引擎层」已经不错(路由、RAG、缓存、记忆、多向量库),差距主要在 产品化、质量闭环、可靠性治理、运营能力。下面按 目标 → 差距 → 可做什么优化 来组织,方便面试和排期。
一、先定「优化目标」有哪些
成熟 AI 客服 / 问答机器人通常同时追这些目标(会互相 trade-off):
| 目标 | 含义 | 业务上怎么体现 |
|---|---|---|
| 回答质量 | 准、全、少幻觉、有依据 | 用户觉得「真的在帮我找房」 |
| 延迟与体验 | 首字快、全流程 P99 可控 | App 里不卡顿、可流式 |
| 成本 | 单次问答 Token / GPU 花费 | 量级上来还能扛 |
| 可靠性 | 路由错了能兜底、依赖挂了能降级 | 少「答非所问」、少 500 |
| 安全与合规 | 注入防护、越权、PII、审计 | ToB / 上线必备 |
| 可运营 | 运营能改知识、看效果、A/B | 不靠改代码发版 |
| 可观测与迭代 | 知道哪类问题答不好 | 持续变准 |
| 工程可维护 | 团队能改、能测、能扩 | 少 duplicate、少巨型文件 |
你们项目 强项:编排(LangGraph)、smart routing、语义缓存、记忆、Milvus hybrid(部分)、Langfuse。
弱项(分析文档 + 代码现状):认证/后台、评测闭环、路由置信度治理、产品化能力。
二、按目标拆解:可优化什么
1. 回答质量(Accuracy / Grounding)
相对成熟产品的差距
| 现状 | 成熟产品常见做法 |
|---|---|
| 向量 Top-K → 直接生成 | Rerank(交叉编码器)再喂 LLM |
| smart_routing 一次决策,错了整链偏 | 低置信 二次路由 或 多路召回合并 |
| 有 SQL refine 环,RAG 侧缺「检索为空 / 答案不可信再检」 | Self-RAG / CRAG:检索质量评估 → 重写 query 再检 |
引用 listing 有 mentioned_listings,用户侧「依据」弱 | 答案里 强制引用 chunk + 链接,不可编造字段 |
| TOON / MD 双索引,选型靠参数 | 生产侧 默认融合策略 + 离线评测定格式 |
可做的优化(对应目标:质量)
- 加 Rerank 节点(BGE-reranker / Cohere),在
search_vector_db和format_context之间。 - 路由置信度阈值:
confidence < τ→ 强制 RAG+SQL 双查或转「澄清问题」节点。 - 检索为空 / 低分:触发 query rewrite(1~2 次,有上限),避免硬生成。
- 生成后校验(轻量):检查 answer 里价格/地址是否在 context 内;不过 → 降级话术。
- 建立 黄金评测集(100~500 条真实问法),每次改 prompt/路由跑回归(已有 Giskard 可选,需常态化)。
2. 延迟与体验(Latency / UX)
差距
| 现状 | 成熟产品 |
|---|---|
| 主路径串行:记忆 → 路由 → 缓存/检索 → 生成 | 可 并行(记忆 + 路由预分类) |
| webhook 异步好,但同步 wait 路径仍长 | 流式 token 到客户端 + 中间「正在查房源…」 |
| 语义缓存命中才快 | 热门 query 预热、按地区/用户分桶缓存 |
| 多 graph(qdrant/milvus/agent)增加认知成本 | 对上游 单一 SLA 接口,内部选 backend |
可做的优化(目标:体验)
- 节点级 耗时预算:路由用小模型 / 规则,大模型只生成。
- 并行 fan-out:
retrieve_memories与 粗检索 同时进行(需注意 state 合并)。 - 统一 SSE 流式 到 App(不仅 webhook 给 backend)。
- 缓存 key 加 业务维度(城市、tenant),提高命中率。
- 对「只要列表不要长文」的意图 → 结构化 JSON 响应 短路径,跳过长生成。
3. 成本(Cost)
差距
| 现状 | 成熟产品 |
|---|---|
| 已有语义缓存(亮点) | 分层:精确缓存 → 语义缓存 → 小模型 → 大模型 |
| 每次可能走完整 LLM 路由 | 高频 FAQ 规则/embedding 分类 跳过 LLM 路由 |
| 长 context 全塞 prompt | Context 压缩、只保留 Top-N chunk 摘要 |
| 双向量库双栈运维成本 | 生产 单一主 backend,另一套只做过渡 |
可做的优化(目标:成本)
- 路由:规则 + 小分类模型 处理 60% 高频意图,LLM 只处理长尾。
- 缓存:Prompt 版本 + embedding 版本 进 cache scope(部分已有),避免错用旧答案。
- 生成:max_tokens / 模板化 简短答复;复杂再「展开详情」。
- 离线批处理 embedding;在线只 query embedding。
- 指标:$/1k queries、缓存命中率、路由分布 — 驱动优化优先级。
4. 可靠性与容错(Reliability)
差距
| 现状 | 成熟产品 |
|---|---|
smart_routing one-shot(smart_routing_graphs.py 注释即说明) | 失败重试、备选路径、熔断 |
| SQL 有 refine loop;Graph/RAG 弱 | 统一 「主路径失败 → 备选路径」 表 |
| Milvus/Qdrant/LLM 任一超时 | 分级降级:仅 SQL → 仅关键词 → 固定文案 + 转人工 |
| checkpoint 依赖 PG,失败则无 checkpointer | 健康检查 + 无状态降级模式 文档化 |
遗留 listing_agent/ 与 agent/ 双份代码 | 易修一处漏一处 |
可做的优化(目标:可靠)
- 路由输出加 policy 层:不只信 LLM 字符串,用枚举 + 校验。
- Timeout / 熔断 包在每个外部调用(Milvus、LLM、PG SQL)。
- 定义 Degrade L1/L2/L3(与 AI 客服文档一致),自动化测试降级路径。
- 删除或归档 duplicate 目录,单一
agent/源码。 - 双写/对账:ingest 后抽样 query 验证向量可查。
5. 安全与合规(Safety / Compliance)
差距(产品分析:认证 0%)
| 现状 | 成熟产品 |
|---|---|
/listing/query 层未见统一 auth | API Key / JWT / mTLS;按 user 隔离 memory |
| Prompt 注入、越权查他人会话 | 输入过滤 + 输出策略 |
| Giskard 在 optional eval | CI 安全扫描 进流水线 |
| 日志可能含 query PII | 脱敏、 retention 策略 |
可做的优化(目标:安全)
- Gateway 或 FastAPI:鉴权 + rate limit(Redis 你们熟)。
user_id/chat_id绑定校验,防 horizontal privilege。- Guardrails 节点:敏感词、禁止承诺价格/法律结论。
- Tool/SQL:只读账号 + 行级(按 agent MLS id 等)。
- 审计日志:谁问了什么、用了哪条 listing 来源(合规)。
6. 可运营(Operability)
差距(管理后台 0%、数据分析 ~20%)
| 现状 | 成熟产品 |
|---|---|
| 知识更新靠 graph ingest / 脚本 | CMS:文档上下线、立即生效 |
| 改 prompt 要发版 | Prompt 配置中心 / 按 tenant 版本 |
| 运营看不到「坏答案」 | 控制台:会话回放、点踩、一键加 FAQ |
| A/B 靠换 linearization 参数 | 实验平台:流量 %、指标对比 |
可做的优化(目标:运营)
- 轻量 Admin API:重载 cache、触发 re-embed、禁用某 listing。
- Bad case 队列:来自 webhook/点踩 → 人工标注 → 进评测集。
- Prompt / 路由阈值 环境变量 → 配置表,热更新。
- 与 backoffice-cms 类系统集成:帮助文档即 RAG 源。
7. 可观测与迭代(Observability / MLOps)
差距
| 现状 | 成熟产品 |
|---|---|
| Langfuse 有接入 | 固定 dashboard:质量、延迟、路由分布、缓存命中 |
| 缺系统化评测 | RAGAS / 自建指标:faithfulness、context recall |
| trace 有,缺与业务关联 | answer_id ↔ listing 点击/转化 闭环 |
可做的优化(目标:迭代)
- 每 answer 打 trace_id,backend 回传 用户是否满意/是否点击 listing。
- weekly 离线评测 + 路由/confidence 校准。
- 节点级 metrics(Prometheus):各 node P95、错误率。
- 路由混淆矩阵:该走 RAG 却走 SQL 的样本专项优化。
8. 工程可维护(Maintainability)
差距(08 章已点出)
- 19 个 graph、EnhancedQueryState 字段多。
- Milvus hybrid 有,Qdrant 路径能力不一致。
- 测试:集成多、路由/缓存/边界 单测不足。
可做的优化(目标:可维护)
- Graph 合并/分层:对外 3~4 个 assistant,内部 subgraph。
- State 拆子 state 或 pydantic 模型分域。
- 契约测试:
/listing/queryrequest/response 与 real-backend-api 固定。 - 核心路径 表驱动测试(given query → expect route + 是否命中缓存)。
三、总览:目标 × 优化 × 优先级
| 优先级 | 目标 | 建议动作 |
|---|---|---|
| P0 | 安全 + 可靠 | 鉴权、限流、降级路径、路由枚举校验 |
| P0 | 质量(低成本) | 路由 confidence 阈值、检索为空 rewrite、黄金评测集 |
| P1 | 质量 + 成本 | Rerank、缓存策略优化、小模型路由 |
| P1 | 体验 | 流式、并行节点、结构化短答 |
| P2 | 运营 | Admin、bad case、Prompt 配置化 |
| P2 | 工程 | 去重复代码、graph 收敛、契约测试 |
| P3 | 进阶 Agent | 多轮 reflect 环(仅在高价值场景) |
四、和「成熟问答机器人」的功能对照(还差什么)
| 能力 | 本项目 | 成熟产品 |
|---|---|---|
| 多轮对话 | ✅ checkpoint + memory | ✅ |
| RAG | ✅ 双格式 + hybrid(Milvus) | ✅ + rerank |
| 结构化查询 | ✅ SQL/Graph 路由 | ✅ |
| 语义缓存 | ✅ | ✅ |
| 转人工 / 低置信 | ⚠️ 有 confidence 字段,产品策略未闭环 | ✅ 完整工单流 |
| 引用与溯源 | ⚠️ 内部 listing id | ✅ 用户可见引用 |
| 运营后台 | ❌ | ✅ |
| 评测与 A/B | ⚠️ 可选 Giskard | ✅ 常态化 |
| 安全治理 | ⚠️ 弱 | ✅ |
| 多租户 | ⚠️ 部分 cache namespace | ✅ |
五、面试 / 对内沟通怎么说
Listing RAG 在 编排层 已经对齐业界 agentic RAG:路由、记忆、缓存、多数据源。和成熟 AI 客服的差距主要在 质量闭环(rerank、评测、置信度策略)、产品化(运营后台、转人工)、安全与 SLO(鉴权、降级)。
优化不会一上来做「更自主的 Agent 循环」,而是先 P0:可信、可测、可上线;再 P1:更准更省;最后才考虑复杂 multi-agent。
如果你希望,我可以把以上内容整理成 PROJECT_ANALYSIS/14-optimization-roadmap.md,并按 Q1/Q2 可排期项 拆成表格,方便你写 OKR 或 Jira。