模块三 · 大脑与记忆

上下文工程、KV Cache 意识、长期记忆与 RAG

如何设计可复用前缀并实测成本与时延？如何突破 Context 长度限制让 Agent 拥有长存记忆？本章揭秘高端 Agent 候选人的核心工程壁垒。

Context Window 解构与 Token 预算经济学

即使现代大模型支持 128k 甚至 1M 上下文，盲目塞入全部历史不仅导致延迟飙升，更会引发“Lost in the Middle”（中间信息遗忘）。优秀的 Harness 必须对上下文进行严格的预算配比与槽位切分。

System Prompt (25%)

Tools Schema (20%)

Memory / RAG (25%)

Recent History (20%)

Output Buffer (10%)

0 Tokens 8K 15K 23K 29K 32K (Limit)

极客分水岭：什么是“KV Cache 意识”？

⚡ 为什么顶尖大厂极其看重“KV Cache 意识”？

KV Cache 是推理时保存已处理 token 的注意力键值；跨请求的 Prompt Caching 是服务端可能提供的前缀复用功能。
相同前缀有利于复用，但是否命中、最小长度、保留期、计价及写入费用由具体模型与服务商决定；缓存也可能过期。应查看缓存 token 用量并实测成本和首字延迟。

动态内容靠前会缩短可复用的公共前缀；变化位置之前符合缓存条件的部分仍可能命中。请对比以下两种顺序：

动态内容靠前（可能缩短命中前缀）

[动态] 当前精确时间: 2026-11-08 17:28:10 可能缩短可复用前缀

[静态] 系统人格与核心原则 (2000字) 可能无法复用

[静态] 30个工具定义 Schema (5000字) 可能无法复用

[动态] 用户本次提问内容全价付费

稳定内容靠前（可能提高命中）

[静态] 系统人格与核心原则 (2000字) ✅ 符合条件时可能复用

[静态] 工具定义 Schema (固定顺序) ✅ 符合条件时可能复用

[较稳定] 长期记忆与高频知识库取决于内容和缓存策略

[动态末尾] 当前时间 + 对话历史 + 用户问题按服务商规则计费

交互式实算：KV Cache 成本与延迟对比计算器

在下面调节 Agent 每天运行的任务量与静态 System/Tools 上下文大小，直观感受 KV Cache 意识假设条件下的输入成本变化（时延需要另行实测）：

🧮 成本与时延计算器 (Prompt Cache Economics) 假设输入 $3/百万 token、缓存读取折扣 80%、静态前缀命中率 95%；不含写入费和输出

每日交互对话轮数 (Turns / Day): 5,000

静态 System+Tools 提示词大小: 8,000 Tokens

无 Cache 优化每月 API 账单： $3,825 / 月

应用 KV Cache 意识优化后账单： $1,089 / 月

每月直接节省资金： $2,736 / 月 (节省 72%)

首字响应延迟 (TTFT)：需实测，不由成本计算器推断

记忆系统 (Memory) 与 RAG 检索增强

人脑有短期记忆与长期海马体记忆。Agent 的记忆架构也分为四层：

工作记忆 (Working Memory)：即当前正在进行的循环中未被截断的几条最新消息，存放在内存中。
情节记忆 (Episodic Memory)：按时间先后记录的过去具体交互事件（如“2026年11月5日用户查询了特斯拉股票”）。
语义记忆 (Semantic Memory)：从历史对话中提炼出的泛化事实与用户画像（如“用户偏好简洁代码，习惯使用 TypeScript，对汇率敏感”）。
程序性记忆 (Procedural Memory)：经验与工作习惯（如“执行数据清洗任务必须先检查缺失值”）。

传统的纯向量检索在面对精确型号、人名、股票代码（如 NVDA、CVE-2026-1024）时经常失效。工业级 RAG 必须采用：

混合检索示意（分数量纲不同，需先归一化；也可采用排名融合）

Final_Score = α · Dense_Vector_Similarity (语义理解) + (1 - α) · BM25_Keyword_Match (精确词匹配) ➔ Re-ranker (交叉重排)

本章知识通关自测

1. [单选] 为什么在设计 Agent 的 Prompt 时，千万不能把“当前动态变化的时钟秒数”放在最顶部的第一行？