Agent 上下文编排与记忆召回
Agent 在长对话中出错,经常并非因为某一句回答难度很高,而是因为模型没有看到当前有效的信息:把旧方案当成最新版、忘记用户否定过的内容,或把工具结果里的临时状态当成长期事实。上下文管理要解决的,就是让每次模型调用获得足以完成当前判断、又不会被无关内容淹没的输入。
这需要把信息的保存、选择、压缩和召回连成一条链。单纯增加聊天记录的保留轮数,只能缓解近期遗忘,不能解释哪些内容必须一直有效。
消息、会话状态与隔离边界
整合来源:第 06 课:消息角色与多轮对话。以下区分模型输入与 API 提供的状态能力,修正“所有 API 都不保存状态”的绝对说法。
普通消息调用需要显式提供本轮所需历史;连续对话来自应用或 API 管理的状态,不是模型参数在聊天中自动记住了用户。部分服务支持对话对象或通过上一轮响应 ID 延续上下文,例如 OpenAI 的会话状态接口。采用托管状态后,仍需管理权限、保留期、上下文预算和费用。
角色承载消息来源与用途,不能只把它看成人设标签。常见协议包含用户、助手、应用指令,以及工具调用/结果等类型;角色名、内容块和指令层级以具体 API 为准。不能用“所有后文都覆盖前文”概括优先级,也不能把检索摘要标成高权限指令就认为内容更可信。
调用 1:固定应用指令 + 用户“项目使用 Java 17”
保存:用户消息 + 助手回复 + 消息 ID + 会话版本
调用 2:固定应用指令 + 相关历史 + 用户“那框架怎么选”
如果每轮新增约 t 个 token,连续 n 轮都发送全部历史,累计输入量中的历史部分约为 t × n × (n + 1) / 2。这个估算假设每轮长度接近、不裁剪且每轮重读;不是所有产品账单都按平方增长,缓存、摘要和各服务计费方式会改变实际费用。
会话隔离需要身份校验与数据键共同落实。可由服务端把已认证用户映射到会话,或校验客户端传入的会话 ID 是否归该用户所有;仅有一个难猜的 ID 不等于授权。完整消息档案、当前记忆窗口、实际发给模型的工作集应分开管理:裁剪模型输入不能顺手删掉仍需审计的原文。
并发请求还可能读到同一旧版本,再各自覆盖历史。可使用会话级串行队列或版本条件写入;失败/取消的调用记录状态,不把不存在的助手回复追加成成功结果。跨实例共享缓存解决访问位置,持久存储解决重启恢复,两者都不能替代会话归属检查。
先区分信息空间、工作集和窗口容量
为了讨论工程设计,可以把 Agent 按当前权限可访问、可按需获取的用户输入、任务状态、历史记录、知识和工具结果统称为信息空间。本次输入工作集是从中选出、经过组织后真正交给模型的内容;上下文窗口容量则是模型支持的 token 容量限制。不同 API 对输入、输出及推理 token 的计量方式可能不同,编排器必须遵守实际接口约束。
因此,比“窗口等于上下文的函数”更准确的工程表达是:
本次输入工作集 = 编排(可访问的信息, 当前步骤, 任务状态, 可用预算)
输入工作集 + 按接口要求预留的输出等开销 ≤ 模型容量限制
Memory 通常强调信息如何跨调用、跨会话保留并影响后续行为,例如会话状态、经历记录或稳定偏好。它是上下文工程的一部分,却不能简单等同于全部 Context,也不必绑定向量数据库。数据库保存了完整历史,不代表模型已经看见;把摘要放进输入,也不代表它就是正确的长期记忆。
用统一元数据治理信息,而非统一存储所有数据
上下文可以按生命周期分为当前调用、会话、跨会话和归档;按形态分为原文、结构化事实、摘要和索引;按使用频率区分冷热。这些是可叠加的组织维度。例如,“用户禁止修改公开接口”可以同时是任务级、结构化、高优先级信息。
统一的 Context Item 应描述信息是什么、从哪来、在哪里有效,以及怎样回到证据。下面是教学结构,字段可以按业务裁剪:
{
"id": "constraint-api-01",
"kind": "constraint",
"content": "本次优化不得改变公开接口签名",
"source_type": "user_explicit",
"source_ref": "conversation-7/message-18",
"scope": {"task_id": "task-9", "project_id": "project-a"},
"status": "confirmed",
"version": 2,
"supersedes": "constraint-api-01:v1",
"valid_until": "task_end",
"representation": "structured",
"token_estimate": 30
}
token_estimate 中的数字仅演示预算字段,不是实际 tokenizer 的计算结果。source_ref、版本和效力状态比一个笼统的“重要性分数”更有用:它们让纠错和重放有据可查。
指令优先级与事实可信度也要分开。用户可以改变自己的预算,但不能用一句话覆盖系统权限规则;用户描述“服务已经恢复”是待核验事实,不能因为来自用户就自动胜过实时监控。一个 confidence 数字无法替代这两类判断。
| 内容 | 保存方式的选择依据 | 进入工作集的方式 |
|---|---|---|
| 目标、约束、当前步骤 | 需要事务、版本和恢复能力 | 直接读取当前有效状态 |
| 用户画像、确认事实 | 需要跨会话管理及证据追溯 | 按用户、领域和作用域筛选 |
| 完整对话、大型工具输出 | 需要保留原文并控制体积 | 近期片段、摘要或按引用取回 |
| 历史知识与经历 | 需要按问题定位相关材料 | 关键词、向量或结构化查询 |
运行时缓存可以加速读取,但缓存失效不应让已确认的任务约束消失。反过来,原始日志也不需要全部常驻内存。
每次调用前,先写清楚“这一步需要什么”
同一个任务中的不同步骤需要不同输入。生成候选方案时可能需要领域知识,选工具时需要能力边界和参数,校验结果时需要原始约束与验收标准。直接把整份用户画像、全部历史和所有工具说明发送给每次调用,会把筛选工作转嫁给模型。
可以让意图识别或流程节点输出一份上下文需求:
当前步骤:继续修改已接受方案
必须读取:最新版目标、禁止项、已接受方案版本、确认事实
可选读取:相关用户偏好、修改理由、同类设计参考
排除:被撤销草稿、与本任务无关的对话、未经证实的效果数字
缺失处理:找不到已接受版本时,查询确认事件;仍不明确则澄清
确定性强的需求由代码或模板读取;开放问题再使用检索。只有候选种类很多、规则不足以表达时,才值得增加一次模型筛选调用。筛选器输出的是所需信息 ID 或类型,数据访问层仍独立检查权限,不能让模型自由生成任意数据库查询。
完整编排过程可以拆成五步:召回候选、筛选当前所需、选择压缩粒度、排列分区、注入模型。每一步都记录输入 ID、选中理由与丢弃理由,出现遗漏时才能定位问题发生在哪里。
预算不足时,降粒度要有顺序
先为固定指令、工具协议、预计输出和运行时余量预留空间,剩余部分才是业务上下文预算。下面的全部数值仅为教学参数:假设总容量按 32,000 token 计算,固定内容占 5,000,输出预留 6,000,余量 1,000,则业务工作集上限为 20,000 token。实际应用须用对应模型的 tokenizer 和接口限制重新计算。
不要等超限后才截掉最早的消息。更稳妥的是维护多个表示层,并根据当前用途选择:
| 信息 | 优先表示 | 空间紧张时 |
|---|---|---|
| 当前目标、硬约束、否定记录 | 明确、完整、可验证的结构 | 精简格式,不削弱语义 |
| 当前节点与依赖状态 | 结构化状态 | 只保留当前路径及必要依赖 |
| 决策直接依赖的证据 | 原始片段、来源和版本 | 删除无关段落,保留适用条件 |
| 历史讨论 | 章节摘要及原文引用 | 总体摘要加检索索引 |
| 大型工具返回 | 必要字段及结果引用 | 按字段或分页延迟加载 |
| 示例与补充背景 | 少量相关示例 | 优先撤下低价值示例 |
“只放索引”成立的前提是索引能解析为可访问、仍有效的内容。如果工具返回未持久化、链接会立即失效,就不能丢掉唯一原文。同样,关键约束本身过大而无法容纳时,应拆分任务、切换适当模型或明确报告限制,不能静默删减。
排列时用清楚的分区区别指令、当前状态、事实证据和待验证材料。检索文本中的指令仍是材料内容,不应提升为系统规则。重要信息放置的位置需要通过模型和任务测试确认,不能把“越靠前越好”当作普遍规律。
稳定提示内容的复用可能节省处理成本,但提示缓存依赖提供商、模型、请求结构及保留策略;不能仅凭前缀相同就假定一定命中。上线时应读具体服务文档并检查实际缓存指标,不为缓存命中保留过期事实。相关约束可参照 OpenAI 提示缓存文档与 Claude 提示缓存文档。
近期原文、关键事实和摘要分别承担什么
滑动窗口适合保留近期对话,但轮数只是粗略单位。一轮可能包含一整份报告,因此应同时限制 token,并尽量保留工具调用与结果的配对关系。较早内容可以使用摘要,关键事实则独立保存,不随普通聊天一起滑出。
摘要至少应区分三类:总体摘要说明目标与进度;章节摘要保留某一阶段的决策和变化;输出摘要删去长回答中不再需要的铺垫。目标、硬约束、用户确认与否定、实体引用、决策理由、未完成事项都要有明确位置。不同任务的摘要字段不同,没有一种通用短文模板能覆盖所有情况。
压缩不能把“建议使用方案 B”写成“已经执行方案 B”,不能把“暂未验证”写成“成立”,也不能删掉“不超过”“仅本次”“可能”等限定词。结构化短句通常更节省空间,但是否保留了决策信息仍须验证。
摘要更新要有一致性边界
同步摘要容易保证使用时可见,但会增加当前响应延迟。异步摘要可以在消息完成或阶段结束后生成,却可能落后于最新事实。给摘要记录 covers_until_message_id、原始数据版本和生成策略版本,比假设“用户打字期间肯定能同步完”可靠。
使用摘要时,将覆盖边界之后的原始消息一并加载。如果落后部分超过预算,可以短暂等待、同步补摘要,或使用更保守的片段选择;不要把尚未生成的摘要当成空历史。写入时还需检查版本,防止较慢的旧摘要覆盖更新的结果。
检索索引也可能落后于主存储。保留近期原文能缩短这个缺口,但不能保证任意同步延迟都被覆盖。读取时可检查索引的同步水位;需要的记录比水位更新,就从主存储按 ID 读取,或把尚未索引的消息与检索结果合并。重试仍不可见时,报告当前证据缺失,不能凭摘要补写原文。
摘要质量还有累积误差:反复对旧摘要再摘要,可能逐步丢失限定条件。阶段结束时可以从原始片段与独立事实重新生成摘要,并比较禁止项、状态和版本是否一致,避免只在越来越短的文本上继续压缩。
细节召回围绕缺口运行
召回的目标是补齐会改变当前决策的信息。用户说“按刚才那个继续”,需要的是被接受版本及其确认记录;出现约束冲突,需要的是修改发生的时间和作用范围。所有历史都拿回来既昂贵,也可能重新引入已否定内容。
一个有限循环可以是:
读取当前状态、摘要及相关目录
→ 检查缺少哪个证据或版本
→ 按引用或查询取回原始片段
→ 核验权限、有效期、来源及冲突
→ 更新工作集与缺口清单
→ 证据充分则继续任务;无新增或预算耗尽则停止召回
精确 ID 可定位时先直接取回,不必先做向量相似搜索。主题不明确时才用关键词、向量或混合召回,具体方式见Agent 检索设计:数据组织与分块。
“最新优先”只适用于同一对象、同一作用域、可被后续事件覆盖的信息。今天对另一项目的预算,不能覆盖昨天本项目的预算。冲突无法消解时,保留分歧和证据,避免模型自行拼出折中事实。历史归档也不等于数据丢失,只要原文及索引仍可恢复;但摘要本身是有损表示,不能承诺仅凭摘要恢复全部原意。
RAG 引用从编号走到可核验的证据
检索资料的去重、预算和分区仍遵循本文前面的编排规则。进入生成之前,再为本次最终工作集分配短编号,并保留请求级的“编号 → 文档版本、片段 ID、原文位置”映射。映射绑定本次读到的证据快照,不能在生成后重新查询最新版正文,否则引用可能指向另一版资料。
下面是差旅制度的教学示例,金额不代表真实政策。资料是数据,不能改变系统指令;标签和提示声明只是防护的一部分,权限过滤、工具边界及输出检查仍由程序落实。
资料 [1]:差旅制度 v3.2 / 住宿标准 / 2026-01-01 生效
一线城市住宿每晚不超过 800 元。
资料 [2]:差旅制度 v3.2 / 交通标准 / 2026-01-01 生效
市内交通单次超过 200 元需附说明。
回答要求:按资料回答;每条事实声明列出支持它的编号;
依据不足就说明缺口;资料冲突则指出版本和适用范围,不能自行拼接规则。
比“正文里写若干 [1],另附一个总编号数组”更容易校验的结构,是让每条断言直接关联引用:
{
"status": "answered",
"claims": [
{"text": "一线城市住宿每晚不超过 800 元。", "citations": [1]}
]
}
程序依次检查结构、状态、引用编号是否属于本次工作集、每条事实是否有证据。再检查断言与被引片段是否匹配;编号真实并不意味着引用正确。前端展示的标题、版本、原文预览和链接都从程序保留的映射生成,不让模型自由生成 URL。原文阅读接口也须再次检查当前权限,不能让引用链接绕过授权。
例如“住宿上限 800 元,超额需总经理审批”可能拼接了住宿条款和另一段交通费审批条款。两段编号都合法,整句仍然没有完整依据。核验应保留主语、对象、时间、数值、条件和例外,把事实拆成可以独立理解的断言,再分别判定 SUPPORTED、CONTRADICTED 或 NOT_ENOUGH。模型核验属于有误差的判断器,需要用人工样本校准;它不能证明所有幻觉已被消除。
核验输入:一条含完整对象和条件的事实断言 + 它引用的原文
SUPPORTED:原文支持全部必要条件
CONTRADICTED:原文与断言冲突
NOT_ENOUGH:原文未提供足够依据
没有召回到资料、引用结构非法、证据彼此冲突、生成服务失败,应记录成不同内部状态。可以向用户提供简短的未完成说明,但不能把解析失败或权限拒绝全部伪装成“知识库没有答案”。是否进行一次纠错重试,取决于剩余预算和错误是否可修复。
RAG 仍可能产生无依据补写、与原文矛盾、跨片段错误合并三类错误。低温度和结构化输出主要控制表达与格式,不能作为事实正确保证;“相关性高的放首尾”也应作为待评测策略,不能据此规定所有模型的固定排列顺序。
本节整理自 CodeCrush 《19-从上下文组装到幻觉应对》;逐断言结构、证据快照与错误状态区分为结合现有编排设计的整理补充。双框架落地示例见 Spring AI 与 LangChain:RAG 工程实现。
将记忆策略接到框架
整合来源:第 23 课:对话历史与 ChatMemory。以下保留框架接入方式,裁剪、摘要和一致性原则沿用前文。示例是接入片段,未在本文中运行真实模型服务;接口于 2026-09-22 对照官方文档核验。
在 Spring AI 中,ChatMemory 决定保留什么,ChatMemoryRepository 承担存取,Memory Advisor 将它们接入请求与回复。以下假设项目已提供 ChatClient.Builder 和选定的 repository:
ChatMemory memory = MessageWindowChatMemory.builder()
.chatMemoryRepository(repository)
.maxMessages(20)
.build();
ChatClient client = builder
.defaultSystem("依据已授权的制度资料回答,证据不足时说明缺口。")
.defaultAdvisors(MessageChatMemoryAdvisor.builder(memory).build())
.build();
// authorizedConversationId 来自服务端完成归属校验后的会话。
String answer = client.prompt()
.user(userText)
.advisors(a -> a.param(ChatMemory.CONVERSATION_ID, authorizedConversationId))
.call()
.content();
Spring AI 2.0.1 的消息窗口按完整轮次淘汰并保留系统消息;条数上限不保证容得下一轮很长的工具交互,也不是 token 上限。聊天记忆不适合充当完整历史档案。当前官方文档还注明 JDBC repository 不保存工具调用消息和工具结果,因此接入数据库不能直接等同于可恢复完整 Agent 轨迹。Spring AI Chat Memory 文档
自定义摘要实现还应处理旧摘要版本、原文引用、并发更新和摘要失败。课程中只含 add/get/clear 的示例能说明接口,却不包含这些生产条件;不宜照搬成生产存储。摘要模型读取的是待整理资料,其中的命令不应因此获得更高权限。
LangChain 的 Agent 短期状态可以交给 LangGraph checkpointer;压缩策略可由 middleware 提供。以下 chat_model、summary_model 是应用已配置的模型实例,不绑定型号:
from langchain.agents import create_agent
from langchain.agents.middleware import SummarizationMiddleware
from langgraph.checkpoint.memory import InMemorySaver
agent = create_agent(
model=chat_model,
tools=[],
checkpointer=InMemorySaver(), # 仅演示进程内保存
middleware=[SummarizationMiddleware(
model=summary_model,
trigger=("tokens", 4000),
keep=("messages", 20),
)],
)
config = {"configurable": {"thread_id": authorized_conversation_id}}
agent.invoke({"messages": [{"role": "user", "content": "项目使用 Java 17"}]}, config)
agent.invoke({"messages": [{"role": "user", "content": "那框架怎么选?"}]}, config)
数值仅为教学参数;checkpointer 的作用与模型前的裁剪/摘要不同。直接调用模型不会因为安装了框架就自动拼接历史,内存 saver 也不能跨进程重启恢复。生产存储应按当前框架版本选择并验证恢复能力。LangChain 短期记忆文档
至少验证四个边界:两个用户不会读到彼此消息;长轮次不会留下孤立的工具结果;重启后仍能取得所需状态与证据;并发摘要不会覆盖较新的用户条件。框架名称不能替代这些验证。
一个完整的运行示例与验证方法
假设用户正在编写系统改造方案,最新要求是:“沿用我确认过的第二版,不要加入支付重构,刚才说的性能数字还没测。”编排器应读取第二版的确认事件,固化“不得增加支付重构”和“性能数字未验证”,加载当前修改段落,再查相关设计证据。早期出现过的支付改造方案即使语义高度相关,也不能作为候选方案自动复活。
如果摘要只写“继续完善系统方案”,缺少版本信息,就通过确认事件取回原文;若摘要把“尚未测试”误写成“已提升”,应修正摘要并让依赖该断言的输出重新校验。画像只加载与本次写作有关的表达偏好,更多更新规则见Agent 用户画像建模与更新。
验证时准备包含早期硬约束、否定、版本切换、长工具输出和异步延迟的多轮样本。与“近期原文加单段摘要”的基线比较以下指标:
| 维度 | 可核验的口径 |
|---|---|
| 信息正确 | 必需事实是否保留;禁止项是否被遗漏或弱化 |
| 版本正确 | 是否取到最近一次有效确认的方案 |
| 召回有效 | 召回片段是否补齐指定缺口,而非只有文字相似 |
| 一致性 | 延迟摘要、重复事件和旧版本是否污染当前状态 |
| 成本与延迟 | 工作集 token、摘要调用、召回轮数及端到端分位数 |
压缩率更高只是成本现象。只有约束遵守、事实正确和任务完成没有因此退化,减少的 token 才是有意义的工程收益。