大模型Agent-应用小记【转载】

张开发
• 2026/4/4 23:08:45 • 15 分钟阅读

最新文章

推荐文章

相关文章

分享文章

大模型Agent-应用小记【转载】
参考资料万字长文解读LLM Agent总体框架、经典论文与实践万字长文解析Agent框架中的上下文管理策略从Claude Code入手看Agent框架设计思路基础篇Agent基础Agent基本定义LLM工具调用 / 长期记忆能力 / 规划能力上下文管理是什么是上下文工程上下文卸载与检索(Context Offload Retrieval)将信息转移到文件系统中将上下文卸载到文件系统紧凑化, Compaction信息可逆压缩信息并未真正丢失——它们只是被卸载到文件系统中了随时可以重新加载进来推理前检索 vs. Just-in-time检索灵活性搜索的内容可以根据当前需求动态调整不受预索引的限制。RAG 索引需要定期更新而直接搜索始终反映最新状态渐进式寻找例如在debug的时候Agent 可以像人类一样先 grep 查找函数定义再搜索调用这个函数的位置然后打开某个文件查看上下文——每一步都基于前一步的结果上下文摘要(Context Summarization)信息有损所以需要将原始完整内容持续化保持到文件中上下文隔离多智能体架构节省主Agent的上下文权限控制特定领域专业化节约调用成本上下文缓存KV Cache能复用相同prefix的结果。例如在多轮对话中前几轮的历史内容可以作为prefix被缓存后续请求只需处理新追加的内容。这样即使上下文很长TTFTTime to First Token首字延迟仍能保持很低常见QAQ什么时候使用紧凑化摘要化A应当优先采用可逆的紧凑化策略如将大文件输出写入磁盘只保留路径。但当已经无法再紧凑化而且上下文也确实即将耗尽时再使用带备份的摘要化——完整dump聊天记录然后再摘要这样就可以让有损的压缩变得可恢复这两种手段结合起来Agent 理论上就能够处理无限长的任务而无需无限大的上下文窗口同时保留了关键信息上下文工程

更多文章