除非绝对必要,避免在迭代过程中动态添加或移除工具。主要有两个原因:
1️⃣在大多数 LLMs 中,工具定义在序列化后位于上下文的前部,通常在系统提示之前或之后。因此,任何更改都会使所有后续动作和观察的 KV 缓存失效。
2️⃣当之前的动作和观察仍然引用当前上下文中不再定义的工具时,模型会感到困惑。如果没有受限解码,这通常会导致模式违规或幻觉动作。
Manus 使用了一个上下文感知的状态机来管理工具的可用性。它不是移除工具,而是在解码时屏蔽 Token 的 logits,以根据当前上下文防止(或强制)选择某些动作。
当用户提供新输入时,Manus 必须立即回复,而不是执行动作。还特意设计了带有一致前缀的动作名称——所有与浏览器相关的工具都以 browser_开头,命令行工具以 shell_开头。这使我们能够轻松地强制代理在特定状态下仅从某一组工具中选择,而无需使用有状态的 logits 处理器。
使用文件系统作为上下文
现代前沿的 LLMs 现在提供 128K 令牌或更多的上下文窗口。但在现实世界的代理场景中,这通常不够,有时甚至成为负担。
1️⃣观察数据可能非常庞大,尤其是当 Agent 与网页或 PDF 等非结构化数据交互时。很容易超出上下文限制。
2️⃣即使窗口技术上支持,模型性能在超过某个上下文长度后往往会下降。
3️⃣长输入代价高昂,即使使用前缀缓存也是如此。你仍然需要为传输和预填充的每个标记付费。
许多 Agent 系统会实施上下文截断或压缩策略。但过度激进的压缩不可避免地导致信息丢失。从逻辑角度来看,任何不可逆的压缩都存在风险。
将文件系统视为 Manus 中的终极上下文:它大小无限,具有持久性,并且可以由代理自身直接操作。模型学会按需写入和读取文件——不仅将文件系统用作存储,更作为结构化的外部化记忆。
Manus 的压缩策略始终设计为可恢复的。例如,只要保留网页的 URL,就可以从上下文中删除网页内容;只要沙箱中仍有文档路径,就可以省略文档内容。
通过复述操控注意力
在处理复杂任务时,它倾向于创建一个 todo .md 文件,并随着任务的推进逐步更新,勾选已完成的事项。
一个典型任务平均需要大约 50 次工具调用。这是一个很长的循环——由于 Manus 依赖 LLMs 进行决策,它容易偏离主题或忘记早期目标,尤其是在长上下文或复杂任务中。
通过不断重写待办事项列表,Manus 将其目标念到上下文的末尾。这将全局计划推入模型的近期注意范围,避免了“中途丢失”问题并减少了目标不一致。
保留错误内容
语言模型会产生幻觉,环境会返回错误,外部工具会出现异常,意想不到的边缘情况随时都会出现。在多步骤任务中,失败不是例外;它是循环的一部分。
一个常见的冲动是隐藏这些错误:清理痕迹,重试操作,或者重置模型状态。抹去失败就抹去了证据。而没有证据,模型就无法适应。
改善智能体行为的最有效方法之一看似简单:在上下文中保留错误的路径。当模型看到失败的操作——以及由此产生的观察结果或堆栈跟踪时——它会隐式地更新其内部信念。这会使其先验远离类似的操作,减少重复同样错误的可能性。
不要被秒杀
少样本提示是提升 LLM 输出效果的常用技术。但在智能体系统中,它可能以微妙的方式适得其反。
语言模型是出色的模仿者;它们会模仿上下文中的行为模式。如果你的上下文充满了类似的过去行动-观察对,模型往往会遵循这种模式,即使这已不再是最优选择。
Manus 在行动和观察中引入少量结构化的变化——不同的序列化模板、替代措辞、顺序或格式上的细微噪声。这种受控的随机性有助于打破模式,调整模型的注意力。
1️⃣在大多数 LLMs 中,工具定义在序列化后位于上下文的前部,通常在系统提示之前或之后。因此,任何更改都会使所有后续动作和观察的 KV 缓存失效。
2️⃣当之前的动作和观察仍然引用当前上下文中不再定义的工具时,模型会感到困惑。如果没有受限解码,这通常会导致模式违规或幻觉动作。
Manus 使用了一个上下文感知的状态机来管理工具的可用性。它不是移除工具,而是在解码时屏蔽 Token 的 logits,以根据当前上下文防止(或强制)选择某些动作。
当用户提供新输入时,Manus 必须立即回复,而不是执行动作。还特意设计了带有一致前缀的动作名称——所有与浏览器相关的工具都以 browser_开头,命令行工具以 shell_开头。这使我们能够轻松地强制代理在特定状态下仅从某一组工具中选择,而无需使用有状态的 logits 处理器。
使用文件系统作为上下文
现代前沿的 LLMs 现在提供 128K 令牌或更多的上下文窗口。但在现实世界的代理场景中,这通常不够,有时甚至成为负担。
1️⃣观察数据可能非常庞大,尤其是当 Agent 与网页或 PDF 等非结构化数据交互时。很容易超出上下文限制。
2️⃣即使窗口技术上支持,模型性能在超过某个上下文长度后往往会下降。
3️⃣长输入代价高昂,即使使用前缀缓存也是如此。你仍然需要为传输和预填充的每个标记付费。
许多 Agent 系统会实施上下文截断或压缩策略。但过度激进的压缩不可避免地导致信息丢失。从逻辑角度来看,任何不可逆的压缩都存在风险。
将文件系统视为 Manus 中的终极上下文:它大小无限,具有持久性,并且可以由代理自身直接操作。模型学会按需写入和读取文件——不仅将文件系统用作存储,更作为结构化的外部化记忆。
Manus 的压缩策略始终设计为可恢复的。例如,只要保留网页的 URL,就可以从上下文中删除网页内容;只要沙箱中仍有文档路径,就可以省略文档内容。
通过复述操控注意力
在处理复杂任务时,它倾向于创建一个 todo .md 文件,并随着任务的推进逐步更新,勾选已完成的事项。
一个典型任务平均需要大约 50 次工具调用。这是一个很长的循环——由于 Manus 依赖 LLMs 进行决策,它容易偏离主题或忘记早期目标,尤其是在长上下文或复杂任务中。
通过不断重写待办事项列表,Manus 将其目标念到上下文的末尾。这将全局计划推入模型的近期注意范围,避免了“中途丢失”问题并减少了目标不一致。
保留错误内容
语言模型会产生幻觉,环境会返回错误,外部工具会出现异常,意想不到的边缘情况随时都会出现。在多步骤任务中,失败不是例外;它是循环的一部分。
一个常见的冲动是隐藏这些错误:清理痕迹,重试操作,或者重置模型状态。抹去失败就抹去了证据。而没有证据,模型就无法适应。
改善智能体行为的最有效方法之一看似简单:在上下文中保留错误的路径。当模型看到失败的操作——以及由此产生的观察结果或堆栈跟踪时——它会隐式地更新其内部信念。这会使其先验远离类似的操作,减少重复同样错误的可能性。
不要被秒杀
少样本提示是提升 LLM 输出效果的常用技术。但在智能体系统中,它可能以微妙的方式适得其反。
语言模型是出色的模仿者;它们会模仿上下文中的行为模式。如果你的上下文充满了类似的过去行动-观察对,模型往往会遵循这种模式,即使这已不再是最优选择。
Manus 在行动和观察中引入少量结构化的变化——不同的序列化模板、替代措辞、顺序或格式上的细微噪声。这种受控的随机性有助于打破模式,调整模型的注意力。