Self-Refine：通过针对性地反馈 (Feedback) 调整循环来引导 AI 输出更好的答案。

上周吴恩达教授在 The Batch 中聊到了智能体 (AI Agent) 工作流设计模式中的反思模式 (https://m.okjike.com/originalPosts/6607dc65a922aa28d05cbbc7?s=ewoidSI6ICI2NGI3NDBlNWI4Yzc1YTFiYjhkNDA0YjciCn0=)，并推荐了三篇论文：
- Self-Refine (https://arxiv.org/abs/2303.17651)
- Reflexion (https://arxiv.org/abs/2303.11366)
- CRITIC (https://arxiv.org/abs/2305.11738)

读下来对我启发最大的是 Self-Refine，也是我认为能够在日常与 AI 对话中可以直接用得上的。如果你的工作会涉及到智能体 (AI Agent) 的工作流，Reflexion 和 CRITIC 可以参考一下，对于日常使用 AI 来说，不读问题也不大。模式都比较好理解，难的是工程上如何针对性地应用。

其中，Reflexion 的模式是有三个主要的角色加一个记忆模块 (Memory) 来实现：

1. 执行者（Actor）：就像一个尝试解决问题的人，它会根据当前的情况提出行动计划，并执行这些计划；

2. 评估者（Evaluator）：类似于一个老师或评委，它会评估执行者的行动计划是否有效，并给出成绩或反馈；

3. 反思者（Self-reflection）：当执行者的计划不够好时，反思者会帮助它理解哪里出了问题，并提出如何改进的建议。

就像人类在犯错后会思考如何改进一样，这个过程中，Actor 会尝试不同的行动，并从结果中学习。每当 Actor 完成一个步骤时，Evaluator 会评估 Actor 的表现，并记录下哪些做得好，哪些需要改进。这些记录被保存起来放到 Memory 模块中，以便在未来的尝试中让 Actor 参考，并在未来做出更好的决策。通过这样的尝试、评估和反思循环来更好地完成指定的任务。

整个过程参考图一。

CRITIC 则更好理解，就是借助外部工具来给 AI 提供更精确的反馈，然后让 AI 根据这些反馈来优化输出。过程大致如下：