ChatGPT 的记忆系统非常优秀,但是记忆系统资源消耗一般很大,OpenAI 是如何做到让记忆系统服务8亿用户的?
有人逆向工程了 ChatGPT 的记忆系统,发现 ChatGPT 的记忆系统比预想的要简单得多。
没有向量数据库,也没有对聊天记录进行 RAG。

相反,它使用了四个截然不同的层次:
适应你环境的会话元数据、
长期存储的明确事实、
近期聊天的轻量级摘要,
以及当前对话的滑动窗口。

这篇博客将详细分解每个层次的工作原理,以及为什么这种方法可能优于传统的检索系统。

它的核心就是一个四层上下文堆栈。
每次对话,AI都会构建这个“档案袋”,将关于你的所有关键信息一次性注入模型。
它由四个协同工作的层次组成。

第一层是临时的环境信息,比如你的设备和位置,会话结束即消失。
第二层则是你的永久个人档案,存储你要求它记住的关键事实。
第三层是你近期兴趣的“松散地图”,只包含聊天标题摘要,而非全文。
最底层则是当前对话的完整记录,像一个滑动窗口,保证即时连贯性。
如果窗口满了会怎样?

这个四层结构,是工程智慧的胜利。
它在个性化、性能和计算成本之间取得了完美的平衡,无需最复杂的系统也能提供最佳的用户体验。

这样,你拥有了一个既能快速响应,又感觉越来越懂你的智能助手。
文章配图:
ListenHub PPT

原文链接:https://manthanguptaa.in/posts/chatgpt_memory/
 
 
Back to Top