关于LLM自生成数据集，Sam Altman也说他们几乎不需要人工标注了。在开源拥有更多可能性的图景中，直接生成更高质量的数据集也成为趋势。

目前看到最新颖的相关研究是上个月微软和北大的WizardLM（基于开源的LLaMa 7B）【https://arxiv.org/abs/2304.12244】，模型能力上，复杂表现能够超越GPT3.5；研究方面也是少有的系统性地呈现自训练数据集的探索。

WizardLM把扩展数据集完全交给LLM。利用一个「精心设计」的prompt，模型自主将一个简单的问题/指令扩展、深化、复杂化。比如，可以从简单指令“1+1=？”扩展出更复杂、更具有难度的指令（图1）。简单翻了一下他们的prompt（虽然原本就是中国人写的XD）。

开玩笑地说，自生成数据集的路上，我们向着被LLM替代又近了一步。下一步很可能就是让LLM更有参照性地自生成prompt来自监督指令扩展，从而让训练更具效率。

* 这两天和老前辈工程师“友好交流”了LLM的表现，上一辈的技术人员相信精细的工艺和细末的细节，这是工业化的传统沉浸在程序和端口中的习性。但LLM明显更像一种认知体系、一种逻辑和行为的重塑框架，遵循着LLM，我们会走到更宏观的、边界模糊的世界中去吗？虽然有些过分乐观，但我常常“不得不”这样想。

🏩AI韦斯 •安德森版《哈利波特》
（图源@Panoramachannel）

一个可以创建AIGC应用的平台

可以在几分钟内创建 AI 驱动的应用程序，以文档/网页/Notion内容作为AI的语境，自动完成文本预处理、矢量化和分割。您不必再学习嵌入技术，从而节省数周的开发时间。

为您的应用程序带来丰富的工具功能：搜索、连接数据库、避免敏感词，甚至访问所有 API。完全兼容 ChatGPT 的插件标准。

原生支持 GPT 家族和 Claude 模型，兼容 LangChain 支持的所有 LLM。

平台 为模型访问、上下文嵌入、成本控制和数据注释提供了流畅的体验。无论是内部团队使用还是产品开发，您都可以轻松创建 AI 应用程序。

平台 原生提供两种类型的应用程序：对话和文本生成。两者都已在 GitHub 上开源。您可以基于它们创建您想要的应用程序。

PS:这是国人开发的，可以体验一下。

Web:https://dify.ai/

Meta ImageBind 多模态模型开源，我们离AGI又进一步。
当人类看到一辆行驶中的火车，不仅会使用视觉，还会听到声音，感知距离，感知速度。

ImageBind…