吹的太过了,实际上是一篇有启发的小作文。
在对齐方面微调模型只需要很少量的高质量数据集就能出不错的效果。
而且这些高质量数据集编写起来需要编写者的知识水平也是极高的。
这些高质量数据集的成本未必就比大量的低质量数据集成本低。
但是如果有一个高知人类共建的高质量数据集,大家都会受益。
Yann LeCun: LIMA :
LLaMA 65B + 1000 supervised samples = {GPT4, Bard} level performance.
From @MetaAI
https://arxiv.org/abs/2305.11206
在对齐方面微调模型只需要很少量的高质量数据集就能出不错的效果。
而且这些高质量数据集编写起来需要编写者的知识水平也是极高的。
这些高质量数据集的成本未必就比大量的低质量数据集成本低。
但是如果有一个高知人类共建的高质量数据集,大家都会受益。
Yann LeCun: LIMA :
LLaMA 65B + 1000 supervised samples = {GPT4, Bard} level performance.
From @MetaAI
https://arxiv.org/abs/2305.11206