AI探索指南

  1. 语言模型的事实正确,政治正确是两大难点

    语言模型的事实正确,政治正确是两大难点。即便将来AGI出现也是会有类似的问题。所谓机器人三定律,三条根本不够。
    一种理想的情况是运行语言模型的成本降低,每个人可以在自己电脑上跑一个。不用跟其他人的语言模型进行观点碰撞。
    你的模型喜欢蔡徐坤
    我的模型喜欢周杰伦
    没关系
    不让它们聊天就好

  2. 语言模型的神奇之处,尽管只针对英语进行了训练,模型却能理解非英语的指令

    语言模型的神奇之处,尽管只针对英语进行了训练,模型却能理解非英语的指令。

    Jan Leike: With the InstructGPT paper we found that our models generalized to follow instructions in non-English even though we almost exclusively trained on English.

    We still don't know why.

    I wish someone would figure this out.