AI探索指南
北大卢菁： 1. 训练起来大模型和训练出有通用能力的模型完全是两码事。 目前国内大模型只能说训练起来了，但是远无技术壁垒，这是大厂本就应该具备的能力，并不值得骄傲。 2. 具备通用能力的大模型，入门参数量可能不是GPT3.5的175B，可能是GPT4的1.8T。而且这仅仅是必要条件，大规模的高质量语料也许才是现阶段除OpenAI以外其他企业真正的瓶颈所在。 3. 如果瓶颈真的在语料，我很悲观这会成为比芯片更大的壁垒。 因为人类最高质量的语料是书籍和论文，而真正高质量的书籍和论文掌握在西方世界手里。 …
而过去一些通过引入先验的方式提升模型能力，在参数量上去之后可能反过来制约了模型。

11. 语言只是世界的一个投影。真正的未来是多模态，在这一点上，OpenAI做得很慢，慢得让全世界着急，它却又走得比任何人都要快。真正的世界模型还在后头。

12. 在高校，尤其是国内高校很难再做出有意义的工作了，有机会的话还是进厂做大模型刷新认知。