pass@1 是指仅一次生成的通过率。
003 在写作和代码方面都比 ChatGPT3.5 好，也更贵。
Claude 比3.5好，虽然很多人还是不承认。（幻觉）

宝玉: Matthias Plappert这个发现很有意思：

1. 他在HumanEval上对几个LLMs进行了基准测试，特别是在pass@1（不知道是啥）上。他的侧重是代码生成方面的比较。

2. 毫不意外，GPT-4是表现最好的！

3. 出人意料的是，OpenAI的text-davinci-003是一个非常强大的模型，虽然不如GPT-4，但是排名第二

4.…

 https://twitter.com/i/web/status/1664345808961937426