GPT 4到底有多强？文心一言和ChatGPT比还有多少差距？非技术人员如何比较全面地评价一个大语言模型的各种能力？作为早期投资人和对话式AI的狂热爱好者，我们从自身需求出发，总结推出了「Z-Bench」—— 一个为非技术人员定性测试大模型对话式产品（类 ChatGPT 产品）准备的测试集。

扫描小程序码可以打开查看全部300个测试prompts，以及GPT4，GPT3.5，百度文心一言（0317）的回答。这里面每一个模型的回答我们都只是取第一次回答，因此可能和你测试的结果有所不同。

Z-Bench 1.0 从基础能力、进阶能力、垂直能力 3 个角度出发，共提供了 300 个 Prompts，我们的出发点是尽量覆盖更多类型的 NLP 任务。我们的目标并不是提供一个学术上非常严谨完整的测试集，而是希望通过结合学术上已有的测试集、日常搜集的一些有意思的案例，以及大模型出现之后学术界发现的涌现和顿悟能力，提供一个适合非技术专业人士使用的大模型能力测试集。

我们难免会漏掉一些场景，或是出现很多专业角度看比较业余的内容，未来，我们会不断根据搜集到的反馈去补充完善，并且及时予以公布。

欢迎大家扩散，拍砖，感谢！

霓虹这儿的势头似乎也没落下（但正如渡边雄太所说，在地vc似乎是真的不太给力？），Gatebox X ChatGpt已经开始众筹募集了，30分钟达到了500万円，国内有兴趣参与项目支援的朋友们传送门：https://www.makuake.com/project/gatebox/

*Gatebox与chatgpt结合第二天的实验效果：https://m.okjike.com/originalPosts/640554f1ddab35b6fa260412?s=ewoidSI6ICI1YzM0MWM5MWMwNTFlOTAwMTczYjJiZWMiCn0=

*参与众筹者的权益（图四），不同数额捐赠者享受权益不同：
1）支援者限定线上活动：与开发者沟通了解近况，3月起每月一次
2）数码产品、纪念版本Gatebox赠送
3）β版先行体験线下优先邀请
4）Gatebox官方网站中名字展示