最近一周最大的 insights 是周伯远教授周六的分享，周教授是清华电子系长聘教授外加IEEE/CAAI FELLOW，是当年 IBM WATSON GROUP首席科学家。
Bert 跟 GPT 单向/双向上下文训练的思路差异，Bert 是双向上下文，而 GPT 是单向自回归，之前知道这个实现细节，但没当回事。
周教授做了个非常形象的类比，本质上相当于训练的时候，Bert 是给了「标准答案」的，而 GPT 没给「标准答案」…
Bert 追求的是文本生成的局部最优，而不是为了 AGI，因为他们从一开始就不相信语言模型可以实现 AGI。
内心忽然咯噔了一下，「标准答案」不就是「应试教育」吗…自己到目前为止的学习经历里面，好像成长最大的时候，都是来自于解决没有标准答案的问题时。
Invalid media: image
Bert 跟 GPT 单向/双向上下文训练的思路差异，Bert 是双向上下文，而 GPT 是单向自回归，之前知道这个实现细节，但没当回事。
周教授做了个非常形象的类比，本质上相当于训练的时候，Bert 是给了「标准答案」的，而 GPT 没给「标准答案」…
Bert 追求的是文本生成的局部最优，而不是为了 AGI，因为他们从一开始就不相信语言模型可以实现 AGI。
内心忽然咯噔了一下，「标准答案」不就是「应试教育」吗…自己到目前为止的学习经历里面，好像成长最大的时候，都是来自于解决没有标准答案的问题时。
Invalid media: image
