AI探索指南
【3Blue1Brown熟肉】注意力机制可视化_哔哩哔哩_bilibili 3Blue1Brown 刚出了 Transformer 的系列科普视频，做得很好。之前看过不少讲 Transformer 的课程和文章，包括李宏毅老师的课程在内，最后都陷在矩阵运算的过程里，几乎没有能把 K、Q、V三个矩阵的象征意义讲清楚的。3Blue1Brown通过自己最擅长的动画和类比，把这套 Attention 的原理讲得比较浅显和直白。 具体来说，“Attention 像是问每个 vector 一连串问题，然后根据这串问题的答案来更新自己。”…
P.S. 到目前为止看过的对 Diffusion 扩散思想的最好类比来自李宏毅老师的课程，他把扩散模型的去噪过程比作工匠雕刻石头的过程，“雕像本来就在石头里，米开朗基罗只是把不要的部分去掉”。某种程度上，这个减熵过程也颇像是逆转时间。