上期，聊了稀疏注意力。这期，聊注意力机制的另一大改进方向：线性注意力。嘉宾是 MiniMax 高级研究总监，负责 MiniMax-01 模型网络架构的钟怡然。他开发了 1 月中旬开源的 MiniMax-01 中使用的线性注意力架构。
怡然在 2021 年线性注意力还是“美好的泡泡”时就开始关注它的实现。这我一个 AI 研究者关注与投入小众方向的过程。
（本期因录音 bug，音质不太好，有波动，不时出现“变声期”，请见谅。）
上期，聊了稀疏注意力。这期，聊注意力机制的另一大改进方向：线性注意力。嘉宾是 MiniMax 高级研究总监，负责 MiniMax-01 模型网络架构的钟怡然。他开发了 1 月中旬开源的 MiniMax-01 中使用的线性注意力架构。
怡然在 2021 年线性注意力还是“美好的泡泡”时就开始关注它的实现。这我一个 AI 研究者关注与投入小众方向的过程。
（本期因录音 bug，音质不太好，有波动，不时出现“变声期”，请见谅。）
Powered by
BroadcastChannel
&
Sepia
