Ilya Sutskever是OpenAI的Co-Founder和首席科学家。相比Sam Altman，他更低调，也更偏技术。连续听了他的三个访谈，收益颇多。尤其是三年前（2020年5月）他在Lex Fridman Podcast的那次访谈 - 当时GPT3都还没有发布，算得上是畅所欲言，聊出了很多干货，不少内容即便今天听也觉得印象深刻。剩下的两期是2023年他和黄仁勋的对谈以及2周前他做客斯坦福某个seminar的访谈。一些key takeways：
1. 从生物学上，理解神经网络和大脑的相似性
物理学中的理论是非常精确的，人们可以用其做出各种惊人的预测。相比之下，生物学要更加复杂，很难有好的预测性理论。机器学习则介于物理学和生物学之间。
本质上，深度学习是在参考人类大脑的运行方式。在Ilya看来，神经网络最重要的突破是反向传播算法，用数学方程来描述了学习的原理。根据目前神经科学的理解，大脑的学习规则的关键是电信号的时序 (Spike-timing dependent plasticity, STDP)。STDP机制根据神经元放电时序来调节突触强度，而神经网络的反向传播算法通过时间顺序的链式求导来调整权重，二者都依靠误差信号来改变网络结构，并且驱动学习。
