深度学习之父 Hinton 万字访谈录：中美 AI 竞赛没有退路可言（GPT4o总结版）
Geoffery Hinton
近日，27 岁的天才创始人 Joel Hellermark 与 “AI 教父” Geoffery Hinton 进行了一场深入对话。在这次访谈中，Hinton 回顾了自己的人工智能生涯，并探讨了神经网络、Scaling Law、多模态学习、模拟计算和人工智能伦理安全等多个话题。此外，Hinton 还分享了他对其得意门生 Ilya Sutskever 的看法，给人以深刻的启迪。
Joel Hellermark
Hinton 的人工智能之路
早期求学与科研经历
Geoffery Hinton 的人工智能之路始于剑桥大学，他在剑桥大学最初学习生理学，试图通过生理学课程来理解大脑的工作原理。然而，他很快发现生理学课程只涉及神经元如何传导动作电位，而未能揭示大脑整体的工作机制，这令他非常失望。随后，他转向哲学，希望通过哲学课程了解心灵的运作方式，但结果同样令人失望。最终，他选择了人工智能，并在爱丁堡大学攻读人工智能博士学位，1978 年获得了博士学位。
Hellermark：我们回到起点 —— 剑桥时期的你。当时，你试图理解大脑的工作方式，那时是什么情况？ Hinton：那是段非常令人失望的时光。我当时主要研究生理学。在夏季学期，他们要教我们大脑是如何工作的。他们教的只是神经元如何传导动作电位，这非常有趣，但它并没有告诉你大脑是如何工作的。 所以那非常令人失望。随后，我转向了哲学。那时的想法是，也许哲学会告诉我们思维是如何工作的。结果同样令人失望。我最终去了爱丁堡大学学习人工智能，那更有趣。至少你可以模拟东西，这样你就可以测试理论了。
Donald Hebb即上一期中提到的Hebbian学习规则发明人
在卡内基梅隆大学的经历
Hinton 在 1982 年前往卡内基梅隆大学担任计算机科学系教授，直到 1987 年。在卡内基梅隆大学，他接触到了一台 Lisp 机器，这使他开始编写程序。他回忆到，在某个周六晚上，他发现自己无事可做，于是决定去实验室编写一些程序。这次经历让他认识到，美国的学生对未来充满激情，令他耳目一新。
我还与 Peter Brown 有很好的合作，他是一位非常优秀的统计学家，在 IBM 工作，研究语音识别。他是作为一名成熟的学生来到卡内基梅隆的，为了拿到博士学位。其实他已经懂得很多了。 他教了我很多关于语音的知识，教了我隐马尔可夫模型。我觉得我从他那里学到的比他从我这里学到的要多。这就是大家都想要的那种学生。当他教我隐马尔可夫模型时，我正在用隐藏层做反向传播。 那时它还不叫隐藏层。我认为马尔可夫模型中使用的这个名字对于那些你不知道它们在干什么的变量来说是一个很好的名字。所以这就是神经网络中「隐藏层」名字的由来。
隐藏层这个名字来源于隐马尔科夫模型
与 Ilya Sutskever 的合作
初次见面与早期合作
Hinton 回忆了与 Ilya Sutskever（Ilya Sutskever即前段时间刚刚离职的OpenAI首席科学家） 的初次见面。他描述了 Ilya 是如何在某个周日急切地敲门，要求加入他的实验室。
“所以我们聊了一会儿，我给了他一篇论文阅读，那是关于反向传播的《自然》（Nature）论文。我们约定一周后再见面，他回来后说：“我没看懂。”
我感到非常失望。我想：“他看起来挺聪明的，但这只是链式法则而已。理解起来并不难。”他却说：“哦，不，不，那个我懂。我只是不明白 —— 为什么不直接将梯度（即损失函数相对于模型参数的导数）应用于一个更合理的函数优化器呢？” 后来，这个问题成为了我们多年研究探讨的重点。Ilya 就是这样，他对事物的直觉总是非常敏锐。”
我们用 MATLAB 做这件事，这涉及到大量的代码重组，以进行正确的矩阵乘法。然后他厌烦了。所以有一天，他说，「我要去为 MATLAB 写一个接口。我要用这种不同的语言编程，我有一些东西可以将其转换为 MATLAB。」 我说，「不，Ilya，那将花费你一个月的时间。我们必须继续这个项目。不要被那个事情分散注意力。」Ilya 说，「没关系，我今天早上就做好了。」
