“AI大神”NeurIPS 2024炸裂宣判：预训练将死、超级AI将变得不可预测！

在人工智能领域，Ilya Sutskever的名字无疑是重量级的。

作为OpenAI的联合创始人兼前首席科学家，Sutskever在AI的发展史上留下了深刻的印记。

今年5月，他离开OpenAI，创立了自己的人工智能实验室Safe Superintelligence，引起了广泛关注。而在本周五，举行的NeurIPS 2024会议上，Sutskever罕见地公开露面，并发表了一场震撼人心的演讲。

预训练即将终结！

在演讲中，Sutskeve 一上来就有惊人之语。

Sutskeve提出，我们所熟知的预训练模型时代即将结束。

他指出，尽管现有数据仍能推动人工智能的发展，但可用的新数据已经接近枯竭。这一趋势将迫使行业改变当前的模型训练方式。

Sutskever将这一状况比作化石燃料的消耗：

正如石油是有限资源一样，互联网中由人类生成的内容也是有限的。

他强调，我们已经达到了数据的峰值，未来不会再有更多数据，我们必须利用现有的数据，因为互联网只有一个。

在预训练时代之后，Sutskever预测下一代模型将会“以真正的方式表现出自主性”。他提到，未来的系统将具备推理能力，与当今的AI主要依赖的模式匹配不同，未来的AI系统将能够以类似于“思考”的方式逐步解决问题。

Sutskever表示，系统的推理能力越强，其行为就越“不可预测”。他将真正具备推理能力的系统的不可预测性与高级AI在国际象棋中的表现进行了比较，指出即使是最优秀的人类棋手也无法预测它们的动作。

Sutskever在演讲中还引用了生物学中的例子，展示了哺乳动物身体与大脑大小的关系，暗示不同生物可能通过不同的“规模法则”进化出不同的智能表现。这一思想为深度学习领域的进一步扩展提供了启示，表明人工智能也许可以通过不同的方式突破目前的规模限制。

Sutskever的演讲不仅宣告了一个时代的结束，也为我们描绘了一个全新的未来。他提出，未来的AI将不仅仅是执行任务的工具，而会发展成“Agent”，能够自主进行推理和决策，甚至可能具备某种形式的自我意识。这将是一个质的飞跃，AI将不再是人类的延伸，而是一个具有独立智能的存在。

提问环节

在演讲结束后的观众提问环节中，Sutskever进一步阐述了他对AI未来发展的看法。

当被问及是否还有其他与人类认知相关的生物结构值得探索时，Sutskever表示，如果有人对某个具体问题有独到的见解，那么他们就应该去深入研究这个方向。

他同时提到，尽管深度学习的基础是受生物启发的AI，但这种生物启发其实非常有限，更详细、更深层次的生物启发很难实现，但不会排除这种可能性。

另一位观众询问了关于AI模型出现“幻觉”的问题，Sutskever认为，具备推理能力的模型未来可能能够实现自我纠正，类似于“自动更正”功能，这可能成为未来模型的核心特征，减少幻觉的发生。

Sutskever被问及AI系统是否应该被赋予权利，他回答说，这是一个复杂的问题，涉及到自上而下的治理模式，他对此持谨慎态度，但鼓励人们继续推测。

BTW，最后，我们来看一眼Ilya及论文小伙伴三人的十年变迁。