60年前那篇论文，为什么AI安全圈还在反复引用

一篇写于1963年、发表于1965年的论文,最近又被翻出来讨论。英国数学家I.J. Good在《Speculations Concerning the First Ultraintelligent Machine》里提出:一旦机器的智力全面超过人类中最聪明的人,它就能设计出比自己更强的机器,由此引发“intelligence explosion”(智能爆炸)。他加了一句关键前提——这台机器足够“顺从”(docile),愿意告诉人类如何把它控制住,才会是人类需要做的最后一项发明。

这篇文章今天被反复提起,不是因为它预言准了什么技术。它提前六十年,把AGI讨论绕不开的几个词——能力、成本、控制——放到了同一张桌子上。

一台假想中的机器,是怎么被想出来的

论文基于Good 1962年10月在UCLA一次生物通信会议上的演讲,以及1963年1月IEEE冬季大会人工智能分会的发言整理而成。

“超智能机器”的定义很直接:一台能远超任何聪明人所有智力活动的机器。设计机器本身就是一种智力活动,那么这台机器也能设计出更强的下一代,循环往复,就是“智能爆炸”。

Good没有把“最后一项发明”写成板上钉钉的预言。他加了那道条件句:机器必须“顺从”。这道条件句,后来几乎原封不动地变成了AI对齐(alignment)讨论的起点——能力越强,控制问题越前置。

想象的是神经电路,不是Transformer

Good对“超智能机器”的技术想象,建立在Hebb细胞集群理论之上。他设想的是海量的人工神经电路、超并行的短程微波收发单元,甚至提到用DNA做存储介质的可能性。他明确说过,这篇文章不涉及晶体管、二极管、低温工程这些具体实现方案。

这是一篇“推测性”文章,目的是搭框架,不是画图纸。如果把它读成“Good在1965年就预测了大语言模型”,这个判断站不住脚。原文没有Transformer,没有算力规模的量化预测,神经网络的实现路径也和今天的深度学习训练范式相去甚远。

Good在文章里算过一笔账:如果能筹到一千亿美元,或许能以每个人工神经元十美元的成本模拟整个人脑。他自己也承认,这笔钱在机器造出来之前很难筹到。这种“先有鸡还是先有蛋”的融资困境,和今天AI实验室争抢算力预算、争抢GPU配额的处境,有几分眼熟。

谁会真的用到这道题,接下来盯什么

这篇论文的价值不在技术细节,在于它比行业早六十年问出了同一个问题:机器足够聪明之后,人类还能不能让它告诉自己怎么被控制住。

对第一类人,这篇论文提供的是一套六十年不过时的问题框架。对第二类人,它更像一份历史注脚——如果有人拿它去论证“Good早就算准了大模型”,那基本可以判断对方没读原文。

接下来值得看的,不是这篇旧论文本身,而是今天的AI安全报告和对齐论文,还有没有人继续把“顺从”这道条件句当理论起点引用。这个问题,目前仍然没有答案。