人工智能 1969

感知机：计算几何学引论

马文·明斯基、西摩·帕珀特

一条直线分不开「异或」——这道几何的硬墙，标出了单层感知机的极限。

Choose your version

In depth · the introduction

为什么第一台学习机器能分辨 A 与 B，却栽在一个连小孩都觉得容易的难题上——这个点和那个点，是一样，还是不一样？

核心想法

感知机——第一台从例子中学习的机器（见罗森布拉特，1958）——画出一条直线，把东西分成两堆：一侧是「是」，另一侧是「否」。凡是一条线能回答的问题，它都管用。明斯基与帕珀特追问了那个尖锐的下一步：哪些问题，没有任何一条线能回答？

他们著名的例子是「异或」（XOR）：「二者之一，但不能两者皆是」。把四种「是／否」组合放到一个正方形的四个角上，两个「是」落在对角，两个「否」落在另一对角。你怎么试都没用——没有任何一条直线，能把两个「是」放在一侧、两个「否」放在另一侧。于是，一台「单线」机器根本学不会 XOR——不是因为没训练好，而是因为问题的形状从根上不允许。

它是如何诞生的

到了 1960 年代末，感知机被以非同寻常的喧嚣推销出去——报纸上说，机器很快就能行走、说话、有意识。麻省理工的两位人工智能奠基者马文·明斯基与西摩·帕珀特，决意用证明取代炒作。他们 1969 年的这本书，用细致的几何，精确画出了单层感知机能做与不能做的边界，而结论令人清醒：一整类自然的问题，XOR 也在其中，永久地够不着。

这本书是对的，它的影响也极其巨大——大概，太巨大了。当它被读成对「神经网络整体」的判决，便帮着把这一领域的资助抽干了十余年，即如今所谓的第一个「AI 寒冬」。感知机的发明者、也是明斯基的旧同窗与对手弗兰克·罗森布拉特，于 1971 年死于一场帆船事故，没能等到这个想法的复兴。

它为何重要

它逼出了一个领域曾经含糊的区分：一台「学得慢」的机器，与一台「根本表示不出答案」的机器，是两回事。再多的训练，也补不上一项缺失的能力。这条教训——在埋怨训练之前，先弄清你模型的形状有何极限——如今是机器学习的基石。

它也反衬出药方。若一条线不够，就用更多：把简单单元堆成许多层，让后面的层去组合前面各层画出的线。明斯基与帕珀特砌起的那道墙，其形状，恰好就是日后反向传播（鲁梅尔哈特，1986）将要打开的那扇门。

一个可以想象的画面

想象你用一根直木棍摊在地上来分一堆袜子：素色的放木棍左边，条纹的放右边。要是素色与条纹的袜子恰好混在这堆的对角两端，那么没有任何一根直棍能把它们分开——无论你怎么摆，两侧都各落下一只错袜子。你需要的不是更好的棍子，而是第二根棍子，外加一条把两根组合起来的规则。那第二根棍子，就是隐藏层。

它的位置

这是本馆神经网络故事的中间一章。它以罗森布拉特的感知机（1958）开场——第一台从例子中学习的机器；明斯基与帕珀特（1969）画出它的硬边界；而鲁梅尔哈特、辛顿与威廉斯（1986）用反向传播跨过那道边界，训练起那些让 XOR——以及远更难之事——变得轻松的隐藏层。此后的一切，从 AlexNet（2012）到 Transformer（2017），都活在这本书所精确标出的那道墙的另一侧。

The original document

Original source text

Marvin Minsky & Seymour Papert · MIT Press · 1969; expanded edition with new prologue and epilogue, 1988.

What a perceptron is, exactly

Minsky and Papert define a perceptron precisely: a unit that computes a weighted sum of simple input predicates φᵢ and fires when the sum clears a threshold θ. Such a unit recognises a figure only if a single weighted threshold over those features can separate the "yes" cases from the "no" cases. The book then asks, with full mathematical rigour, which figures and patterns this form can and cannot recognise.

Two things it cannot do

Their most quoted result concerns parity — whether the number of active inputs is odd or even. The smallest case is exclusive-or (XOR) on two inputs, whose positive cases sit on one diagonal of the square and whose negatives sit on the other: no single straight line can separate them. A second result concerns connectedness — telling whether a figure is in one piece — which they prove no perceptron of bounded "order" can decide as the retina grows.

The idea of "order"

The book's organising invention is the order of a predicate: the largest number of points any one of its feature predicates must look at. Linearly separable functions have order 1; parity on n inputs has order n; connectedness has unbounded order. Order makes "too hard for a perceptron" into a measurable, provable quantity rather than a vague complaint — the heart of the "computational geometry" of the title.

The view from 1988

The expanded edition added a prologue, "The View from 1988," and an epilogue, "The New Connectionism," responding to the multilayer revival. There Minsky and Papert pushed back on the story that their book had killed the field:

One popular version is that the publication of our book so discouraged research on learning in network machines that a promising line of research was interrupted. Our version is that progress had already come to a virtual halt because of the lack of adequate basic theories.

[ … ]

MIT, Cambridge, Massachusetts · 1969 / 1988