人工智慧 1969

感知器：計算幾何學引論

馬文·明斯基、西摩·帕珀特

一條直線分不開「互斥或」——這道幾何的硬牆，標出了單層感知器的極限。

Choose your version

In depth · the introduction

為什麼第一臺學習機器能分辨 A 與 B，卻栽在一個連小孩都覺得容易的難題上——這個點和那個點，是一樣，還是不一樣？

核心想法

感知器——第一臺從例子中學習的機器（見羅森布拉特，1958）——畫出一條直線，把東西分成兩堆：一側是「是」，另一側是「否」。凡是一條線能回答的問題，它都管用。明斯基與帕珀特追問了那個尖銳的下一步：哪些問題，沒有任何一條線能回答？

他們著名的例子是「互斥或」（XOR）：「二者之一，但不能兩者皆是」。把四種「是／否」組合放到一個正方形的四個角上，兩個「是」落在對角，兩個「否」落在另一對角。你怎麼試都沒用——沒有任何一條直線，能把兩個「是」放在一側、兩個「否」放在另一側。於是，一臺「單線」機器根本學不會 XOR——不是因為沒訓練好，而是因為問題的形狀從根上不允許。

它是如何誕生的

到了 1960 年代末，感知器被以非同尋常的喧囂推銷出去——報紙上說，機器很快就能行走、說話、有意識。麻省理工的兩位人工智慧奠基者馬文·明斯基與西摩·帕珀特，決意用證明取代炒作。他們 1969 年的這本書，用細緻的幾何，精確畫出了單層感知器能做與不能做的邊界，而結論令人清醒：一整類自然的問題，XOR 也在其中，永久地夠不著。

這本書是對的，它的影響也極其巨大——大概，太巨大了。當它被讀成對「神經網路整體」的判決，便幫著把這一領域的資助抽乾了十餘年，即如今所謂的第一個「AI 寒冬」。感知器的發明者、也是明斯基的舊同窗與對手法蘭克·羅森布拉特，於 1971 年死於一場帆船事故，沒能等到這個想法的復興。

它為何重要

它逼出了一個領域曾經含糊的區分：一臺「學得慢」的機器，與一臺「根本表示不出答案」的機器，是兩回事。再多的訓練，也補不上一項缺失的能力。這條教訓——在埋怨訓練之前，先弄清你模型的形狀有何極限——如今是機器學習的基石。

它也反襯出藥方。若一條線不夠，就用更多：把簡單單元堆成許多層，讓後面的層去組合前面各層畫出的線。明斯基與帕珀特砌起的那道牆，其形狀，恰好就是日後反向傳播（魯梅爾哈特，1986）將要打開的那扇門。

一個可以想像的畫面

想像你用一根直木棍攤在地上來分一堆襪子：素色的放木棍左邊，條紋的放右邊。要是素色與條紋的襪子恰好混在這堆的對角兩端，那麼沒有任何一根直棍能把它們分開——無論你怎麼擺，兩側都各落下一隻錯襪子。你需要的不是更好的棍子，而是第二根棍子，外加一條把兩根組合起來的規則。那第二根棍子，就是隱藏層。

它的位置

這是本館神經網路故事的中間一章。它以羅森布拉特的感知器（1958）開場——第一臺從例子中學習的機器；明斯基與帕珀特（1969）畫出它的硬邊界；而魯梅爾哈特、辛頓與威廉斯（1986）用反向傳播跨過那道邊界，訓練起那些讓 XOR——以及遠更難之事——變得輕鬆的隱藏層。此後的一切，從 AlexNet（2012）到 Transformer（2017），都活在這本書所精確標出的那道牆的另一側。

The original document

Original source text

Marvin Minsky & Seymour Papert · MIT Press · 1969; expanded edition with new prologue and epilogue, 1988.

What a perceptron is, exactly

Minsky and Papert define a perceptron precisely: a unit that computes a weighted sum of simple input predicates φᵢ and fires when the sum clears a threshold θ. Such a unit recognises a figure only if a single weighted threshold over those features can separate the "yes" cases from the "no" cases. The book then asks, with full mathematical rigour, which figures and patterns this form can and cannot recognise.

Two things it cannot do

Their most quoted result concerns parity — whether the number of active inputs is odd or even. The smallest case is exclusive-or (XOR) on two inputs, whose positive cases sit on one diagonal of the square and whose negatives sit on the other: no single straight line can separate them. A second result concerns connectedness — telling whether a figure is in one piece — which they prove no perceptron of bounded "order" can decide as the retina grows.

The idea of "order"

The book's organising invention is the order of a predicate: the largest number of points any one of its feature predicates must look at. Linearly separable functions have order 1; parity on n inputs has order n; connectedness has unbounded order. Order makes "too hard for a perceptron" into a measurable, provable quantity rather than a vague complaint — the heart of the "computational geometry" of the title.

The view from 1988

The expanded edition added a prologue, "The View from 1988," and an epilogue, "The New Connectionism," responding to the multilayer revival. There Minsky and Papert pushed back on the story that their book had killed the field:

One popular version is that the publication of our book so discouraged research on learning in network machines that a promising line of research was interrupted. Our version is that progress had already come to a virtual halt because of the lack of adequate basic theories.

[ … ]

MIT, Cambridge, Massachusetts · 1969 / 1988