在人工智能领域的经典著作《感知机:计算几何导论》这本书中,马文·明斯基为了证明一个纯粹的感知机存在无法解决的问题,而举了一个让感知机判断是否连通的例子,如图1:
连通可以简单理解为从一个黑色像素点出发,不经过白色像素点,就能抵达任意一个黑色像素点。这里有四张图片,分别编号为X00,X01,X10,X11,显然X01,X10是连通的,而X00,X11由于上下两个图案之间没有任何黑色像素点连接,因此是非连通的。现有一个感知机,感知机有两个扫描头,一个扫描图片左半部分,一个扫描图片右半部分,示例如图2:
每个扫描头对两种模式识别,并输出相应的信号强度,如图3:
两个扫描头输出的信号强度进入感知机后,会进行相加操作,并根据一个激活函数判断是否连通,如图4:
这就引出一个关键问题,即是否能找到这个阈值θ。通过连通情况的总信号强度相加,以及非连通情况的总信号强度相加,可以发现矛盾,从而不存在阈值θ,证明过程如图5:
同样的信号强度,不可能既>2θ,又<2θ,这就是矛盾所在。而根据图4受到启示,可以将每张图的信号强度编码到一个二维平面上,从而提供一种几何直观上的证明。信号强度γ=α+β,因此每个γ对应一条直线,而两个扫描头的信号对应直线上的一个点。蓝色为连通的信号强度,绿色为非连通的信号强度,红色为阈值θ。可以发现无论如何也找不到一个信号强度θ,将四个点按照颜色一分为二,如图6:
这说明一个纯粹的感知机无法解决异或问题。
第六张图画的有些问题,应该将其逆时针旋转45度,这样一来,将信号强度与阈值相比,能够更直观
我打算过几天再写一篇文章,讲一下异或与奇偶校验