我们真的永远也理解不了人工智能吗？

　　这似乎支持了尤辛斯基的论断：这些面部神经元寻找的确实是面部图像。但还有一个问题：在生成这些图像的过程中，该流程依赖了一种名为“自然图像优先”的统计学约束，因此其生成的图像均会模仿真实物体照片的结构。而当他去除这些规则后，该工具包仍会选取被其标记为“信度最大”的图片，但这些图片看上去就像电视机失去信号时的“雪花”一样。事实上，尤辛斯基指出，AlexNet倾向于选择的大部分图片在人眼看来都是一片乱糟糟的“雪花”。他承认道：“很容易弄清如何让神经网络生成极端结果。”

　　图为深度神经网络中的单个神经元(由绿框标出)对尤辛斯基的面部图像做出反应，就像人脑的某个脑区(标为黄色)也会对面部图像做出反应一样

　　为避免这些问题，弗吉尼亚理工大学电子与计算机工程助理教授杜鲁夫·巴特拉采用了一种更高级的实验方法对深度网络进行解读。他没有去试图寻找网络内部结构的规律，而是用一种眼动追踪技术分析神经网络的行为。在研究生阿比谢克·达斯和哈什·阿格拉瓦尔的带领下，巴特拉的团队向一个深度网络就某张图片提问，如房间窗户上是否有窗帘等等。不同于AlexNet或类似系统，达斯的网络每次只关注图片的一小部分，然后“扫视”图片各处，直到该网络认为已经得到了足够的信息、可以回答问题为止。经过充分训练后，这一深度神经网络的表现已经非常出色，精确度足以与人类的最高水平媲美。

　　接下来，达斯、巴特拉和同事们还想了解该网络是如何做出决策的。于是他们分析了该网络在图片上选取的观察点。而结果令他们大吃一惊：在回答“图中是否有窗帘”的问题时，该网络根本没去寻找窗户，而是先对图片底部进行观察，如果发现了床铺，就停下来不找了。看来在用来训练该网络的数据集中，装有窗帘的窗户可能常出现在卧室里。

　　该方法虽然揭露了深度网络的一些内部运行机制，但也凸显了可解释性带来的挑战。巴特拉指出：“机器捕捉到的并不是关于这个世界的真相，而是关于数据集的真相。”这些机器严格按照训练数据进行了调整，因此很难总结出它们运作机制的普遍规则。更重要的是，你要是不懂它如何运作，就无法预知它会如何失灵。而从巴特拉的经验来看，当它们失灵的时候，“就会输得一败涂地。”

　　图为“深度视觉化”工具包生成的“理想猫脸”。该程序先从类似电视机没信号时的“雪花”图像开始，对像素进行逐个调整，直到AlexNet神经网络的面部神经元产生最大响应为止

　　尤辛斯基和巴特拉等研究人员面临的一些障碍对人脑科学家来说也并不陌生。例如，对神经成像的解读就常常遭到质疑。2014年，认知神经科学家玛莎·法拉在一篇领域评述中写道：“令人担忧的是……(功能性脑部)图像更像是研究人员的创造发明、而非观察结果。”这一问题在各种智能系统中也屡屡出现，说明无论对人脑、还是对智能的研究而言，该问题都会成为一大障碍。

　　追求可解释性是否为一项愚蠢之举呢?2015年，加州大学圣地亚哥分校的扎克利·立顿发表了一篇名为《模型可解释性的迷思》的博文，批判性地探讨了解读神经网络背后的动机、以及为大型数据集打造可解读的机器学习模型的价值。在2016年国际机器学习大会(ICML)上，他还向马里奥托夫与两名同事组织的“人类可解释性”专题研讨会提交了一篇与该话题相关的、颇具争议性的论文。

　　立顿指出，许多学者并不赞同“可解释性”这一概念。因此他认为，要么是人们对可解释性的理解还不够，要么是它有太多可能的含义。无论是哪种情况，追求可解释性也许都无法满足我们对“简单易懂的神经网络输出”的渴求。立顿在博文中指出，当数据集过大时，研究人员完全可以抑制去解读的冲动，要相信“凭借经验也能成功”。他表示，该领域的目的之一，便是要“打造学习能力远超人类的模型”，如果太过注重可解释性，就难以使这类模型充分发挥潜力。

　　但这种能力既是特点也是缺陷：如果我们不明白网络输出是如何生成的，就无从知晓该网络需要何种输入。1996年，英国苏塞克斯大学的艾德里安·汤普森采用与如今训练深度网络相似的技术、用软件设计了一款电路。这一电路要执行的任务很简单：区分两个音频的音调。经过成千上万次调整和重排后，该软件终于找到了一种能近乎完美地完成任务的配置。

　　但汤普森惊讶地发现，该电路所用元件数量比任何人类工程师的设计都要少，甚至有几个元件根本没有和其它元件相连。而要让电路顺利运作，这些元件应当不可或缺才对。

　　于是他对电路进行了剖析。做了几次实验后，他发现该电路的相邻元件间存在微弱的电磁干扰。未与电路相连的元件通过干扰邻近电场、对整个电路造成了影响。人类工程师通常会杜绝这类干扰，因为干扰的结果难以预料。果不其然，若用另一组元件复制该电路布局，甚至只是改变环境温度，同样的电路便会彻底失灵。

　　该电路揭露了机器训练的一大重要特征：它们总是尽可能紧凑简洁，与所在环境完美相容，但往往难以适应其它环境。它们能抓住工程师发现不了的规律，但不知道别处是否也有这一规律。机器学习研究人员想尽力避免这种名为“过拟合”的现象。但随着应用这些算法的情况愈发复杂多变，这一缺陷难免会暴露出来。

　　普林斯顿大学计算机科学教授桑吉夫·阿罗拉认为，这一问题是人类追求可解释模型的主要动机，希望有了可解释模型后、能对网络进行干预和调整。距阿罗拉表示，有两大问题可体现缺乏可解释性对机器性能造成的硬性限制。一是“组合性”：当一项任务同时涉及多项决策时(如围棋或自动驾驶汽车)，神经网络便无法高效判定是哪个决策导致了任务失败。“人类在设计某样东西时，会先弄清不同元件的作用，再将其组合在一起，因此能够对不适合当前环境的元件进行调整。”

　　二是阿罗拉所称的“域适应性”即将在某种情境中学到的知识灵活运用于其它情境的能力。人类非常擅长这项任务，但机器则会出现各种离奇错误。据阿罗拉描述，即使只对环境做了微调、人类调整起来不费吹灰之力，计算机程序也会遭遇惨败。例如，某个网络经过训练后、能对维基百科等正式文本的语法进行分析，但如果换成推特这样的口语化表达，就会变得毫无招架之力。

　　按这样来看，可解释性似乎不可或缺。但我们真的理解它的意思吗?著名计算机科学家马文·闵斯基用“手提箱词汇”来形容这类词汇，包括“意识”、“情绪”等用来描述人类智能的单词。闵斯基指出，这些词其实反映了多种多样的内在机制，但都被锁在“手提箱”中。一旦我们用这些词代替了更根本性的概念、仅对这些词汇进行研究，我们的思维就会被语言所局限。那么在研究智能时，“可解释性”会不会也是这样一个“手提箱词汇”呢?

　　虽然很多研究人员都持乐观态度，认为理论学家迟早能打开这个“手提箱”、发现某套主宰机器学习(或许也包括人类学习)的统一法则或原理，就像牛顿的力学原理一样。但也有人警告称，这种可能性微乎其微。纽约城市大学哲学教授马西莫·皮戈里奇指出，神经科学、乃至人工智能领域所谓的“理解”也许是一种“集群概念”，即可能有多个不同定义。如果该领域真的有“理解”之说，也许相对于物理学、会更接近进化生物学的情况。也就是说，我们将发现的也许不是“基本力学原理”，而是“物种起源学说”。

　　当然，这并不意味着深度网络将预示着某种新型自主生命的出现。但深度网络就像生命本身一样费解。该领域采用的渐进式实验手段和事后解读方式也许并不是在黑暗中苦苦等待理论之光时的绝望情绪，而是我们能够盼来的唯一光芒。可解释性也许会以碎片化的形式呈现出来，就像不同类别的“物种”一样，采用的分类法则根据具体情境而定。

　　在国际机器学习大会的专题研讨会结束时，部分发言人参加了一场讨论会，试图给“可解释性”下一个定义。结果每个人都各执一词。进行了一系列讨论后，大家似乎达成了一点共识：一个模型要能被解释，就要具备“简单性”。但在简单性的定义问题上，大家又产生了分歧。“最简单”的模型究竟是指依赖最少特征的模型?还是程序规模最小的模型?还是有其它解释?一直到研讨会结束，大家都没有达成共识。

　　正如马里奥托夫说的那样：“简单性并不简单。”