我们真的永远也理解不了人工智能吗？

　　美国科学杂志nautil.us《鹦鹉螺》作家Aaron M. Bornstein发表了针对人工智能时代下神经网络模型的深度报道。从语音识别到语言翻译，从下围棋的机器人到自动驾驶汽车，各行各业都在该人工智能的驱动下出现了新的突破。虽然现代神经网络的表现令人激动，但也面临一个棘手的问题：没人理解它们的运行机制，这也就意味着，没人能预测它们何时可能失灵。正因为如此，许多人迟疑不前、不敢对神秘莫测的神经网络下注。

　　在神经网络中，数据从一层传递到另一层，每一步都经历一些简单的转变。在输入层和输出层之间还隐藏着若干层，以及众多节点组和连接。其中往往找不出可被人类解读的规律，与输入或输出也没有明显的联系。“深度”网络便是隐藏层数量较多的神经网络

　　以下为文章全文：

　　作为IBM的一名研究科学家，迪米特里·马里奥托夫其实不太说得上来自己究竟打造了什么。他的部分工作内容是打造机器学习系统、解决IBM公司客户面临的棘手问题。例如，他曾为一家大型保险公司编写了一套程序。这项任务极具挑战性，要用到一套十分复杂的算法。在向客户解释项目结果时，马里奥托夫更是大伤脑筋。“我们没办法向他们解释这套模型，因为他们没受过机器学习方面的培训。”

　　其实，就算这些客户都是机器学习专家，可能也于事无补。因为马里奥托夫打造的模型为人工神经网络，要从特定类型的数据中寻找规律。在上文提到的例子中，这些数据就是保险公司的客户记录。此类网络投入实际应用已有半个世纪之久，但近年来又有愈演愈烈之势。从语音识别到语言翻译，从下围棋的机器人到自动驾驶汽车，各行各业都在该技术的驱动下出现了新的突破。

　　虽然现代神经网络的表现令人激动，但也面临一个棘手的问题：没人理解它们的运行机制，这也就意味着，没人能预测它们何时可能失灵。

　　以机器学习专家里奇·卡鲁阿纳和同事们前几年报告的一起事件为例：匹兹堡大学医学中心的一支研究团队曾利用机器学习技术预测肺炎患者是否会出现严重并发症。他们希望将并发症风险较低的患者转移到门诊进行治疗，好腾出更多床位和人手。该团队试了几种不同的方法，包括各种各样的神经网络，以及由软件生成的决策树，后者可总结出清晰易懂、能被人类理解的规则。

　　在现代机器学习算法中，可解释性与精确度难以两全其美。深度学习精确度最高，同时可解释性最低

　　神经网络的正确率比其它方法都要高。但当研究人员和医生们分析决策树提出的规则时，却发现了一些令人不安的结果：按照其中一条规则，医生应当让已患有哮喘的肺炎病人出院，而医生们都知道，哮喘患者极易出现并发症。

　　这套模型完全遵从了指令：

　　从数据中找出规律。它之所以给出了如此差劲的建议，其实是由数据中的一个巧合导致的。按照医院政策，身患哮喘的肺炎患者需接受强化护理。而这项政策效果极佳，哮喘患者几乎从不会产生严重并发症。由于这些额外护理改变了该医院的患者记录，算法预测的结果也就截然不同了。

　　这项研究充分体现了算法“可解释性”的价值所在。卡鲁阿纳解释道：“如果这套以规则为基础的系统学到了‘哮喘会降低并发症风险’这一规则，神经网络自然也会学到这一点。”但人类读不懂神经网络，因此很难预知其结果。马里奥托夫指出，若不是有一套可解释的模型，“这套系统可能真的会害死人。”

　　正因为如此，许多人迟疑不前、不敢对神秘莫测的神经网络下注。马里奥托夫为客户提供了两套模型：一套是神经网络模型，虽然精确，但难以理解;另一套则是以规则为基础的模型，能够用大白话向客户解释运作原理。尽管保险公司对精确度要求极高，每个百分点都十分重要，但客户仍选择了精确度稍逊的第二套模型。“他们觉得第二套模型更容易理解，”马里奥托夫表示，“他们非常看重直观性。”

　　随着神秘难解的神经网络影响力与日俱增，就连政府都开始对其表示关注。欧盟两年前提出，应给予公民“要求解释”的权利，算法决策需公开透明。但这项立法或许难以实施，因为立法者并未阐明“透明”的含义。也不清楚这一省略是由于立法者忽略了这一问题、还是觉得其太过复杂导致。

　　事实上，有些人认为这个词根本无法定义。目前我们虽然知道神经网络在做什么(毕竟它们归根到底只是电脑程序)，但我们对“怎么做、为何做”几乎一无所知。神经网络由成百上千万的独立单位、即神经元构成。每个神经元都可将大量数字输入转化为单个数字输出，再传递给另一个、或多个神经元。就像在人脑中一样，这些神经元也分成若干“层”。一组细胞接收下一层细胞的输入，再将输出结果传递给上一层。

　　神经网络可通过输入大量数据进行训练，同时不断调整各层之间的联系，直到该网络计算后输出的结果尽可能接近已知结果(通常分为若干类别)。近年来该领域之所以发展迅猛，还要归功于几项可快速训练深度网络的新技术。在深度网络中，初始输入和最终输出之间相隔多层。有一套叫AlexNet的著名深度网络，可对照片进行归类，根据照片的细微差别将其划入不同类别。该网络含有超过6000万个“权重”，根据不同权重，神经元会对每项输入给予不同程度的关注。隶属于康奈尔大学和AI初创公司Geometric Intelligence的计算机科学家杰森·尤辛斯基指出：“要想理解这个神经网络，你就要对这6000万个权重都有一定的了解。”

　　而就算能够实现这种可解读性，也未必是件好事。对可解读性的要求相当于制约了系统的能力，使模型无法仅关注输入输出数据、提供“纯粹”的解决方案，从而有降低精确度之嫌。美国国防部高级研究计划局项目主管戴维·甘宁曾在一次会议上对此进行了总结。在他展示的图表中，深度神经网络是现代机器学习方法中最难以理解的一种，而以规则为基础、重视可解释性胜过效率的决策树则是最容易理解的一种。

　　现代机器学习技术为开发者提供了不同的选择：究竟是要精确获知结果，还是要以牺牲精确度为代价、了解出现该结果的原因?“了解原因”可帮助我们制定策略、做出适应、并预测模型何时可能失灵。而“获知结果”则能帮助我们即刻采取恰当行动。

　　这实在令人左右为难。但一些研究人员提出，如果既能保留深度网络的多层构造、又能理解其运作原理，岂不是最好?令人惊奇的是，一些最受看好的研究所其实是将神经网络作为实验对象看待的，即沿袭生物科学的思路，而不是将其视作纯数学的研究对象。尤辛斯基也表示，他试图“通过我们了解动物、甚至人类的方式来了解深度网络。”他和其他计算机科学家借鉴了生物研究技术，借神经科学家研究人脑的方式研究神经网络：对各个部件展开详细分析，记录各部件内部对微小输入变化的反应，甚至还会移除某些部分、观察其余部分如何进行弥补。

　　在从无到有地打造了一种新型智能之后，科学家如今又将其拆开，用数字形式的“显微镜”和“手术刀”对这些“虚拟器官”展开分析。

　　尤辛斯基坐在一台电脑前、对着网络摄像头说话。摄像头接收的数据被输入深度神经网络，而与此同时，该网络也在由尤辛斯基和同事们开发的Deep Visualization(深度可视化)软件工具包进行分析。尤辛斯基在几个屏幕间来回切换，然后将网络中的一个神经元放大。“这个神经元似乎能够对面部图像做出反应。”人脑中也有这种神经元，其中多数都集中在一处名为“梭状脸区”的脑区中。该脑区最早由1992年开始的一系列研究发现，被视作人类神经科学最可靠的观察结果之一。对脑区的研究还需借助正电子发射计算机断层扫描等先进技术，但尤辛斯基只需凭借代码、便可对人造神经元展开详细分析。

　　借助该方法，尤辛斯基可将特定的人造神经元与人类能理解的概念或物体(如人脸)建立起映射关系，从而将神经网络变为有力工具。该研究还挑明了图片中最容易激发面部神经元反映的特征。“眼睛颜色越深、嘴唇越红，神经元的反应就更为强烈。”

　　杜克大学计算机科学、电子与计算机工程教授辛西娅·鲁丁认为，这些“事后解读”本身是有问题的。她的研究重点为以规则为基础的机器学习系统，可应用于罪犯量刑、医疗诊断等领域。在这些领域中，人类能够进行解读，且人类的解读十分关键。但在视觉成像等领域，“个人的解读结果纯属主观。”诚然，我们可以通过识别面部神经元、对神经网络的响应进行简化，但如何才能确定这就是该网络寻找的结果呢?无独有偶，有一套著名理论认为，不存在比人类视觉系统更简单的视觉系统模型。“对于一个复杂系统在做什么事情，可以有很多种解释，”鲁丁指出，“难道从中选出一个你‘希望’正确的解释就行了吗?”

　　尤辛斯基的工具包可以通过逆向工程的方式、找出神经网络自身“希望”正确的结果，从而在部分程度上解决上述问题。该项目先从毫无意义的“雪花”图像开始，然后对像素进行逐个调整，通过神经网络训练的反向过程逐步修改图片，最终找出能够最大限度激发某个神经元响应的图片。将该方法运用到AlexNet神经元上后，该系统生成了一些奇奇怪怪的照片，虽然看上去颇为诡异，但的确能看出属于它们被标记的类别。