谷歌AI负责人Jeff Dean：一文回顾谷歌的2018技术进展

　自然语言理解

　　2018年，Google的自然语言研究在基础研究和以产品为中心的合作上都取得了非常棒的成果。我们在之前的机器学习模型基础上开发了一个新的并行版本的模型 Universal Transformer，它在包括翻译和语言推理在内的许多自然语言任务中都显示出强大的技术能力。

　　我们还开发了BERT，这是第一个深度双向，无监督的自然语言处理模型，仅使用纯文本语料库进行预训练，就能使用迁移学习对各种自然语言任务进行微调。

　　感知

　　我们的感知研究解决了允许计算机理解图像，声音以及为图像获取、压缩、处理，创造性表达和增强现实提供更强大工具的难题。

　　GoogleAI使命的一个关键是让其他人能够从我们的技术中受益，今年我们在改进作为Google API一部分的功能和构建块方面取得了很大进展。比如通过ML Kit 在Cloud ML API和面部相关设备构建块中实现视觉和视频的改进和新功能。

　　MobileNetV2是谷歌的下一代移动计算机视觉模型，我们的MobileNets广泛应用于学术界和工业界。MorphNet提出了一种有效的方法来学习深层网络的结构，从而在计算资源有限的同时，改进图像和音频模型上的性能。

　　计算摄影

　　手机拍照性能的提升不仅仅在于物理传感器的改进，更大部分要归咎于计算摄影技术的发展。

　　我们的计算摄影技术正在与Google的Android和消费者硬件团队密切合作，将这项研究交付给最新的Pixel和Android手机及其他设备。2014年，我们推出了HDR +，可以在软件中对齐帧，并将它们与计算软件结合，使图片具有比单次曝光更高的动态范围。这是2018年我们能够在Pixel 2中开发Motion Photos，以及Motion Stills中开发增强现实模式的基础。

　　今年，我们在计算摄影研究方面的主要工作之一就是创造一种名为Night Sight的新功能，即便在没有闪光灯的情况下，也能让Pixel用户在非常昏暗的场景中拍出清晰的照片。

　　算法和理论

　　在过去的一年中，我们的研究涵盖从理论基础到应用算法，从图形挖掘到隐私保护计算等广泛领域。我们在优化方面的工作涉及从研究机器学习的持续优化到分布式组合优化的领域。在前一领域，我们研究用于训练神经网络的随机优化算法的收敛性(其赢得了ICLR 2018最佳论文奖)，展示了流行的基于梯度的优化方法(例如ADAM的一些变体)的问题，为新的基于梯度的优化方法提供了坚实的基础。

　　软件系统

　　我们对软件系统的大部分研究仍然与构建机器学习模型，尤其是TensorFlow有关。我们的一些新研究引入了Mesh TensorFlow，这使得用模型并行性指定大规模分布式计算变得容易。另外，我们还使用TensorFlow发布了一个可扩展的深度神经排序库。

　　另一个重要的研究方向是将ML应用于软件系统的堆栈层面。在安全漏洞问题方面，我们的编译器研究团队将他们用于测量机器指令延迟和端口压力的工具集成到LLVM中，从而可以做出更好的编译决策。