谷歌AI负责人Jeff Dean：一文回顾谷歌的2018技术进展

hzqadmin 阅读：35 2024-08-28 20:59:10 评论：0

一年一度的谷歌AI总结公布了。

1月15日，谷歌高级研究员、谷歌AI负责人Jeff Dean发表了博文，回顾总结了2018年谷歌的技术研究进展。

Jeff Dean从谷歌的人工智能、量子计算、感知技术、算法理论、AutoML、机器人以及TPU等多个技术层面，系统地还原了谷歌AI的2018。

众所周知，在去年一整年，谷歌遭遇了诸多危机，尤其是不作恶的原则受到内外的质疑。Jeff Dean博客中首要提到的便是谷歌的道德原则和AI。

道德原则和人工智能

今年，我们发布了Google AI原则，但是，由于AI的发展非常迅速，AI原则中诸如“避免制造或加强不公平的偏见”、“对人民负责”等也在不断变化和改进。

其中，机器学习公平性和模型可解释性等领域的新研究，正反向推动我们的产品进步，使其更具包容性。例如我们在谷歌翻译中减少“性别偏见”，并允许探索和发布更具包容性的图像数据集和模型，使计算机视觉能够适应全球文化的多样性。

社会公益

Jeff Dean举例了AI应用于解决现实公共问题的案例：

洪水预测工作。该研究与Google的许多团队合作，旨在提供有关洪水发生可能和范围的准确细粒度信息，使洪水易发地区的人们能够更好地保护自己及其财产。

地震余震预测的工作。谷歌展示了机器学习（ML）模型可以比传统的基于物理的模型更准确地预测余震位置。

除此之外，还有许多Google研究人员和工程师合作，使用TensorFlow等开源软件解决各种科学和社会问题，例如使用卷积神经网络来识别座头鲸的位置，检测新的系外行星，识别患病的木薯植物等。

AI辅助技术

为了使ML和计算机科学帮助用户更快更有效地完成任务，谷歌推出了智能语音技术Google Duplex。

这是一个囊括自然语言研究和对话理解以及文本、语言识别的技术。其核心是一个循环神经网络，使用的是TensorFlow Extend（TFX）的机器学习平台构建。

当Google Duplex拨打电话时，它的声音近乎真实的普通人。你可以听到Google Duplex帮你打电话预约理发。

其他应用案例还包括Smart Compose，它可以使用预测模型提供有关如何撰写电子邮件的相关建议，使电子邮件撰写过程更快更容易的工具。

我们研究的一个重点是让Google智能助理这样的产品支持更多语言，并且可以更好地理解语义相似性。

量子计算

在过去的一年里，我们制作了许多令人兴奋的量子计算新成果，包括开发了一种新的72比特通用量子计算设备Bristlecone，该设备可以扩大量子计算机在量子领域可以解决的问题。

我们还发布了量子计算机的开源编程框架Cirq，并探讨了量子计算机如何用于神经网络。最后，我们分享了量子处理器性能波动的经验和技术以及量子计算机如何作为神经网络计算基板的一些想法。

自然语言理解

2018年，Google的自然语言研究在基础研究和以产品为中心的合作上都取得了非常棒的成果。我们在之前的机器学习模型基础上开发了一个新的并行版本的模型 Universal Transformer，它在包括翻译和语言推理在内的许多自然语言任务中都显示出强大的技术能力。

我们还开发了BERT，这是第一个深度双向，无监督的自然语言处理模型，仅使用纯文本语料库进行预训练，就能使用迁移学习对各种自然语言任务进行微调。

感知

我们的感知研究解决了允许计算机理解图像，声音以及为图像获取、压缩、处理，创造性表达和增强现实提供更强大工具的难题。

Google AI使命的一个关键是让其他人能够从我们的技术中受益，今年我们在改进作为Google API一部分的功能和构建块方面取得了很大进展。比如通过ML Kit 在Cloud ML API和面部相关设备构建块中实现视觉和视频的改进和新功能。

MobileNetV2是谷歌的下一代移动计算机视觉模型，我们的MobileNets广泛应用于学术界和工业界。MorphNet提出了一种有效的方法来学习深层网络的结构，从而在计算资源有限的同时，改进图像和音频模型上的性能。

计算摄影

手机拍照性能的提升不仅仅在于物理传感器的改进，更大部分要归咎于计算摄影技术的发展。

我们的计算摄影技术正在与Google的Android和消费者硬件团队密切合作，将这项研究交付给最新的Pixel和Android手机及其他设备。2014年，我们推出了HDR +，可以在软件中对齐帧，并将它们与计算软件结合，使图片具有比单次曝光更高的动态范围。这是2018年我们能够在Pixel 2中开发Motion Photos，以及Motion Stills中开发增强现实模式的基础。

今年，我们在计算摄影研究方面的主要工作之一就是创造一种名为Night Sight的新功能，即便在没有闪光灯的情况下，也能让Pixel用户在非常昏暗的场景中拍出清晰的照片。

算法和理论

在过去的一年中，我们的研究涵盖从理论基础到应用算法，从图形挖掘到隐私保护计算等广泛领域。我们在优化方面的工作涉及从研究机器学习的持续优化到分布式组合优化的领域。在前一领域，我们研究用于训练神经网络的随机优化算法的收敛性（其赢得了ICLR 2018最佳论文奖），展示了流行的基于梯度的优化方法（例如ADAM的一些变体）的问题，为新的基于梯度的优化方法提供了坚实的基础。

软件系统

我们对软件系统的大部分研究仍然与构建机器学习模型，尤其是TensorFlow有关。我们的一些新研究引入了Mesh TensorFlow，这使得用模型并行性指定大规模分布式计算变得容易。另外，我们还使用TensorFlow发布了一个可扩展的深度神经排序库。

另一个重要的研究方向是将ML应用于软件系统的堆栈层面。在安全漏洞问题方面，我们的编译器研究团队将他们用于测量机器指令延迟和端口压力的工具集成到LLVM中，从而可以做出更好的编译决策。

我们研究了Google软件定义网络WAN，这是一个独立的联合查询处理平台，可以在许多存储系统中对基于不同文件格式存储的数据执行SQL查询（BigTable，Spanner， Google Spreadsheets等）

运行内容托管等大型Web服务需要在动态环境中实现稳定的负载平衡。我们开发了一致的哈希方案，对每台服务器的最大负载提供了严格的可证明保证，并将其部署到Google Cloud Pub / Sub中的云客户。

AutoML

去年，我们展示了如何使用进化算法自动发现最先进的神经网络架构，快速构建计算机视觉模型的AutoML。还探讨了强化学习如何应用于除神经网络架构搜索之外的其他问题，表明它可以用于1）自动生成图像变换序列，以提高各种图像模型的准确性，以及2）找到新的符号优化表达式，比常用的优化更新规则更有效。

我们的另一个重点是自动发现计算效率高的神经网络架构，以便它们可以在自动驾驶环境中运行，这些环境对计算资源或推理时间有严格的限制。为此，我们认为在强化学习架构搜索的奖励函数中将模型的准确性与其推理计算时间相结合，可以找到高度准确的模型，同时满足特定的性能约束。我们还探索了使用ML来学习自动压缩ML模型以获得更少的参数并使用更少的计算资源。

TPU

TPU已经实现了谷歌研究方面的突破，例如BERT（前面已讨论过）。它还允许世界各地的研究人员通过开源建立谷歌研究，并寻求自己的新突破。例如，任何人都可以通过Colab免费对TPU上的BERT进行微调，而TensorFlow Research Cloud让数千名研究人员有机会从更大量的免费云TPU计算能力中受益。

在谷歌内部，TPU还推动了Google的核心产品的重大改进，包括搜索，YouTube，Gmail，Google智能助理，谷歌翻译等等。

开源软件和数据集

我们的开源工具TensorFlow已经被下载超过3000万。2018年，TensorFlow有八个主要版本，并增加了快速执行和分发策略等功能。随着TensorFlow Lite、TensorFlow.js 和TensorFlow Probability等相关产品的推出，TensorFlow生态系统在2018年大幅增长。

除了继续开发现有的开源生态系统之外，我们在2018年引入了一个新的框架，用于灵活和可重复强化学习的可视化工具，可以快速了解数据集的特征（无需编写任何代码）。

今年，我们很高兴发布Google数据集搜索，这是一种从所有网络中查找公共数据集的新工具。多年来，我们还策划并发布了许多新颖的数据集。

我们发布了Open Images V4数据集，包含190万张图片，共计600个类别，共标记了1540万个边界框，这是迄今的有对象位置注释的最大数据集。这些边界框大部分都是由专业注释人员手动绘制的，确保了它们的准确性和一致性。

健康

在过去几年中，我们一直将ML应用于健康，我们在这个领域的一般方法是与医疗保健组织合作解决基础研究问题（利用临床专家的反馈优化技术），然后将结果发表在同行评审的科学和临床期刊上。一旦研究得到临床和科学验证，我们就会进行用户和HCI研究，以了解我们如何在现实临床环境中进行部署。2018年，我们在计算机辅助诊断上取得新的突破。

2018年，我们研发了一个可以与视网膜专家相媲美的深度学习模型。我们与Verily的Alphabet同事合作，在印度的Aravind Eye Hospitals和泰国卫生部附属的Rajavithi医院等 10多个地点部署了这种糖尿病视网膜病变检测系统。