Google大脑团队2016年度回顾
jopen 7年前
<p style="text-align: center;"><a href="/misc/goto?guid=4958984127719761301" title="Google"><img alt="Google大脑团队2016年度回顾" src="https://simg.open-open.com/show/1398f098be05592a1001a5275df0b684.png" /></a></p> <p><a href="/misc/goto?guid=4958998673232332698">Google 大脑团队</a>的长远目标是，创造更智能的软件系统以改善人类生活，并通过各种不同领域纯粹的应用型研究来实现。尽管这明显是一个长期目标，但我们想退回一步，回顾团队去年的一些进步，并分享我们对 2017 年的期许。</p> <p><strong>研究成果发表</strong></p> <p>评价研究质量的一个重要方式，就是通过在国际顶级机器学习会议，比如 <a href="/misc/goto?guid=4958998673333300804">ICML</a>、<a href="/misc/goto?guid=4958998673425974983">NIPS</a> 和 <a href="/misc/goto?guid=4958998673539005456">ICLR</a> 上发表成果。过去的一年，我们的团队在这些会议上有 27 篇论文被接受，涵盖诸多话题，包括<a href="/misc/goto?guid=4958998673616981372">程序化</a>、<a href="/misc/goto?guid=4958998673712700738">网络间的知识传递</a>、<a href="/misc/goto?guid=4958998673821675087">机器学习模型的分布式训练</a>、<a href="/misc/goto?guid=4958998673939691120">语言模型生成</a>、<a href="/misc/goto?guid=4958998674066369349">无监督机器学习</a>、<a href="/misc/goto?guid=4958998674206972744">自动化定理证明</a>、<a href="/misc/goto?guid=4958998674323021409">更好的神经网络理论理解</a>、<a href="/misc/goto?guid=4958998674437730246">强化学习的算法改进</a> 等等。还有更多的论文被其他领域的会议接受，比如自然语言处理的 <a href="/misc/goto?guid=4958998674551573221">ACL</a> 和 <a href="/misc/goto?guid=4958998674663283718">CoNNL</a> 大会，语音的 <a href="/misc/goto?guid=4958998674765055876">ICASSP</a>，视觉的 <a href="/misc/goto?guid=4958998674868438024">CVPR</a>，机器人的 <a href="/misc/goto?guid=4958998674969364615">ISER</a> 和计算机系统的 <a href="/misc/goto?guid=4958998675071204006">OSDI</a> 大会。我们团队还提交了 34 篇论文给即将召开的 ICLR 2017，这是一个深度学习研究的顶级会议。可以通过<a href="/misc/goto?guid=4958998675155966332">这里</a>了解我们在这些论文中的工作。</p> <p><strong>自然语言理解</strong></p> <p>我们研究的关键领域之一，是让计算机更好地理解人类语言。2014 年末，大脑团队的三位研究人员发表了一篇关于序列到序列的神经网络学习（<a href="/misc/goto?guid=4958998675280408587">Sequence to Sequence Learning with Neural Networks</a>）的论文，论证了机器翻译技术的可行性。2015 年，我们展示了这项技术也可以用于<a href="/misc/goto?guid=4958998675388590489">生成图片标题</a>、<a href="/misc/goto?guid=4958998675506384353">语句分析</a>，以及<a href="/misc/goto?guid=4958998675627808330">求解计算几何问题</a>。到了 2016 年，这项前瞻研究（有了更大的提升）前所未有地让大脑团队成员与 Google 翻译团队紧密协作，最终用一个完整的端到端学习系统（<a href="/misc/goto?guid=4958998675726463698">研究论文</a>）全部<a href="/misc/goto?guid=4958998675801157407">替代了 Google 翻译开发的翻译算法</a>。这个新系统弥补了旧系统和人类优质翻译之间的差距，对于一些语言间的翻译目前高达 85% 的准确率。几周后，我们展示了该系统是如何做到“<a href="/misc/goto?guid=4958998675897349723">zero-shot tranaslate</a>”的，即无翻译样本情景下的学习翻译（<a href="/misc/goto?guid=4958998675964800977">研究论文</a>）。该系统目前已部署在 Google 翻译的生成环境，且支持越来越多的语言之间的翻译，为用户提供更高质量的翻译，让人们消除语言隔阂更加高效地沟通。Gideon Lewis-Kraus 撰文“<a href="/misc/goto?guid=4958998676055578379">The Great A.I. Awakening</a>”介绍了这项翻译杰作（以及深度学习和 Google 大脑团队的历史），这篇深度文章于 2016 年 12 月发表在纽约时报杂志。</p> <p><strong>机器人技术</strong></p> <p>商业机器人控制算法是非常谨慎和精细地手工编程，并且因为意味着给机器人带来新的能力，所以通常是一个非常辛苦的过程。我们相信更好的解决方案是，让机器人通过机器学习自动化地学习并获得新技能。去年，我们与 <a href="/misc/goto?guid=4958998676140069101">Google X 团队</a>的研究人员合作，展示了机械臂如何通过<a href="/misc/goto?guid=4958998676230380352">学习手眼协调</a>，总结它们的经验以更快地自学（<a href="/misc/goto?guid=4958998676308003872">研究论文</a>）。我们的机器人在研究期间完成了大约 800,000 个很有把握的尝试。年末，我们发掘了 3 种可能的可行方案来学习新技能：通过强化学习、通过交互学习，以及通过演示学习。我们将沿此目标继续努力，让机器人能灵活便捷地学习新任务，并运行在复杂的真实环境中。为帮助其他机器人技术研究人员，我们<a href="/misc/goto?guid=4958998676384547140">开放了多个机器人数据集</a>。</p> <p><strong>医疗卫生</strong></p> <p>有可能通过机器学习来增强医生和医疗从业者的能力，这让我们非常兴奋。仅仅作为一个可能性示例，发表在美国医学会会刊（<a href="/misc/goto?guid=4958998676474176672">JAMA</a>）上的一篇<a href="/misc/goto?guid=4958998676547485146">论文</a>，展示了一个机器学习驱动的诊断系统通过一张视网膜图像进行糖尿病视网膜病变诊断，其能力已经与一个认证的眼科专家相当。如果无法发现糖尿病视网膜病变的早期症状，那么超过 4 亿人可能有失明风险，但很多国家只有极少的眼科专家在进行筛选，而这项技术能帮助确保更多的人得到筛选。在其他医学图像领域我们也在做一些工作，并且在研究机器学习应用于其他更多医学预测任务方面。我们相信<a href="/misc/goto?guid=4958998676629918323">机器学习能提升医患医疗体验的质量和效率</a>，2017 年在这个领域我们会有更多的工作进展可以介绍。</p> <p><strong>音乐和艺术创作</strong></p> <p>科技往往会帮助人们更好地创作和分享多媒体——比如印刷出版、电影或电声吉他。去年我们启动了一个叫 <a href="/misc/goto?guid=4958998676722478407">Magenta</a> 的项目，来<a href="/misc/goto?guid=4958998676798136436">挖掘艺术和机器智能间的可能性</a>，以及使用机器学习系统来激发人类创造性的可能性。从音乐和图片生成开始，发展到诸如文本生成和 VR 等领域，Magenta 在内容创作模型的生成方面有着最先进的水平。我们帮助组织了一个关于此话题的<a href="/misc/goto?guid=4958998676880558985">一日座谈会</a>，并<a href="/misc/goto?guid=4958998676969726499">支持了一场机器生成艺术的艺术展</a>。在<a href="/misc/goto?guid=4958998677052768158">音乐生成</a>和<a href="/misc/goto?guid=4958998677138362371">艺术风格转换</a>方面，发掘了大量的话题，<a href="/misc/goto?guid=4958998677218548299">我们的 jam session 演示赢得了 NIPS 2016 的最佳展示奖</a>。</p> <p><strong>AI 安全与公正</strong></p> <p>开发更加强大和复杂的 AI 系统并应用到现实世界的方方面面时，我们想确保这些系统是很安全和公正的，而且还想构建工具来帮助人类更好地理解它们产生的输出。在 AI 安全领域，由 Stanford、Berkeley 和 OpenAI 参与的跨机构合作中，我们发表了<a href="/misc/goto?guid=4958998677303756432">关于 AI 安全具体问题的白皮书</a>（参见<a href="/misc/goto?guid=4958998677382916173">这里的博客文章</a>）。该论文概述了一些特定问题和领域，相信有一些真正基础的研究会在 AI 安全领域得到解决。我们在其中一个安全方面取得了进展，即训练数据中的隐私保护，获得<a href="/misc/goto?guid=4958998677472331210">差异化的隐私担保</a>，其中大部分是近期通过<a href="/misc/goto?guid=4958998677551559558">知识转移技术</a>获得。除了安全之外，当开始信赖 AI 系统来做更复杂和精准的决策时，我们想确认这些决策是公正的。在<a href="/misc/goto?guid=4958998677628734484">一篇关于有监督学习中机会均等的论文</a>（参见<a href="/misc/goto?guid=4958998677718226192">这里的博客文章</a>）中，我们揭示了如何最优化调整任意训练过的预测器来避免偏见和歧视，文章通过基于 FICO 信用分的一个案例研究说明了这一点。为了让这项工作更易理解，我们还创建了<a href="/misc/goto?guid=4958998677804221297">一个可视化产品，来辅助说明，并交互式地探索论文中的观点</a>。</p> <p><strong>TensorFlow</strong></p> <p>2015 年 11 月我们<a href="/misc/goto?guid=4958998677887742375">开源了 TensorFlow 的初始版本</a>，以便机器学习社区的其他同仁能从中受益，同时大家一起合作共同提升。2016 年 TensorFlow <a href="/misc/goto?guid=4958971874275225039">成为 Github 上最受欢迎的机器学习项目</a>，超过 570 名开发者提交了 10,000 多条评论。<a href="/misc/goto?guid=4958998677999635088">TensorFlow 的知识库模型</a>受益于社区贡献也获得了成长，目前单单在 Github 上就有<a href="/misc/goto?guid=4958998678086317723">超过 5000 个 TensorFlow 相关的代码仓库</a>。此外，TensorFlow 已被<a href="/misc/goto?guid=4958998678159247534">知名研究机构和大型企业</a>包括 <a href="/misc/goto?guid=4958998678252481203">DeepMind</a> 广泛采纳和应用，甚至有一些特殊的应用场景，比如<a href="/misc/goto?guid=4958998678334876090">在澳新地区搜寻还牛</a>，和<a href="/misc/goto?guid=4958998678417850988">在日本分拣黄瓜</a>。</p> <p>我们<a href="/misc/goto?guid=4958973992829693048">做了大幅的性能提升</a>，并<a href="/misc/goto?guid=4958998678525302270">增加了对分布式训练的支持</a>，还把 TensorFlow 带到了 <a href="/misc/goto?guid=4958998678607501775">iOS</a>、<a href="/misc/goto?guid=4958998678695253008">树莓派（Raspberry Pi）</a>和 <a href="/misc/goto?guid=4958998678783268104">Windows</a> 平台上，甚至集成 TensorFlow 到广泛使用的<a href="/misc/goto?guid=4958998678871910580">大数据基础设施中</a>。同时还衍生出了 <a href="/misc/goto?guid=4958998678953970017">TensorBoard</a> 项目，这是一个 TensorFlow 的可视化系统，带有一些可视化<a href="/misc/goto?guid=4958998679031564594">计算图形</a>和<a href="/misc/goto?guid=4958998679120360168">嵌入式</a>的改进工具。还让 TensorFlow 可以通过 <a href="/misc/goto?guid=4958998679195402500">Go</a><a href="/misc/goto?guid=4958998679278852810">、Rust</a> 和 <a href="/misc/goto?guid=4958998679373555208">Haskell</a> 语言来访问，发布了<a href="/misc/goto?guid=4958995021179118912">最先进的图像分类模型</a>、<a href="/misc/goto?guid=4958998679480085195">Wide 和 Deep</a>、答复了来自 <a href="/misc/goto?guid=4958998679564330378">Github</a>、<a href="/misc/goto?guid=4958998679651756172">StackOverflow</a> 及 <a href="/misc/goto?guid=4958998679735625001">TensorFlow 邮件列表</a>里的数千个问题。<a href="/misc/goto?guid=4958998679823135537">TensorFlow Serving</a> 简化了产品环境中 TensorFlow 模型的服务流程，为了在云端完成这些工作，<a href="/misc/goto?guid=4958998679907653649">Google Cloud Machine Learning</a> 也提供了托管的 TensorFlow 服务。</p> <p>去年 11 月我们<a href="/misc/goto?guid=4958998679986336924">庆祝了 TensorFlow 开源一周年</a>，并在最早的计算机系统研究会议之一的 <a href="/misc/goto?guid=4958998675071204006">OSDI</a> 上，发表了 <a href="/misc/goto?guid=4958998680079903540">TensorFlow 的计算机系统全貌的论文</a>。在与 Google 编译器团队同事的合作中，我们致力于 <a href="/misc/goto?guid=4958998680167449824">TensorFlow 的一个后端编译器，叫做 XLA</a>，它的一个 alpha 版本近期已<a href="/misc/goto?guid=4958998680248198728">加入了开源发布中</a>。</p> <p><strong>机器学习社区参与</strong></p> <p>在教育指导如何进行机器学习，以及如何实施该领域的研究方面，我们也在努力。去年 1 月份，Vincent Vanhoucke 作为大脑团队的研究带头人之一，与 Udacity 合作开发并上线了<a href="/misc/goto?guid=4958979704846615754">一门免费的在线深度学习课程</a>（<a href="/misc/goto?guid=4958998680365640602">博客通知</a>）。我们还整合了 <a href="/misc/goto?guid=4958998680454979295">TensorFlow Playground</a>，一个有趣的交互系统，用来帮助人们更好的理解并可视化地说明，通过神经网络学习来完成任务有多简单。</p> <p>6 月份我们迎来了第一批共 27 位 <a href="/misc/goto?guid=4958998680540447124">Google 大脑居民</a>（Google Brain Residents），从超过 2200 个申请者中选拨出来，<a href="/misc/goto?guid=4958998680616452132">他们在 7 个月中主导完成了令人瞩目的原创研究，帮助发表了 21 篇研究论文</a>。8 月份，很多大脑团队成员<a href="/misc/goto?guid=4958998680701792233">参加了 Google 大脑团队的 Reddit AMA（随意提问），就r/MachineLearning 话题回答了很多关于机器学习和我们团队的社区提问</a>。截止年底，我们在团队中累计接收了 46 位实习生（大部分是博士研究生），他们与其他成员一起开展研究工作。</p> <p><strong>在 Google 中传播机器学习</strong></p> <p>除了上文提到的面向公众活动之外，我们持续在 Google 内部通过很多产品团队，来传播机器学习的专业知识和思想，以确保公司作为一个整体，能充分地利用到任何新显现的机器学习研究的优势。举其中一个例子，我们曾与平台团队密切协作，为 Google's Tensor Processing Unit（TPU）提供规格说明和高水准得分，TPU 是<a href="/misc/goto?guid=4958998680779750591">一个定制的机器学习加速器 ASIC，Google I/O上曾提到过</a>。这个定制芯片提供一个能极大提升机器学习工作负载的指令，广泛应用于我们的很多产品，包括 <a href="/misc/goto?guid=4958998680864312830">RankBrain</a>、近期上线的<a href="/misc/goto?guid=4958998675801157407">神经机器翻译系统</a>，以及去年三月在韩国与李世石比赛的 <a href="/misc/goto?guid=4958998680969889193">AlphaGo</a>。</p> <p>总而言之，对于 Google 大脑团队、各个合作方，以及 Google 内外的同仁们，2016 是令人振奋的一年，同时期待 2017 年我们的机器学习研究会有突破性进展！</p> <p>来自: <a href="/misc/goto?guid=4958998681049031030" id="link_source2">InfoQ</a></p>