AI 寒冬:炒作不是在退潮,而是在爆裂

jopen 3年前
   <p>作者:Filip Piekniewski 是计算机视觉和 AI 领域的专家,还是 Koh Young Technology 公司的首席 AI 科学家。</p>    <p style="text-align:center"><img alt="AI 寒冬:炒作不是在退潮,而是在爆裂" src="https://simg.open-open.com/show/5ffacc9e49951c6e7527491ba888dadf.jpg" /></p>    <p>我上次撰写的 <a href="/misc/goto?guid=4959013638932163631">AI 寒冬一文</a>在网上迅速传播开来,以至于我的 AWS 实例差点招架不住(该文的阅读量远超过了 10 万人次)。(云头条备注:国内媒体也纷纷<a href="/misc/goto?guid=4959013639031267284">翻译刊发</a>),该文引得许多业内人士在推文上转载,在 hackernews 和 reddit 上引发了激烈讨论。从这个经验证据来看,有一点很清楚:至于 AI 寒冬是否近在眼前,这是一个非常敏感、发人深思的话题。该文好像使许多人深有触动。</p>    <p>不管怎样,我想在这篇后续文章中回应几个观点,并解释几个误解。</p>    <p><strong>炒作不是在退潮,而是在爆裂</strong></p>    <p>首先,许多人在引用我写的那篇文章时都提到了 AI 炒作在退潮。那根本不是我阐述的观点。关于 AI 的炒作依然很热烈。一些主要的“造势者”已经变得更安静了,但就像我在文中解释的那样,乍一看,一切依然看上去那么美。你要洞察造势的背后,才能看清有没有裂缝。如果炒作渐渐淡化,那实际上是好事。股市崩盘时,不是每个人都慢慢地开始承认:自己为股票付了过高的价钱,悄无声息地打道回府。崩盘突如其来地发生,恐慌情绪猛地袭来,每个人都试图抛售;而同时,同一些人大造声势,以便能够找到接盘侠(即所谓的拉高出货)。只有在做市商真正找不到买家、造市者找不到现金时才会宣布危机。所以炒作是一个滞后的指标(而且常常滞后严重)。我预测,AI 领域会是这种情况。自动驾驶汽车造成的每一次死亡事故都会将可能投资于 AI 的风险投资家(VC)的数量减少一半。对于悄然关闭的每一家 AI 初创公司来说也是如此。与此同时,那些已经投入巨资的公司会大造声势,而私底下试图变现资产。只有市场上没有人接盘――这时候种子轮资金早已花光,AI 寒冬才变得尽人皆知。</p>    <p><strong>应用是关键,就是这么简单!</strong></p>    <p>认为 AI 寒冬并未到来的主要论点是,这一回,AI 切实带来了利润,而且有真正的应用。OK,是不乏应用。主要用于图像搜索、语音识别,可能还有监视(即谷歌和 非死book 等)。出现了风格迁移(style transfer),无疑会让 Photoshop 再次变得很出色。但这些至今都已有 3 个年头了。我实际上参加了悉尼举行的上一次国际机器学习大会(ICML)上的“深度学习应用”分会。说实话,那真是一次让人索然寡味的分会。</p>    <p>现在谈谈对 AI 寒冬的影响,今天 AI 创造了多少收入实际上并不重要。重要的是人们投入了多少资金,因此他们期望将来获得多大的回报。如果现实与这些预期不相符,那么就会出现寒冬。就这么回事。在这个周期中投入 AI 的资金数额非常巨大。而这些投入的重点领域是自动驾驶汽车;我所说的自动驾驶并不是指远程控制或辅以安全驾驶员――只有自动驾驶汽车真正完全自主,这种技术才有经济效益。巧合的是,这恰恰是我认为实现机会最小的一种应用。</p>    <p><strong>可还有 Waymo!</strong></p>    <p>但有读者说还有 Waymo。是指 Waymo 在未明确的时间段内购买多达 60000 辆货车吗?那又怎么样?优步在去年年底订购了 200000 辆沃尔沃。我想知道这笔交易后来怎样。但 Waymo 测试的是没有安全驾驶员的自动驾驶汽车!是的,是在菲尼克斯城最安静、最低速的路段,拥有良好的蜂窝信号接收功能,因而可以不间断地远程监控这些汽车。哦顺便说一下,车辆速度限制在 25 英里/小时......长话短说:Waymo 甚至可能部署 100 万辆用 LTE 监测的远程控制汽车。这在自动驾驶汽车方面证明不了什么,因为这样的部署会蒙受巨大的损失。很显然,只要谷歌有钱,就会往这个领域砸钱,而谷歌不可能一直砸钱进去。谷歌自动驾驶汽车项目已存在了 10 年,我预计它会再运作 10 年。不过一旦它们研发的车撞死人,也就是项目结束之时。这就是为什么谷歌极其谨小慎微。</p>    <p><strong>最近深度学习失败的几个例子</strong></p>    <p>我的文章在 推ter 上引起强烈反响后,出现了几篇颇引人关注的论文,另外几篇引起了我的注意:</p>    <p>1. 《CIFAR-10 分类器是否可以泛化到 CIFAR-10?》(<a href="/misc/goto?guid=4959013639122476149">https://arxiv.org/abs/1806.00451</a>):一项研究表明,通过生成一个新的测试集,模型的整体性能会大幅下降。</p>    <p style="text-align:center"><img alt="AI 寒冬:炒作不是在退潮,而是在爆裂" src="https://simg.open-open.com/show/cd365074fda02fe0237ccfdcb68a2a92.jpg" /></p>    <p>这表明了众所周知的数据窥视问题,这个问题不断被忽略,而且被竭力掩盖。长话短说:你的分类器要有一个无偏差的性能数字,你的测试数据就只能用一次。但是如果是这样,每次你设计一个新的分类器,必须用新的数据来测试,你的结果就不再可重现!那是统计学范畴,里面涉及概率问题。你完全可以拿固定的预留测试集来测试你的模型,结果是百分之百可重现,但它们是有偏差的。你自个作选择吧。</p>    <p>2. 《语义敌对例子》(<a href="/misc/goto?guid=4959013639218714169">https://arxiv.org/abs/1804.00499</a>):前一篇文章表明,即使拿仔细选择以便酷似原始训练分布的新样本来进行测试,模型的稳健性也不是很好;所以,面对来自原始分布之外的样本,机器学习不具有稳健性也就不足为奇。</p>    <p style="text-align:center"><img alt="AI 寒冬:炒作不是在退潮,而是在爆裂" src="https://simg.open-open.com/show/4d21f539479fff41b220e886f6e3f722.jpg" /></p>    <p>3. 《为什么深度卷积网络泛化到小图像转换如此糟糕?》(<a href="/misc/goto?guid=4959013639307961937">https://arxiv.org/abs/1805.12177</a>)和《旋转和转换就足够了:用简单的转换来愚弄 CNN》(<a href="/misc/goto?guid=4959013639401032473">https://arxiv.org/abs/1712.02779</a>):很显然,深度网络的转换和旋转不变性被稍稍高估了。实际上,你可以在我之前的(2016 年中期)那篇文章中看到一些报告的行为,我当时将一个 SOA 深度网络运用于我用手机拍摄的几段视频。</p>    <p style="text-align:center"><img alt="" src="data:image/gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAADUlEQVQImWNgYGBgAAAABQABh6FO1AAAAABJRU5ErkJggg==" /><img alt="" src="data:image/gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAADUlEQVQImWNgYGBgAAAABQABh6FO1AAAAABJRU5ErkJggg==" /></p>    <p>4. 最后但并非最不重要的是:《愚弄深度神经网络的单个像素攻击》(<a href="/misc/goto?guid=4959013639495908737">https://arxiv.org/abs/1710.08864</a>)。如果你认为未能略微转换或旋转或者色调变化已经够糟糕了,那么你看到这种攻击就不会这么认为了。调整一个像素就足够了……</p>    <p style="text-align:center"><img alt="" src="data:image/gif;base64,iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAYAAAAfFcSJAAAADUlEQVQImWNgYGBgAAAABQABh6FO1AAAAABJRU5ErkJggg==" /></p>    <p>这些结合传统的梯度衍生对抗例子(<a href="/misc/goto?guid=4959013639587222237">https://blog.piekniewski.info/2016/08/18/adversarial-red-flag/</a>)完全表明了这些方法有多么脆弱。</p>    <p style="text-align:center"><img alt="AI 寒冬:炒作不是在退潮,而是在爆裂" src="https://simg.open-open.com/show/9c498ae7ee92ea432e24a9f70589fa29.jpg" /></p>    <p>我们离强大的认知还远得很;在我看来,我们陷入了一种错误的范式,因此我们甚至没有朝着正确的方向前进。</p>    <p>来自: <a href="/misc/goto?guid=4959013639665547716" id="link_source2">mp.weixin.qq.com</a></p>