深度学习三巨头:AI需要新硬件,万亿突触神经网络或成可能

OPEN编辑 2周前

  图灵 TOPIA,作者:安然

  近日,在第 34 届 AAAI 年度人工智能大会的新闻发布会上,来自多伦多大学的教授 Geoffrey Hinton、非死book 的 Yann LeCun 以及和蒙特利尔 MILA 人工智能研究所的 Yoshua Bengio 进行了一场讨论,话题包括人工智能伦理以及“常识”在人工智能中可能意味着什么,以及未来的深度学习神经网络的发展方向。

  Hinton 和 Yann LeCun 以及 Yoshua Bengio 在深度学习领域有很高的造诣,被誉为“深度学习三巨头”。

  他们表示,新型的硬件可以加速神经网络的训练和推理,可以产生更大的模型,也许有一天会使万亿突触神经网络成为可能,同样重要的是即将到来的机器人革命。

  在硬件方面,Hinton 进一步解释了限制当今神经网络的技术方面。例如,他指出,神经网络的权值必须使用数百次,并对权值进行频繁的更新。他说,图形处理单元(GPU)的内存有限,必须不断地在外部 DRAM 中存储和检索,这是一个限制因素。 

  更大的芯片内存储容量“将有助于像 Transformer 这样的软注意力,”Hinton 说,他指的是在 2017 年谷歌大会上开发的广受欢迎的自回归神经网络。他说,使用“键/值”对来存储和从内存中检索数据的变压器,如果使用具有大量内嵌内存的芯片,可能会大得多。

  LeCun 和 Bengio 对此表示赞同,LeCun 指出 GPU“迫使我们进行批处理”,即数据样本在经过神经网络时分组,“这是低效的”。另一个问题是 GPU 假定神经网络是由矩阵产品构成的,这迫使科学家限制了可以构建到此类网络中的转换类型。 

  Bengio 表示:“还有稀疏计算,在 GPU 上运行不方便……在这种情况下,大多数数据,比如像素值,可能是空的,只有很少的有效位需要处理。 

  LeCun 预测,新的硬件将导致“更大的神经网络与稀疏激活”,他和 Bengio 都强调,在消耗更少的能量下做同样数量的工作更有兴趣的。

  然而,LeCun 为人工智能辩护,反驳它是一个能源消耗大户的说法。他说,非死book 每年每个用户消耗的能源是 1500 瓦,这与其他消耗能源的技术相比,这并不算多。 LeCun 表示,硬件最大的问题是在训练方面,它是 Nvidia GPU 和谷歌 TPU 的双头垄断,这重复了他去年在国际固态电路会议上提出的观点。 

  LeCun 说,比用于训练的硬件更有趣的是用于推理的硬件设计。LeCun 重申了一年前发表的一份声明,称 非死book 正在为人工智能开发各种内部硬件项目,包括推理,但他拒绝透露细节。

  Hinton 指出,当今的神经网络很小,而真正的大神经网络可能只有一百亿个参数。

  硬件方面的进步可能会通过制造更大的网络,增加更多的权重来推动 AI 的发展。

   他说:“大脑的一立方厘米内有一万亿个突触。” “如果有通用人工智能之类的东西,它可能需要一万亿个突触。”

   至于机器中的“常识”是什么样子的,没有人真正知道,Bengio 说。

  Hinton 抱怨说,人们一直在改变目标,比如使用自然语言模型。“我们终于做到了,然后他们说这并不是真正的理解。他说:“现在我们在这方面做得很好,他们想找些别的东西来评判机器学习。”“这就像试图与一个有宗教信仰的人争论,你不可能赢。” 

  但是,一位记者问道,公众关心的与其说是缺乏人类理解的证据,不如说是缺乏机器以一种陌生的方式运行的证据,比如“对抗性的例子”。Hinton 回答说,对抗性的例子表明分类器的行为还不是很正确。他说:“虽然我们能够正确地对事物进行分类,但网络这么做的理由绝对是错误的。”“相反的例子向我们表明,机器正在以与我们不同的方式做事。” 

  LeCun 指出,动物也会像机器一样被愚弄。他若有所思地说:“你可以设计一个适合人类的测试,但不适合其他生物。” Hinton 表示同意,他说:“家猫也有同样的局限。” 

  此外,LeCun、Hinton、Bengio 也是著名的图灵奖的获得者。 

  三人一致认为,对人工智能来说,另一个可能被证明是巨大进步的东西是机器人。Hinton 说:“我们正处于一场革命的开端,这将是一个大问题”。许多应用程序,如视觉。他说,机器人不是分析一个静态图像或视频帧的全部内容,而是创建一个新的“感知模型”。 

  他解释说:“你要先看一个地方,然后再看另一个地方,所以现在就变成了一个涉及注意力活动的连续过程。” Hinton 预测,去年 OpenAI 在操纵魔方方面的工作,是机器人技术的一个分水岭,或者更确切地说,是“AlphaGo 时刻”。 

  LeCun 对此表示赞同,他说 非死book 运行人工智能项目并不是因为 非死book 本身对机器人有着极大的兴趣,而是因为它被视为“人工智能研究进步的重要基础”。 

  这三位科学家对某些观点表示怀疑,虽然大多数有关深度学习的研究都是公开进行的,但一些公司在吹嘘人工智能的同时对细节保密。 

  “它之所以被隐藏起来,是因为它让人们觉得它很重要,”Bengio 说,而实际上,许多深入公司的工作可能并不具有开创性。“有时候,公司会让它看起来比实际复杂得多。” 

  Bengio 继续在三大角色中继续扮演自己的角色,他在 AI 的社会问题上直言不讳,例如建立道德体系。 

  当 LeCun 被问及面部识别算法的使用时,他指出,技术可以用于好的和坏的目的,这在很大程度上取决于社会的民主制度。但是 Bengio 稍微反驳说:“Yann 说的显然是真的,但是杰出的科学家有责任说出来。”LeCun 若有所思地说,“为社会做决定”并不是科学的工作,这促使 Bengio 做出回应,“我不是在说要做决定,我是说我们应该参与进来,因为一些国家的政府对这种参与是开放的。” 

  Hinton 经常用幽默的旁白来强调事情,在会议快结束时,他指出了自己在 Nvidia 问题上的最大错误。“2009 年,我在 Nvidia 身上犯了一个大错误,”他说。“2009 年,我告诉 1000 名研究生,他们应该去购买 Nvidia GPU,以加速他们的神经网络。我打电话给 Nvidia,说我刚向 1000 名研究人员推荐了你们的 GPU,你能给我一个免费的吗?他们说不行。 

  “如果我真的聪明的话,我应该做的是把我所有的积蓄都投入 Nvidia 的股票。当时股价是 20 美元,现在大概是 250 美元。”

  参考链接:https://www.zdnet.com/article/ai-on-steroids-much-bigger-neural-nets-to-come-with-new-hardware-say-bengio-hinton-lecun/