谷歌新模型突破BERT局限:NLP版「芝麻街」新成员Big Bird长这样

OPEN编辑 1年前

  最新消息,谷歌推出了 NLP 系列「芝麻街」的新成员 Big Bird。

  这个在外界眼中看起来有点可爱的动漫小鸟,摇身一变,解决了 BERT 模型中的全注意力机制带来的序列长度二次依赖限制,可以兼顾更长的上下文。

  △ 「芝麻街」中的 Big Bird

  众所周知,谷歌开发的 BERT,曾经被称为「地表最强」NLP 模型。

  而 BERT,则与美国知名动画片「芝麻街」(Sesame Street)里的虚拟人物同名。

  此前,谷歌的「芝麻街」系列已经有 5 个成员(论文链接见传送门),现在 Big Bird 的到来,意味着谷歌在 NLP 的研究上更进一步。

  △ 少了一位 ELMo

  来看看 Big Bird 实现了什么。

  突破全注意力机制的局限

  在 NLP 模块表现最好的几种深度学习模型,例如 BERT,都是基于Transformer作为特征抽取器的模型,但这种模型有它的局限性,核心之一就是全注意力机制

  这种机制会带来序列长度二次依赖限制,主要表现在存储方面。

  为了解决这个问题,团队提出了一种名为 Big Bird 的稀疏注意力机制。

  作为更长序列上的 Transformers,Big Bird 采用稀疏注意力机制,将二次依赖降至线性。

  下面这张图片,展示了 Big Bird 所用的注意力机制模块构建。

  其中,白色的部分代表着注意力的空缺。

  图(a)表示r=2 的随机注意力机制,图(b)表示w=3 的局部注意力机制,图(c)表示g=2 的全局注意力机制,图(d)则是前三者融合起来的 Big Bird 模型。

  之所以提出这样的模型,是因为团队希望能在将二次依赖降至线性的同时,Big Bird 的模型还能最大程度上接近并保持 BERT 模型的各项指标。

  从下图来看,无论是单一采用随机注意力机制、局部注意力机制,还是二者结合的方式,都没有将三者进行结合的效果好。

  也就是说,随机+局部+全局的注意力机制融合,最大程度上接近了 BERT-base 的各项指标。

  不仅如此,这种稀疏注意力机制的一部分,还包括了采用O(1) 的全局词例(global token),例如 CLS。

  这部分使得长程注意力开销从O(N√N)降至O(N)。

  NLP 问答和摘要任务中超越了 SOTA

  模型采用 Books、CC-News、Stories 和 Wikipedia 几种数据集对四类模型进行了训练,根据留出法评估,BigBird-ETC 的损失达到了最低。

  从结果来看,Big Bird 在问答任务中展示出的精度非常不错。

  下图是 Big Bird 与 RoBERTa 和 Longformer 对比所展现出来的精度效果,可以看见,在各项数据及上,BigBird 的两个模型都展现出了更高的精度。

  而在对模型进行微调后,可以看见,BigBird-ETC 在 HotpotQA 的 Sup、NaturalQ 的 LA、TriviaQA 的 Verified 和 WikiHop 上均超越了 SOTA。

  与此同时,Big Bird 在 NLP 的摘要任务中表现也比较亮眼。

  摘要,顾名思义是从一段长文字中提炼出这段话的核心思想和意义。下面是从三个长文章数据集 Arxiv、PubMed 和 BigPatent 中测试的效果。

  从图中来看,与其他非常先进的 NLP 模型相比,BigBird 极大地提高了摘要任务的各项精度,性能表现非常优异。

  不仅如此,Big Bird 被证明是图灵完备的,这也就意味着,一切可以计算的问题,Big Bird 都能计算,理论上,它能够用来解决任何算法。

  此外,Big Bird 在基因组数据处理方面也极具潜力。

  但虽然如此,也有网友认为,这样的模型与 Longformer 在概念上并无本质区别,不能算是一个大突破。

  你怎么看?

  作者介绍

  论文的两位共同一作是 Manzil Zaheer 和 Guru Guruganesh,均来自谷歌。

  △ Manzil Zaheer

  Manzil Zaheer,CMU 机器学习博士,3 篇论文曾经发表于 NIPs 上,除此之外,在 ACL 和 EMNLP 等顶会上也发表过相应文章。

  △ Guru Guruganesh

  Guru Guruganesh,CMU 机器学习博士,主要在近似算法、拉姆齐定理、半正定规划等方向有所研究。

  传送门

  「芝麻街」系列论文列表:

  —  —