如何看待深度学习?

jopen 8年前

 

近来,深度学习成为一个流行词。有分析师认为,它会削弱现有机器学习方法的地位。实际上,深度学习并不是一个新概念,它是上世纪90年代就已经出现的 人工神经网络(ANN) 算法的一种扩展。由于ANN需要极大的数据集用于训练,所以被边缘化了。深度学习算法为ANN带来了新生,它会训练多层ANN,而所需的数据比先前的预期要少。近日,数据科学家Anubhav Srivastava 撰文分享 了一些有关深度学习的看法。

深度学习可以更好地通过增加数据集的规模来改善学习结果,这是人们需要这种算法的原因。在实际的解决方案中,深度学习更适合于未标记数据,而这超出了自然语言处理的范畴,后者更多限于实体识别。与传统的机器学习工具相比,深度学习挖掘了神经网络的潜力。基于强大的特征提取,它比其他工具更适合模式识别(图像、文本、音频)。

但是,深度学习并不会取代其他所有的机器学习算法。对于许多应用而言,一些简单点的算法(如逻辑回归、支持向量机)就已经足够。支持者之所以为深度学习而兴奋,一个基本的原因是,它是一种不同于线性或内核模型的元算法。这意味着,深度学习没有任何损失函数的特性,而且不受特定的公式限制,可以为科学家提供更大的灵活性。

有分析师认为,深度学习是最像大脑的算法,但Anubhav认为这种观点有些片面,并以 Numenta 为例进行了进一步的阐述。Numenta“皮质(cortical)”算法基于 分级时序记忆(HTM) 模型,而后者是在“ 稀疏分布记忆(sparse distributed memory) ”概念的基础上发展而来,那是一种学习人类长期记忆的数学模型。皮质算法既可以从空间维度,也可以从时间维度进行特征提取,使它更像是大脑的仿制品。

有鉴于此,Anubhav认为,目前围绕深度学习和Numenta的一些争论不甚合理。有种观点是,Numenta HTM适合无监督学习,并将此视为其相对于深度学习算法的一个重大优势。还有一种观点是,Numenta可以视为一种时间-内存需求更小的 在线学习 算法。Anubhav指出,有一个很重要的事实被忽略了,就是深度学习是一个多层模型。在多数情况下,神经网络模型一次只能求解一种问题类型,面对多种问题类型时,就需要使用混合模型。在这方面,深度学习算法的多层模型是一个巨大的优势,即使Numenta也无法与其相比。