• 1. 人工神经网络概述 基本原理 前馈型人工神经元网络 自组织竞争人工神经网络 神经网络的应用 与人工智能原理的结合 参考书:《人工神经网络的模型及其应用》 复旦大学出版社,张立明 《人工智能》第六章 机器学习
  • 2. 概述什么叫人工神经网络 采用物理可实现的系统来模仿人脑神经细胞的结构和功能的系统。 为什么要研究神经网络 用计算机代替人的脑力劳动。 计算机速度为纳秒级,人脑细胞反应时间是毫秒级。而计算机不如人。 长期以来人类的梦想,机器既能超越人的计算能力,又有类似于人的识别、分析、联想等能力。 《人工智能》第六章 机器学习
  • 3. 概述发展史 1890年,美国生物学家W.James出版了《Physiology》(生理学)一书。首次阐明了有关人脑结构及其功能,以及相关学习、联想、记忆的基本规律。指出:人脑中当两个基本处理单元同时活动,或两个单元靠得比较近时,一个单元的兴奋会传到另一个单元。而且一个单元的活动程度与他周围的活动数目和活动密度成正比。图 《人工智能》第六章 机器学习
  • 4. 概述 - 发展史1943年McCulloch(心理学家)和Pitts(数理逻辑学家)发表文章,提出M-P模型。描述了一个简单的人工神经元模型的活动是服从二值(兴奋和抑制)变化的。总结了神经元的基本生理特性,提出了神经元的数学描述和网络的结构方法。——标志神经计算时代的开始 输出表达式 图 《人工智能》第六章 机器学习
  • 5. 概述 - 发展史MP模型的意义: M-P模型能完成一定的逻辑运算 第一个采用集体并行计算结构来描述人工神经元和网络工作。 为进一步的研究提供了依据 (可以完成布尔逻辑计算) 《人工智能》第六章 机器学习
  • 6. 概述 - 发展史1949年Donala U.Hebb(心理学家)论著《The Organization of Behavior(行为自组织)》,提出突触联系强度可变的假设,认为学习的过程最终发生在神经元之间的突触部位,突触的联系强度随着突触前后神经元的活动而变化。 ——赫布规则(p45) 多用于自组织网络的学习。即:若两个神经元输出兴奋,则它们之间的连接权加强,反之减少。 《人工智能》第六章 机器学习
  • 7. 概述 - 发展史赫布规则意义(提出了变化的概念) 提出了一个神经网络里信息是储藏在突触连接的权中的概念 连接权的学习律是正比于两个被连接神经细胞的活动状态值的乘积 假设权是对称的 细胞的互相连接的结构是他们权的改变创造出来的 《人工智能》第六章 机器学习
  • 8. 概述 - 发展史1957年Frank Rosenblatt定义了一个神经网络结构,称为感知器(Perceptron) 。 规则学习 意义:第一次把神经网络研究从纯理论的探讨推向工程实现,在IBM704计算机上进行了模拟,证明了该模型有能力通过调整权的学习达到正确分类的结果。掀起了神经网络研究高潮。 《人工智能》第六章 机器学习
  • 9. 概述 - 发展史1969M.Minsky和S. Papert发表了《Perceptrons》的论著,指出感知器仅能解决一阶谓词逻辑,只能做线性划分。对于非线性或其他分类会遇到很大困难。一个简单的XOR问题的例子就证明了这一点。——神经网络研究一度达到低潮。原因还有:计算机不够发达、VLSI还没出现、而人工智能和专家系统正处于发展高潮。 《人工智能》第六章 机器学习
  • 10. 概述 - 发展史七十年代,据说全球只有几十个人在研究,但还是成功的。如:日本Fukusima的Neocognitron; 芬兰Kohonen的自组织神经网络;Stephen Crossberg的共振自适应理论ART网络等 。 《人工智能》第六章 机器学习
  • 11. 概述 - 发展史1982年John J. Hopfield(物理学家)提出了全联接网络,离散的神经网络模型。——全新的具有完整理论基础的神经网络模型。基本思想是对于一个给定的神经网络,对于一个能量函数,这个能量函数是正比于每一个神经元的活动值和神经元之间的联接权。而活动值的改变算法是向能量函数减少的方向进行,一直达到一个极小值为止。证明了网络可达到稳定的离散和连续两种情况。3年后AT&T等做出了半导体芯片。——神经网络复兴时期开始。 《人工智能》第六章 机器学习
  • 12. 概述 - 发展史1986年美国的一个平行计算研究小组提出了前项反馈神经网络的Back Propagation(BP)学习算法。成为当今应用最广泛的方法之一。该方法克服了感知器非线性不可分类问题,给神经网络研究带来了新的希望。 《人工智能》第六章 机器学习
  • 13. 概述 - 发展史1987年在美国召开了第一届世界神经网络大会1000人参加。 IJCNN等大会 Neural Computing, IEEE Neural Network 等期刊 《人工智能》第六章 机器学习
  • 14. 基本原理-神经元模型 《人工智能》第六章 机器学习
  • 15. 基本原理-神经元模型神经元 每一个细胞处于两种状态。突触联接有强度。多输入单输出。实质上传播的是脉冲信号,信号的强弱与脉冲频率成正比。 《人工智能》第六章 机器学习
  • 16. 基本原理-神经元模型转移函数: 神经细胞的输出对输入的反映。典型的转移函数是非线性的。 《人工智能》第六章 机器学习
  • 17. 基本原理-网络结构人脑神经网络: 人脑中约有140亿个神经细胞,根据Stubbz的估计这些细胞被安排在约1000个主要模块内,每个模块上有上百个神经网络,每个网络约有10万个神经细胞。 《人工智能》第六章 机器学习
  • 18. 基本原理-网络模型前馈网络:每层只与前层相联接 《人工智能》第六章 机器学习
  • 19. 基本原理-网络模型输入输出有反馈的前馈网络:输出层上存在一个反馈回路,将信号反馈到输入层。而网络本身还是前馈型的 《人工智能》第六章 机器学习
  • 20. 基本原理-网络模型前馈内层互联网络:外部看还是一个前向网络,内部有很多自组织网络在层内互联着。 《人工智能》第六章 机器学习
  • 21. 基本原理-网络模型反馈型全互联网络:所有计算单元之间都有联接。如:Hopfield网络 反馈型局部联接网络:特例,每个神经元的输出只与其周围的神经元相连,形成反馈网络。 《人工智能》第六章 机器学习
  • 22. 基本原理 -网络分类分类 前馈型; 反馈型; 自组织竞争; 随机网络 其它 《人工智能》第六章 机器学习
  • 23. 基本原理-基本属性基本属性: 非线性: 非线性关系是自然界的普遍特性。大脑的智慧就是一种非线性现象。人工神经元处于激活或抑制两种不同的状态。这种行为在数学上表现为一种非线性。 非局域性: 一个神经网络通常由多个神经元广泛联接而成。一个系统的整体行为不仅取决于单个神经元的特征,而且可能主要由单元之间的相互作用、相互联接所决定。通过单元之间的大量联接模拟大脑的非局域性。联想记忆是非局域性的典型例子。 《人工智能》第六章 机器学习
  • 24. 基本原理- 基本属性非定常性: 人工神经网络具有自适应、自组织、自学习能力。神经网络不但处理的信息有各种各样,而且在处理信息的同时,非线性动力系统本身也在不断变化。经常采用迭代过程描写动力系统的演化过程。 非凸性: 一个系统的演化方向,在一定条件下,将取决于某个特定的状态函数,如能量函数,它的极值相应于系统比较稳定的状态。非凸性是指这种函数有多个极值,故系统具有多个较稳定的平衡态,这将导致系统演化的多样性。 《人工智能》第六章 机器学习
  • 25. 基本原理-优缺点评价 优点: 并行性;分布存储;容错性;学习能力 缺点: 不适合高精度计算;学习问题没有根本解决,慢;目前没有完整的设计方法,经验参数太多。 《人工智能》第六章 机器学习
  • 26. 人工神经网络的学习方法-学习机理 《人工智能》第六章 机器学习
  • 27. 前馈型神经网概述 最初称之为感知器。应用最广泛的一种人工神经网络模型,最要原因是有BP学习方法。 前馈网络结构是分层的,信息只能从下一层单元传递到相应的上一层单元。上层单元与下层所有单元相联接。转移函数可以是线性阈值的。 《人工智能》第六章 机器学习
  • 28. 前馈型神经网单层感知器 《人工智能》第六章 机器学习
  • 29. 前馈型神经网基本原理,结构简单。很少在实际应用中出现。采用阶跃函数作为传递函数。从2维空间可以很显然的看出其分类功能,但Minsky等揭示的致命弱点也一目了然。关键是学习算法及网络设计方法: 输出yi等于: (1)其中 《人工智能》第六章 机器学习
  • 30. 前馈型神经网-单层感知器分类方法: 如果输入x有k个样本,xp, p=1, 2, …, k, xRn 当将这些样本分别输入到单输出的感知器中,在一定的和下,输出有两种可能+1或-1。 把样本xp看作为在n维状态空间中的一个矢量,那么k个样本为输入空间的k个矢量。而方程(1)就是把这个n为空间分为SA、SB两个子空间,其分界线为n-1维的超平面。即用一个单输出的感知器通过调整参数及来达到k个样本的正确划分。 如:........…. 《人工智能》第六章 机器学习
  • 31. 前馈型神经网-单层感知器........…. 则存在一组权值wij使得公式(1)满足: 则称样本集为线性可分的,否则为线性不可分的。 《人工智能》第六章 机器学习
  • 32. 前馈型神经网-单层感知器例子:2维空间希望找到一根直线,把A, B两类样本分开,其分界线为: 解有无数个。 单层感只能解决线性可分类的样本的分类问题。如样本不能用一个超平面分开,就会产生当年Minsky等提出的不可分问题。 《人工智能》第六章 机器学习
  • 33. ++++++++X1X2二维输入感知器及其在状态空间中的划分 《人工智能》第六章 机器学习
  • 34. 前馈型神经网多层感知器 多层感知器的输入输出关系与单层感知器完全相同。前一层的输出是下一层的输入。也被称为BP网络。 《人工智能》第六章 机器学习
  • 35. 前馈型神经网多层感知器 采用BP算法学习时要求传递函数为有界连续可微函数如sigmoid函数。因此,网络可以用一个连续的超曲面(而不仅仅是一个超平面)来完成划分输入样本空间的功能。 先求误差,用梯度下降的方法求误差的传递。从后往前算。 《人工智能》第六章 机器学习
  • 36. 《人工智能》第六章 机器学习
  • 37. 前馈型神经网多层感知器 n层网络可以以n-1个超曲面构成一个符合曲面,弥补了单层感知器的缺陷。基于BP算法,依据大量样本通过逐步调整神经元之间的联接权重来构造网络。理论上,多层前馈网络在不考虑结果规模的前提下,可以模拟任意的输出函数。 《人工智能》第六章 机器学习
  • 38. 前馈型神经网特点: 用非线性连续可微的函数来分类,结果是一种模糊概念。当输出f(u)>0时,其输出不一定为1,而是一个>0.5(有时只是>0)的值,表示所得到的概率为多少。 应用: 各行各业。是应用最广泛的神经网络模型之一。 《人工智能》第六章 机器学习
  • 39. 自组织竞争人工神经网络概述 在实际的神经网络中,存在一种侧抑制的现象。即一个细胞兴奋后,通过它的分支会对周围其他神经细胞产生抑制。这种侧抑制在脊髓和海马中存在,在人眼的视网膜中也存在。 《人工智能》第六章 机器学习
  • 40. 自组织竞争人工神经网络概述 这种抑制使神经细胞之间出现竞争,一个兴奋最强的神经细胞对周围神经细胞的抑制也强。虽然一开始各个神经细胞都处于兴奋状态,但最后是那个输出最大的神经细胞“赢”,而其周围的神经细胞“输”了。 胜者为王。小猫 《人工智能》第六章 机器学习
  • 41. 自组织竞争人工神经网络概述 自组织竞争神经网络是在 “无师自通”的现象的基础上生成的。 人类等生物的生长过程。 《人工智能》第六章 机器学习
  • 42. 自组织竞争人工神经网络结构: 层内细胞之间互联,在各个神经细胞中加入自反馈,相互作用,输出y为 :系统稳定时“胜者为王”。此时赢者的权向量与输入向量的欧氏距离最小。此距离为 : 《人工智能》第六章 机器学习
  • 43. 自组织竞争人工神经网络自组织映射模型 自组织映射模型是由Kohonen提出来的。模型是以实际神经细胞中的一种特征敏感的细胞为模型的。各个细胞分别对各种输入敏感,可以代表各种输入,反映各种输入样本的特征。如果在二维空间上描述这些细胞,则,功能相近的细胞聚在一起,靠得比较近。功能不同的离得比较远。 网络形成过程: 开始是无序的,当输入样本出现后各个细胞反映不同,强者依照“胜者为王”的原则,加强自己的同时对周围细胞进行压抑。使其对该种样本更加敏感,也同时对其他种类的样本更加不敏感。此过程的反复过程中,各种不同输入样本将会分别映射到不同的细胞上。 《人工智能》第六章 机器学习
  • 44. Kohonen网络的结构 x2x1输入层输出层 《人工智能》第六章 机器学习
  • 45. Nc(t)的形状和变化情况 Nc(t0)Nc(t1)Nc(t2)Nc(t0)Nc(t1)Nc(t2) 《人工智能》第六章 机器学习
  • 46. 自组织竞争人工神经网络特点: 网络中的权值是输入样本的记忆。如果输出神经元j与输入n个神经元之间的联接用wj表示,对应其一类样本x输入,使yj达到匹配最大。那么wj通过学习后十分靠近x,因此,以后当x再次输入时,yj这个神经元必定会兴奋,yj是x的代表。 .......…. 《人工智能》第六章 机器学习
  • 47. 自组织竞争人工神经网络........…. 网络学习时对权的调整不只是对兴奋的那个细胞所对应的权进行,而对其周围Nc区域内的神经元同时进行调整。因此,对于在Nc内的神经元可以代表不只是一个样本x,而是与x比较相近的样本都可以在Nc内得到反映。因此,这种网络对于样本的畸变和噪声的容差大。(调整区域函数有。。。) 各种函数 网络学习的结果是:比较相近的输入样本在输出平面上映射的位置也比较接近。具有自然聚类的效果。 《人工智能》第六章 机器学习
  • 48. 神经网络的应用该门科学起源于心理学、生理学、生物学、医学等科学,研究发展过程中又涉及到数学、物理学、计算机科学等领域。然而,它的应用几乎遍及自然科学的各个领域。其中最多的是模式识别、通讯、控制、信号处理等方面。 《人工智能》第六章 机器学习
  • 49. 神经网络的应用根据应用背景选择网络结构 排除各种干扰(预处理) 根据网络结构特点准备输入样本 选择训练样本 训练网络 《人工智能》第六章 机器学习
  • 50. 前馈网络字符识别器的网络结构模型 《人工智能》第六章 机器学习
  • 51. 多分类器合成系统结构图 InputOutputC4C3C2C1 《人工智能》第六章 机器学习
  • 52. 单神经网络反馈系统模型图 《人工智能》第六章 机器学习
  • 53. 多神经网络反馈系统模型图 《人工智能》第六章 机器学习
  • 54. 用于大字符集识别的神经网络结构图 Integration MLP networkGeneralized MLP network classifierOutput 1Output 2Output NInput feature Vector X1Input feature Vector X2Input feature Vector XLTeachersSupervised learning 1Supervised learning 2 《人工智能》第六章 机器学习
  • 55. 与人工智能原理的结合针对神经网络目前存在的问题:网络结构大不宜实现;学习时间长效率低等。有人提出如下方案: 利用不完善的领域理论和带有噪声的数据进行解释学习,产生一种近似正确的解释结构(规则树)。利用该规则树构造初始神经网络,而后进行BP算法的训练,达到减少训练时间的目的。 ......…. 《人工智能》第六章 机器学习
  • 56. 与人工智能原理的结合......…. 用符号和联接学习相结合的方法来修正非确定性推理规则集的参数和结构学习系统,首先,将初始规则集映射成相应的网络结构,有规则的置信度决定联接的权值。系统不采用传统神经网络的输入和输出函数,而是根据置信度CF的特点,按照置信度规则的求和方法,对于输入激励x和y,相应的输出函数为x+y-xy。在网络的初始结构确定以后利用修改后适于置信度输出的函数的误差反传算法,CFBP算法进行训练。 《人工智能》第六章 机器学习
  • 57. 第六章 机器学习 The End. 《人工智能》第六章 机器学习
  • 58. 机器学习 — 概述环境:工作对象,外部环境 信息水平。高水平的抽象,需具体化成为知识;低水平的特殊(实例),需一般化成为知识。 信息质量。正确无干扰的;适当选样例子合适的;(学习)次序合适。 信息质量对学习难度有明显影响。如施教者向系统提供准确的施教例子,而且提供例子的次序也有利于学习,则容易进行归纳。反之难以归纳。 《人工智能》第六章 机器学习
  • 59. 机器学习 — 概述知识库 形式:知识表示形式。如特征向量、谓词演算式、产生式规则、过程、语义网络、框架等。 需要考虑: 可表达性。要能描述缺乏内在结构的事物。以一个特征集合或其它东西来描述事物。 推理难易性。常用的推理是比较两个描述是否等效。如:向量容易、谓词难。 可修改性。知识是否可修改 可扩充性。学习系统通过增加词典条目和表示结构来扩大表示能力,以学习更复杂的知识 内容:要有相当的初始知识 《人工智能》第六章 机器学习
  • 60. 机器学习 — 概述执行环节 任务的复杂性 单个概念:最简单:‘是’与‘否’,没有实用价值。 多个概念,多步任务(规划问题) 反馈 通过执行结果、评价学习结果。即评价知识本身。可用知识库做评价,也可用环境作为客观执行标准 透明度 不仅了解执行的结果,也要了解推理过程。这样系统容易分析。 《人工智能》第六章 机器学习
  • 61. 实例学习 -学习单个概念 一般规则空间排序示意图 GS更一般更特殊 《人工智能》第六章 机器学习
  • 62. 搜索方法的优缺点数据驱动 优点:逐步接受示教例子,逐步学习,容易修改规则集合。 缺点:容易由于个别错误例子推出错误假设 模型驱动 优点:抗干扰性强,用整个例子集对假设进行统计。有错误数据也不会放弃假设。 缺点:不能逐步学习,有问题时只能重新搜索。 《人工智能》第六章 机器学习