基于文化算法的支持向量机组合预测模型


统计与决策 2010 年第 21 期(总第 321 期) 基于文化算法的支持向量机组合预测模型 摘 要:为提高预测精度,文章提出基于文化算法的支持向量机组合预测模型。 以组合预测模型 的误差平方和最小为优化准则,用文化算法对支持向量机参数进行优化,并建立支持向量机对单一 模型的预测结果进行组合预测。算例结果表明,该模型综合了各单个预测模型的重要预测信息,其预 测误差远远小于各单个模型的预测误差,其预测精度更高,模型的实用性更强。 关键词:支持向量机;文化算法;组合预测 中图分类号:TP181 文献标识码:A 文章编号:1002-6487(2010)21-0149-04 陈 涛 (陕西理工学院 数学系,陕西 汉中 723000) 0 引言 预测就是根据历史科学地推测未来。 目前有时间序列预 测、回归预测、马尔可夫预测、灰色预测、神经网络预测等,不 同方法是从不同的角度对系统进行预测,各有特点,但又有 自身不足,使得预测精度往往不能满足需要。 实际上,这些方 法之间并不是相互排斥,而是相互联系、相互补充。 为了减少 和分散单个预测模型的近似性和不确定性,从而提高总体预 测精度,Bates.J.M.和 Granger.C.W.J 在 1969 年提出了一种新 的预测方法———组合预测[1-3],它是建立在最大信息利用的基 础上,综合了多种单一预测模型所包含的重要信息,从而进 行最优组合。 通常组合预测方法是将个体预测结果进行简单 加权平均而得到组合预测值。 但这种线性组合模型[4]得到的 预测值总是介于所有预测方法与其相对应的最大与最小预 测值之间。 对非线性系统预测,这种方法误差较大,而且具有 很大的局限性。 支 持 向 量 机 [5-6](Support Vector Machine,SVM)是 Vapnik 等人于 1995 年在统计学习理论基础上提出的一种新的优化 算法,以结构风险最小化为准则,很好的解决小样本、非 线 性、高维数、局部极小点等实际问题。 而核函数参数和惩罚参 数是影响支持向量机性能的主要因素。 人们往往通过大量试 验来获得较优的参数,但这种方法比较费时,而且获得的参 数也不一定是最优的。 近年来,很多学者又提出了一些其他 参 数 优 化 方 法 ,文 献 [7] 利用梯度下降法(Gradient CAscend, GD)进行参数优化,该方法虽然缩短了参数搜索时间,但它对 初始点的选取要求较高, 而且是一种线性搜索方法,极易陷 入局部最优;文献[8]提 出 遗 传 算 法(Genetic algorithm, GA)、 文献[9]提出粒子群算法(Particle Swarm Optimization, PSO)、 文献[10]提出蚁群算法分别对 SVM 参数进行优化选择,这些 智能方法虽然降低了对初值选择的依赖性,但算法原理和思 想比较复杂, 对不同的优化问题都需要设计不同的交叉、变 异和选择方式,而且也易陷入局部最优。 文 化 算 法 (Cultural Algorithm, CA) [11-13] 是 Reynolds 于 1994 年提出的一种基于种群多进化过程的全局优化算法, 将进化搜索机制和知识存储相结合。 该算法思想原理相对简 单,算法控制参数较少,具有较强的全局搜索能力和鲁棒性, 而且能进一步提高优化速度。 本文提出了基于文化算法的支持向量机组合预测模型 (简写为 CA-SVM 模型)。 即先利用门限回归模型、灰色模型 和神经网络模型分别进行预测得到不同的预测值,然后将各 单项的预测值作为输入,将实际值作为输出建立支持向量机 组合预测模型,其间利用文化算法对支持向量机参数进行优 化选择,以提高 SVM 的预测精度。 1 支持向量机 支持向量机[5]基本思想是基于 Mercer 定理,通过适当的 非线性变换将输入空间变换到一个高维特征空间,把在这个 特征空间中寻找线性回归最优超平面归结为求解凸规划问 题,并求得全局最优解。 设样本集为{(x1,y1),…,(xl,yl)}∈(x×y)l,xi∈x奂Rn 为输入向 量,yi∈y奂R 为输出。 当样本集满足线性关系时, 问题便归结为以下优化问 题: min 1 2 ||w||2+C l i Σ(ζi+ζi *) s.t. (w·xi)+b-yi≤ζi *+ε,i=1,…,l yi-(w·xi)-b≤ζi+ε,i=1,…,l ζi,ζi *≥0,i=1,…,l (1) 基金项目:陕西省教育厅自然科学研究项目(09JK381) 作者简介:陈 涛(1979-),男,陕西汉中人,硕士,讲师,研究方向:支持向量机和智能计算。 知 识 丛 林 149 统计与决策 2010 年第 21 期(总第 321 期) 当数据集不能实现线性回归时,将原数据集通过一非线 性影射 φ(x),影射到高维特征空间,在高维特征空间中进行 线性回归。 高维特征空间上的内积运算可定义为核函数:K(xi, xj)=φ(xi)·φ(xj),只需对变量在原低维空间进行核函数运算即 可,则此时约束表达式为 min 1 2 l i , j = 1 Σ(αi *-αi)(αj *-αj)K(xi,xj)+ε l i = 1 Σ(αi *+αi)- l i = 1 Σyi(αi *-αi) s.t. l i = 1 Σ(αi-αi *)=0 (2) 0≤αi≤C 0≤αi *≤C 得到最优解 α=(α1,α1 *,…,αl,α1 *)T。 计算 b=yj- l i = 1 Σ(αi *-αi)K(xi, xj)+ε 则回归决策函数为 f(x)= l i = 1 Σ(αi *-αi)K(xi,x)+b (3) 常用核函数有线性核、多项式核、Sigmoid 核和高斯径向 基(RBF)核。 其中径向基(RBF)核,是应用最广泛的核,对于低 维、高维、小样本、大样本等情况均适用,具有较宽的收敛域, 是理想的核函数。 2 文化算法 2.1 文化算法思想框架 文化算法是从进化种群中获得求解问题的知识 (即信 念),并将这些知识用于指导搜索过程。 这种基于知识机制的 引入能在进化过程中提取有用的信息,使种群以一定的速度 进化和适应环境。 文化算法[6-7]由种群空间和信念空间两部分组成,如图 1 所示。 前者是基于种群的进化,后者是基于信念文化的进化。 首先在种群空间中个体按一定准则进化,根据进化情况通过 接受函数 accept()提取优秀个体信息,update()用于更新信念 空间,而影响函数 influence()根据提取的信念知识指导种群 的进化,种群空间与信念空间相互联系。 generate()是群体操 作函数使个体得到进化;objective()是目标函数;select()是从 个体中选择部分个体作为父辈。 2.2 文化算法流程设计 (1)信念空间结构 本文采用作为信念空间的结构,其中 S={S1 t,S2 t,…St m } 为形式知识, 表示最优个体的集合,St i 表示第 t 代种群中第 i 个 最 优 个 体 ,m 为 最 优 个 体 集 合 的 规 模 ;N=为规范知识,表示每 个变量的取值区间信息, Xi 表示为,n 为变量 数目。Ii=[li,ui]={x|li≤x≤ui}, 下限 li 和上限 ui 根据所给 定的变量取值范围来初始化;Li 表示变量 i 的下限 li 所对应 的适应度,Ui 表示变量 i 的上限 ui 所对应的适应度。 (2)接受函数 信念空间中参数的形成和更新并不是对所有个体进行 统计而得到的, 而是按一定的概率从种群中选取最优秀的 个体群作为研究对象。 接受函数 Accept()用以选择能够直接 影响当前信仰空间知识经验的个体。 本文按照文献[6],从当 前种群空间中按如下方式选择最优个体: Accept()=β·p+(β·p)/g (4) 其中,p 为种群规模,g 为进化代数,β 为比例常数。 (3)信念空间的更新 形势知识包含进化过程中所发现的最好个体,它是其他 个体所要跟随的领头个体,更新规则如下: St= xt best,f(xt best)
还剩3页未读

继续阅读

下载pdf到电脑,查找使用更方便

pdf的实际排版效果,会与网站的显示效果略有不同!!

需要 3 金币 [ 分享pdf获得金币 ] 0 人已下载

下载pdf

pdf贡献者

forestqqqq

贡献于2011-11-24

下载需要 3 金币 [金币充值 ]
亲,您也可以通过 分享原创pdf 来获得金币奖励!
下载pdf