一种基于背景模型的运动目标检测与跟踪算法


文章编号: 1002-0411( 2002) 04-315-05 一种基于背景模型的运动目标检测与跟踪算法 刘 亚 艾海舟 徐光佑 ( 清华大学计算机科学与技术系 北京 100084) 摘 要: 本文提出了一种静止摄像机条件下的运动目标检测与跟踪算法. 它以一种改进的自适应混合高 斯模型为背景更新方法, 用连通区检测算法分割出前景目标, 以 Kalman 滤波为运动模型实现对运动目标的 连续跟踪. 在目标跟踪时, 该算法针对目标遮挡引起的各种可能情况进行了分析, 引入了对运动目标的可靠性 度量, 增强了目标跟踪的稳定性和可靠性. 在对多个室外视频序列的实验中, 该算法显示了良好的性能, 说明 它对于各种外部因素的影响, 如光照变化、阴影、目标遮挡等, 具有很强的适应能力. X 关键词: 背景模型; 混合高斯模型; Kalm an 滤波; 运动目标检测与跟踪 中图分类号: TP13      文献标识码: B MOVING OBJECT DETECTION AND TRACKING BASED ON BACKGROUND SUBTRACTION LIU Ya AI Hai-zhou XU Guang-you ( Dep artment of Computer Science and T echnology , T singhua Univer sity) Abstract: An approach to detecting and tracking moving objects w ith a st atic camera is presented in t his paper. A modified mixture Gaussian model is used as the adapt ive background updating method. Foreground objects are segmented based on an improved binary connected com ponent analysis. Kalman filtering is used for object tracking. T o deal w it h the problems of occlusion betw een object s in tracking, various situations are analyzed and a measure of reliability of moving objects is adopted w hich makes t he tracker more effective. Experiment s on several outdoor video streams t hat show convictive object detection and tracking performance demonstrate it s strong adaptabilit y to lighting changes, shadow s and occlusions. Keywords: background modeling, mixt ure Gaussian model, Kalman filtering, moving object detection and tracking 1 引言( Introduction) 视觉监视是指在实际环境中对人和车辆等进行 实时的观察, 并给出对它们行为和动作的描述. 这一 技术包括了运动目标的检测、跟踪、目标分类和行为 理解等方面, 涉及到计算机视觉、模式识别和人工智 能领域的许多核心课题, 是一个具有挑战性的困难 问题. 近年来随着视觉监视系统所需的硬件设备成 本大大降低, 它获得了日益广泛的研究与应用. 许多 关于视觉监视的大规模研究项目已经在美国、欧洲 和日本展开, 同时它也成为许多国际学术会议关注 的重要主题. W ren 等的 Pfinder 是一个利用颜色和 形状特征对大视角范围内的人进行跟踪的实时系 统[ 1] . Olson 等介绍了一种更通用的运动物体检测 和事件识别系统[ 2] , 它通过检测帧间图象变化来发 现运动物体, 在跟踪中上使用了一阶预测和最近邻 匹配技术. Haritaoglu 等的 W 4 是一个可以在室外 对人进行实时检测和跟踪的视觉监视系统[ 3] . 它将 外形分析与跟踪技术相结合来跟踪人体各个部分的 位置并为人的外形建立模型. Collins 等介绍了由 CM U 和 Sarnoff 公司合作研究的一种视觉监视系 统[ 4] , 它使用多个相互协作的摄像机在复杂环境里 对人和车进行连续的跟踪, 并对目标类别和行为进 行分析.   运动目标检测与跟踪处于整个视觉监视系统的 最底层, 是各种后续高级处理如目标分类、行为理解 等的基础. 运动目标检测是指从视频流中实时提取 第 31 卷第 4 期 2002 年 8 月   信 息 与 控 制 Informat ion and Control Vol. 31, No. 4   Aug. , 2002  X 收稿日期: 2001- 10- 25  基金项目: 国防预研项目 7B8 资助 目标, 而运动目标跟踪则指对目标进行连续的跟踪 以确定其运动轨迹.   针对静止摄像机的情况, 如图 1 所示, 我们根据 背景模型来检测前景点. 背景模型以 Stauffer 等提 出的自适应混合高斯模型[ 5] 为蓝本, 并对其作了部 分改进以更好地处理实际背景发生变化的情形. 图 1 运动目标检测与跟踪处理流程 Fig. 1 The data flow of moving object detection and tracking 2 背景模型( Background model) 在静止摄象机条件下, 运动目标检测的关键是 背景图象的描述模型即背景模型, 它是背景消减法 分割前景目标的基础. 背景模型有单模态和多模态 两种. 前者在每个背景点上的颜色分布比较集中, 可 以用单个概率分布模型来描述, 后者的分布则比较 分散, 需要多个分布模型来共同描述. 自然界中的许 多景物和很多人造物体, 如水面的波纹、摇摆的树 枝、飘扬的旗帜、监视器荧屏等, 都呈现出多模态的 特性[ 5] . 最常用的描述背景点颜色分布的概率模型 是高斯分布( 正态分布) .   为叙述方便, 我们用 G( x, L, 2 ) 来表示均值为 L、协方差矩阵为 2 的高斯分布的概率密度函数. 由 于背景模型中对各个图象点的处理是完全独立的, 所以若不作特殊说明, 本文所有关于背景模型的描 述都是针对同一图象点位置而言的. 2. 1 单高斯分布背景模型   单高斯分布背景模型[ 4] 适用于单模态背景情 形, 它为每个图象点的颜色建立了用单个高斯分布 表示的模型 G( x, Lt , 2 t) , 其中下标 t 表示时间. 设图 象点的当前颜色度量为 X t, 若 G( X t , Lt, 2 t) ≤T p ( 这 里 T p 为概率阈值) , 则该点被判定为前景点, 否则 为背景点( 这时又称 X t 与 G( x, Lt , 2 t) 相匹配) . 在实 际应用中, 可以用等价的阈值替代概率阈值. 如记dt = X t - Lt, 则可以根据 dT t 2 - 1 t dt 的值设置相应的前 景检测阈值. 在常见的一维情形中, 以 Rt 表示均方 差, 则常根据 dt / Rt 的取值设置前景检测阈值: 若 dt / Rt> T, 则该点被判定为前景点, 否则为背景点.   单高斯分布背景模型的更新即指各图象点高斯 分布参数的更新. 引入表示更新快慢的常数——更 新率 A, 则该点高斯分布参数的更新可表示为 Lt+ 1 = ( 1 - A) õLt + Aõd t ( 1) ∑t+ 1 = ( 1 - A) õ ∑t + Aõ dtdT t ( 2) 2. 2 多高斯分布背景模型   多模态背景的情形则需要用多个分布来共同描 述一个图象点上的颜色分布. Stauffer 等[ 5] 提出了 一种自适应混合高斯模型, 对每个图象点采用了多 个高斯模型的混合表示. 设用来描述每个点颜色分 布的高斯分布共有 K 个, 分别记为 G( x, Lt, i, 2t, i) , i = 1, 2, ⋯, K . 各高斯分布分别具有不同的权值 w t, j ( ∑i w t, i = 1 ) 和优先级 p i = w t, iû∑t, iû- 1/ 2 , 它 们总是按照优先级从高到低的次序排序. 取定适当 的背景权值部分和阈值, 只有在此阈值之内的前若 干个分布才被认为是背景分布, 其它则是前景分布. 在检测前景点时, 按照优先级次序将X t 与各高斯分 布逐一匹配, 若没有表示背景分布的高斯分布与 X t 匹配, 则判定该点为前景点, 否则为背景点.   多高斯分布背景模型的更新较为复杂, 因为它 不但要更新高斯分布自身的参数, 还要更新各分布 的权重、优先级等. 若检测时没有找到任何高斯分布 与 X t 匹配, 则将优先级最小的一个高斯分布去除, 并根据X t 引入一个新的高斯分布, 并赋予较小的权 值和较大的方差, 然后对所有高斯分布重新进行权 值归一化处理. 若第 m 个高斯分布与 X t 匹配, 则对 第 i 个高斯分布的权值更新如下 w t+ 1, i = ( 1 - B) õ w t+ 1, i + Bõ w t+ 1, i i = m ( 1 - B) õ w t+ 1, i     otherw ise ( 3) 其中 B 是另一个表示背景更新快慢的常数——权 值更新率. ( 3) 表明只有与 X t 相匹配的高斯分布的 权值才得到提高, 其它分布的权值都被降低. 另外, 相匹配的高斯分布的参数也按照( 1) 、( 2) 被更新. 在 更新完高斯分布的参数和各分布权值后, 还要对各 个分布重新计算优先级和排序, 并确定背景分布的 数目. 2. 3 背景模型的更新   背景模型的更新策略是背景模型设计中最关键 的技术. 在模型更新时应当注意如下两条原则:   ( A)  背景模型对背景变化的响应速度要足够 快. 背景的变化可能是¹ 由光照变化等因素引起的 316 信 息 与 控 制 31 卷  背景本身颜色的变化, 也可能是º背景区域的变化, 如前景和背景的相互转化. 如果背景模型不能迅速 跟上实际背景的变化, 检测结果中就会出现大范围 的噪声或不合理的长时间静止前景物体( 如图 2-a 中静止的汽车启动后留下的“影子”) .   ( B)  背景模型对运动目标要有较强的抗干扰 能力. 因为在背景模型的更新过程中, 背景模型的每 个点都受到了一个颜色序列的“训练”, 不论实际场 景中该点是处于静止背景上还是在运动目标上. 静 止的背景或目标的这种“训练”是我们所希望的, 而 运动目标的“训练”则是不希望看到的. 特别是当运 动物体尺度较大或运动较慢时, 这种长时间的“训 练”可能会引起错误的检测结果, 如在运动目标的尾 部产生“空洞”, 特别是两个颜色相近的物体交错而 过时更加明显( 图 2-b) . ( a)  汽车启动后留下的“影子           ( b)  行人对汽车的影响 图 2 背景模型更新中的一些问题 Fig. 2 Som e problems due to background model updat ing   这两个原则是有矛盾的, 需要折中处理. 对于单 高斯分布的背景模型, 我们的方法是将背景模型更 新与后面的跟踪结果相结合, 赋予背景点和静止的 前景点( 静止目标) 较大的更新率, 而赋予运动的前 景点( 运动目标) 较小的更新率. 这实际上是用运动 目标跟踪的结果来指导更新. 经过这种改进可以在 保护背景模型不受运动目标影响的同时迅速响应背 景的变化.   多高斯分布的背景模型在这些问题上的表现要 比单高斯分布背景模型好得多. 因为它本身有多个 高斯分布, 判定前景/ 背景并不单单依赖于某个高斯 分布, 更依赖于各个分布的权值和优先级. 对( A ) 中 的情形º, 它可以通过引入新的高斯分布解决; 对 ( B) , 由于只有相匹配的高斯分布的高斯参数才得 到更新, 所以受运动物体的干扰也不是那么严重. 但 它的不足依然存在, 因为它并没有对( A) 中静止目 标的情况作特别处理, 也没有考虑到( B) 中的不同 “训练”之间的区别. 因而它对背景变化的响应速度 比较慢, 大而慢的运动目标仍然容易带来“空洞”. 我 们对它的改进与对单高斯分布背景模型的改进相 似, 仍然是对背景点、静止前景点、运动前景点的更 新率区别对待, 只是作用的参数变成了权值更新率 B, 而不是高斯分布参数的更新率 A. 3 运动目标分割( Moving object segmenta- tion) 前景目标分割的依据通常是目标的空间连续性 和颜色一致性. 由于后者很多时候并不可靠, 所以一 般根据空间连续性采用连通区域检测算法来分割目 标[ 3, 4] . 连通区域分割受初始数据中的噪声影响很 大, 一般需要先进行去噪处理. 这一步可以通过形态 学运算实现, 利用腐蚀和膨胀算子分别去除孤立的 噪声前景点和填补目标区域的小孔. 但这种处理也 会影响目标原本的边缘和形状, 特别是目标本身尺 度较小的时候, 它的边缘细节很容易被去噪处理破 坏. ( 从左到右依次为: 初始前景点集 F、 扩张集 Fe 、收缩集 Fc 和分割结果) 图 3 目标分割示意图 Fig. 3 Object segment ation illustrat ion   为了解决这个问题, 我们对连通检测算法作了 修正, 将去噪后连通检测的结果重新返回到初始前 3174 期 刘 亚等: 一种基于背景模型的运动目标检测与跟踪算法 景点集上, 以恢复其固有的边缘. 记由背景模型消减 得到的前景点集为 F, 我们先对 F 分别进行膨胀和 腐蚀处理, 得到扩张集 Fe 和收缩集 Fc. 可以认为扩 张集Fe 和收缩集 Fc 分别是对初始前景点集 F 进行 填补小孔和去除孤立噪声点的结果, 所以应有 Fc< F < F e. 然后以收缩集 Fc 作为起始点, 在扩张集 F e 上检测连通区域, 检测结果记为{R ei, i= 1, 2, ⋯, N }. 最后将检测所得的连通区域重新投影到初始前 景点集 F 上, 得到最后的连通检测结果{Ri = Rei ∩ F, i= 1, 2, ⋯, N } . 如图 3 所示, 这种分割算法既保 持了目标的完整性, 避免了噪声前景点的影响, 又保 留了目标的边缘细节部分.   在分割出目标区域后, 可以提取前景目标的静 态特征, 包括外接矩形大小、面积、长宽比、中值点位 置、颜色投影直方图等. 4 运动目标跟踪( Moving object trcking) 运动目标跟踪的目的是确定各运动目标的运动 轨迹, 其关键是在检测所得的静态前景目标和受跟 踪的动态运动目标之间建立对应关系[ 3] . 这种对应 关系的建立可以通过目标特征匹配来实现. 常用的 匹配特征有目标的位置、大小等, 以及形状和颜色 等. 我们采用二阶 Kalman 滤波器作为目标的运动 模型, 预测运动目标的位置. 在对预测后的运动目标 和前景目标进行匹配时, 利用图象块匹配来精确定 位目标的位置.   运动目标跟踪中的一个难题是对多个目标间相 互遮挡关系的处理, 我们将运动目标和前景目标间 的对应关系分为 6 类分别处理:   ( 1) 出现( 0 到 1) : 一个新运动目标开始出现. 初始化一运动目标, 设定初始目标权值, 并置合并/ 分离计数为 0;   ( 2) 消失( 1 到 0) : 一个运动目标正在消失. 用 其预测目标更新它, 降低该目标的权值, 置合并/ 分 离计数为 0;   ( 3) 理想跟踪( 1 到 1) : 没有发生遮挡的正常跟 踪. 用相应的前景目标更新该运动目标. 根据其速度 判断它是处于运动还是静止状态, 置合并/ 分离计数 为 0;   ( 4) 合并( n 到 1) : 多个目标相互间出现遮挡的 情形. 将各运动目标的合并/ 分离计数增 1, 若这些 目标速度相近且合并/ 分离计数足够大, 则将它们合 并成一个大运动目标——由该前景目标初始化一新 运动目标, 并继承原先众运动目标的动态特征; 否 则, 各目标仍用各自经修正的预测结果进行更新;   ( 5) 分离( 1 到 n) : 与合并相反的过程. 将各运 动目标的合并/ 分离计数减 1, 若合并/ 分离计数足 够小, 则将该运动目标分为多个小运动目标——由 这些前景目标初始化多个运动目标, 并继承原目标 的动态特征; 否则, 将这些前景目标合并成一个大前 景目标并以之更新该运动目标;   ( 6) 复杂遮挡( m 到n) : 这种复杂遮挡的情况很 难处理, 我们采取一种简单的处理办法: 去除原来的 m 个运动目标, 再由这些前景目标各自初始化一新 运动目标.   这里的目标权值是我们引入的表示运动目标可 靠性的度量. 根据它由高到低的次序, 运动目标被分 为可见( 可靠的运动目标, 参加目标匹配) 、活动( 不 可靠的运动目标, 但也参加目标匹配) 和非活动( 不 参加目标匹配) 三类, 只有当某运动目标连续出现足 够多次才会被认为是可靠的, 反之可靠的运动目标 也要连续消失多次才会被认为确实消失了. 这种处 理可以减弱前景目标误检测和漏检测的影响, 使运 动目标的跟踪过程更加稳定. 5  实验结 果与分 析( Experimental results and analysis) 我们使用固定在三脚架上的摄像机在室外摄取 了若干视频序列进行实验, 视频图象帧的大小为 320×240, 真彩色格式. 在普通 PC 机( Pentium III 600 Hz CPU) 上, 目标检测与跟踪算法达到了 15fps 的处理速度.   图 4 是对背景模型的更新策略改进前后的实验 对比结果. 其中最顶行为视频图象帧, 第 2、第 3 行 分别是单高斯分布背景模型在改进前后的检测结 果, 第 4、第 5 行则分别是多高斯分布背景模型在改 进前后的检测结果. 从图中可以看出, 在对背景、静 止目标、运动目标使用不同的更新策略后, 运动目标 “影子”的消失变快了( 单高斯分布背景模型中从 1000 帧之后提前到第 16 帧, 多高斯分布背景模型 也从第 47 帧提前到第 15 帧) , 说明背景模型对背景 变化的响应速度有了明显提高.   图 5 是对一前景点集进行目标分割的结果, 可 以清楚看出扩张和收缩两个步骤分别对小孔和小噪 声前景点的处理效果.   图 6 是对一个目标间存在遮挡的视频序列进行 目标跟踪的结果, 图中用不同的颜色标记出被跟踪 的汽车和行人的运动情况. 在遮挡发生时我们依靠 318 信 息 与 控 制 31 卷  运动预测和图象块匹配来估计汽车和行人的准确位 置, 对它们的姿态则仍认为与遮挡前相同. ( a)  自行车留下“影子”    ( b)  行人与汽车交错而过    ( c) 自行车“影子”消失 图 4 背景模型改进前后的检测结果( 第 1 行为视频图象帧, 第 2、第 3 行分别是单高斯分布背景模型在改进 前后的检测结果, 第 4、第 5 行则分别是多高斯分布背景模型在改进前后的检测结果. ) Fig. 4 Detection results before and after background model improvement ( a)  待分割前景  ( b)  普通检测  ( c)  收缩   ( d)  扩张   ( e)  扩张+ 收缩 图 5 前景目标分割 Fig. 5 Foreground object segmentation 图 6 遮挡条件下的运动目标跟踪 Fig. 6 Moving object tracking under occlusion situation 6 结论( Conclusion) 本文提出了一种静止摄像机条件下基于背景模 型的运动目标检测和跟踪算法. 算法中采用的自适 应背景模型对背景、静止目标和运动目标三者采取 了不同的更新策略, 既能减弱运动目标对背景模型 的影响, 又可以迅速响应实际背景的变化. 在目标分 割时对普通的连通区域检测算法作了改进以保护目 标的边缘细节部分, 跟踪中则考虑了目标跟踪中的 相互遮挡关系和前景目标检测的可靠性问题. 实验 表明, 该算法对检测和跟踪过程中的光照变化、各种 噪声等都有较强的处理能力和较好的处理效果. ( 下转第 328 页) 3194 期 刘 亚等: 一种基于背景模型的运动目标检测与跟踪算法   从仿真结果可以看出, 与常规 Smith 预估器控 制结构相比, 采用本文提出的二自由度控制结构大 大提高了系统的鲁棒性, 而且系统也同时获得了良 好的目标值跟踪特性和干扰抑制特性. 4 结论( Conclusion) 针对时滞系统的特点, 本文提出的二自由度控 制方法, 结合了 Smith 预估控制和内模控制的优点, 能使系统同时获得良好的目标值跟踪特性、干扰抑 制特性和鲁棒性, 改进了常规 Smith 预估控制的不 足之处, 而且控制算法简单, 参数调整方便, 易于工 程应用, 对提高工业过程控制系统的性能有一定的 实际意义. 参 考 文 献 ( References) 1 金以慧. 过程控制[M ] . 北京: 清华大学出版社, 1993, 136~145 2 Owens D H. Robust stability of Smith predictor for time- delay systems[ J] . IEE Proc. Part D, 1982, 129( 2) : 298~304 3 Yananaka K. Effects of m ismatched Smith predictor on stability in systems w ith time-delay[ J] . Automatica, 1987, 23( 7) : 787~ 791 4 田 玉楚. 大 时滞 工 业过 程的 双控 制器 结构 [ J] , 自 动化 学报, 1999, 25( 6) : 824~827 5 How ze J W. Robust tracking , error feedback and tw o-degree-of- freedom controller [J] . IEEE T rans AC, 1997, 47( 7) : 980~983 6   Vilanova R. Realisation of two-degrees-of-freedom compen- sators[ J] . IEE Proc. Control T heory Appl. 1997, 144( 6) : 589~ 595 7 Garcia C E . Internal model contr ol: a unifying review and some new results[ J] . Ind. Eng. Chem. Process Des. Dev. , 1982, 21 ( 2) : 308~323 8 Vandenrsen J M, Internal m odel control w ith im proved distur- bance rejection[ J], Int. J. control, 1995, 62( 4) : 983~999 9 Doyle J C. Feedback contr ol theory[ M ] . Macmillan Publishing Com pany , NY, 1992. 60~70 作者简介 张井岗( 1965- ) , 1989 年毕业于哈尔滨工业大学自动 控制专业获硕士学位, 现为太原重型机械学院自动化系教 授. 研究领域为智能控制和鲁棒控制及其在工业过程中的应 用. 陈志梅( 1970- ) , 1998 年毕业于太原重型机械学院自 动化专业获硕士学位, 现为太原重型机械学院自动化系讲 师. 研究领域为智能控制和滑模控制. ( 上接第 319 页) 参 考 文 献 ( References) 1 C Wr en, A Azar bayejani, T Darrell, A Pentland. Pfinder: Re- al-tim e Tracking of the Human Body. IEEE T rans. PAM I, 1997, 19( 7) : 780~785 2  T Olson, F Brill. Moving Object Detection and Event Recogni- tion Algorithms for Smart Cam eras. Proc. DARPA Im age Un- derstanding Workshop, M ay 1997 3  I Haritaoglu, D Harw ood, L S Davis. W4: Rea-Tim e Surveil- lance of People and T heir Activities. IEEE T rans. PAM I, 2000, 22( 8) : 809~830 4  C Stauffer, W E L Grimson. Learning Patterns of Activity Us- ing Real-Time T racking. IEEE T rans. PAMI, 2000, 22( 8) : 747 ~757 5  R T Collins, A J L ipton, T Kanade. A System for Video Surveillance and Monitoring. Proc. Am. Nuclear Soc. ( ANS) Eighth Int'l Topical Meeting Robotic and Remote Systems, Apr . 1999 6  C Anderson, P Burt, G Can der Wal. Chang e Detection and T racking Using Pyramid T ransformatin techniques. Proc. SPIE- Intelligent Robots and Com puter Vision, 1985, ( 579) : 72~78 7  J Barron, D Fleet, S Beauchem in. Per formance of Optical Flow T echniques", International Journal of Computer Vision, 1994, 12( 1) : 42~77 8  K R Castleman, Digital Im age Processing, Prentice Hall & 清华 大学出版社, 1998 9  A M Tekalp. Digital Video Processing . Rochester , NY, 1995 10  F L iu, R W Picard. Finding Periodicity in Space and Tim e. Proc. Int'l Conf. Computer Vision, 1998, 376~383 作者简介 刘 亚( 1976- ) , 男, 硕士. 研究领域为视频运动稳定、 视觉监视. 艾海舟( 1964- ) , 男, 博士. 研究领域为移动机器人、计 算机视觉、人脸检测、模式识别等. 徐光佑( 1940- ) , 男, 清华大学计算机系教授、博士生导 师. 研究领域为计算机视觉、人脸识别、多媒体信息处理等. 328 信 息 与 控 制 31 卷 
还剩5页未读

继续阅读

下载pdf到电脑,查找使用更方便

pdf的实际排版效果,会与网站的显示效果略有不同!!

需要 3 金币 [ 分享pdf获得金币 ] 0 人已下载

下载pdf