基于目标序列分析的智能监控多目标自动检测跟踪

　　摘 要 针对道路交通监控场景，提出并实现了一个多目标自动检测与跟踪系统. 首先通过高斯混合模型的运动信息提取方法得到目标运动信息，并分析了目标信息的连续多帧历史信息，估计目标区域信息在连续多帧中的统一性，进而通过信息融合的方式得到了目标检测结果. 然后提出了监控场景下多目标的跟踪与管理策略，根据目标检测结果，对场景中的多个目标同时进行跟踪.最后，根据目标的不同状态将目标划分为新出现目标、被更新目标和被跟踪目标等不同的类别，提高目标跟踪的准确性.

　　关键词 多目标跟踪; 智能监控; 目标检测

　　随着计算机技术的不断发展，运动目标的检测与跟踪技术在军事制导、视觉导航、机器人、智能交通、公共安全等领域都有着越来越广泛的应用. 在智能交通管理中，进行多目标的跟踪、运动目标的运动参数及状态的采集是非常重要的步骤，对其后续进行事件分析并最终形成决策起着关键作用.

　　典型的智能交通管理系统通常包括场景中多个运动目标的自动检测、跟踪以及多个目标的运动参数的提取计算，从而分析获得监控结果. 在此过程中，主要是通过固定的监视摄像头对监控场景进行实时录像，在静态背景下通过对序列图像进行分析研究，根据运动信息获得静态场景下运动目标的检测结果. 然后利用多目标的跟踪对检测到的多个运动目标进行跟踪，从而获得视频序列中相同目标之间的相对运动速度和位移等参数. 这些参数可以作为缓解交通拥堵等现象的依据. 其中，对监控场景中运动的多目标进行自动检测和跟踪是智能交通监控的重要挑战.

　　针对监控视频大多具有固定摄像头、静止背景的特点，对运动目标的检测提取目前较为广泛采用的是基于背景统计模型的目标分割技术[1，2]、基于变化的目标分割技术[3]、基于图论[4]这 3 种目标提取算法.

　　此外，Yang 等[5]设计了计算模型来估计运动目标 及 其 方 向，并认为更符合视觉观察特性; Yamamoto 等[6]和 Eveland 等[7]采用背景信息估计运动目标. Yamamoto 等根据目标的点、线、面的特征，以及这些特征与背景的关系，估计运动目标的运动范围作为先验，增强了运动目标检测和跟踪的准确性. 文献[8-15]分别提出基于核密度估计、粒子滤波、超级像素、颜色属性、局部稀疏表示、连续目标序列标记等多目标跟踪方法.

　　本文首先采用基于高斯混合模型[2]的背景建模方法检测运动的目标，然后提取运动目标的团块信息，并根据目标的团块信息在前后帧之间的匹配结果，实现目标的自动跟踪. 同时，根据道路交通监控场景中的多个运动目标的目标状态，构建目标状态列表. 针对被划分到不同列表中的目标，采用不同的目标状态管理策略对目标状态进行维护和更新，增强目标检测和跟踪的鲁棒性. 系统流程如图 1 所示

　　1 算法原理及系统设计

　　利用基于高斯混合模型的背景建模，提取连续帧图像中的运动前景区域，并根据历史信息对运动区域进行筛选和过滤，实现运动目标的检测和标记.然后根据检测结果提取目标模板，利用模板跟踪场景中的多目标. 采用不同状态目标分类管理策略，根据不同的目标状态，有针对性地进行目标状态的更新和维护.

　　1.1 目标信息提取

　　根据目标的运动特性，模块采用基于高斯混合模型[2]的背景建模方法，提取连续帧中的运动目标.这步骤的主要目的是将场景中所有潜在的运动目标区域提取出来，对运动目标进行初步分割，分割结果用来进行后续的目标检测以及跟踪. 通过高斯混合模型对视频序列中的目标进行运动信息提取，获得一系列的离散运动像素点或者像素点聚集的团块.对提取的运动团块，进行团块历史信息的分析，进一步获得目标检测结果.

　　1.2 目标检测

　　采用高斯混合模型提取的运动信息往往会由于实际视频中的背景动态干扰、噪声等因素的影响导致不够鲁棒.如图 2 为高斯背景建模示例图，有较多的噪声点，对于在图像中位置较为接近的目标，经建模后得到的车辆团块被合并成一团，不能对车辆位置进行很好的区分. 因此，本文在目标检测模块中将前一步初步提取的运动目标信息进行了分析，从而得到精确的运动目标检测结果，同时过滤了虚警等非运动目标区域.

　　在目标检测模块中，通过对提取的目标信息在视频序列中的历史状态的分析来实现目标检测. 将目标信息提取得到的每一帧目标信息形成目标信息历史序列. 对序列进行分析，采用匹配算法将其中较为稳定的区域作为精确的目标检测结果( 图 3) .

　　首先对连续视频序列中获得的前景点或者前景簇信息进行团块检测，通过团块检测得到视频序列在当前时刻所有可能的团块. 图 3 中对于每一时刻的目标信息提取即为获得每一时刻的团块信息. 团块检测通过对每一帧中前景点的聚类获得. 通过图割的方法获得前景点团块信息，获得的团块信息被存储在团块列表，列表中的所有团块所在区域被认为是潜在的运动目标所在区域. 对于得到的团块列表，通过对视频中当前帧的历史帧中团块列表进行统一性分析，对目标历史序列中每一帧的团块进行检测，得到具有统一运动方向的团块，即为当前时刻的运动目标区域. 具体算法如下:

　　( 1) 对视频序列中当前帧以及当前帧之前的历史帧中提取得到的目标运动信息进行团块检测，得到当前帧的所有团块的列表: BLt = ( B1，t，……，Bi，t，……，Bn，t ) ， ( 1)

　　BLt 表示 t 时刻检测获得的所有团块，Bi，t表示当前帧中的第 i 个团块.

　　( 2) 在运动目标团块列表中进行统一性检测，目的是进一步精确地确定目标，滤除虚警. 具体算法如图 4 所示.

　　通过对团块列表中的所有潜在目标团块进行统一性检测，可精确判定当前帧的运动目标团块，并且抑制虚警和噪声对目标检测的影响.

　　1.3 多目标跟踪与管理

　　多目标跟踪与管理用于实现对道路交通监控场景中多个运动目标的同时跟踪并对跟踪过程中目标状态的更新与维护. 在多目标的跟踪过程中，常常出现跟踪目标偏移现象. 本方法通过目标分类管理，能够有效解决多目标在跟踪过程中的偏移问题.同时，通过对不同目标分类的实时维护，减少目标跟踪过程中的跟踪丢失现象. 本模块将跟踪的目标分为三类，目标的分类及具体流程如图 5 所示.

　　1.3.1 目标跟踪

　　在进行多目标跟踪中采用模板匹配方法，首先将目标检测模块得到的目标区域对应的灰度图像作为目标模板，然后在当前帧中进行相似度计算，最终匹配得到当前帧中该目标的区域位置

　　1.3.2 目标更新及管理

　　目标更新与管理首先是对比当前帧跟踪得到的目标与检测得到的目标，并将当前帧的目标划分为三类: 新进入的目标、下一时刻需要继续跟踪的老目标以及需要进行模板更新的目标. 目标划分是通过目标列表对比完成的，通过列表中目标与边界信息之间的对比结果，将目标划分为如图 5 所示的三类目标. 对比完成后，对三类目标分别进行不同策略的管理.

　　( 1) 对于新进入监控视野的目标，初始化目标位置为目标检测得到的目标区域; 然后该目标区域对应的当前帧图像区域，作为该目标的模板保存下来以便在下一时刻进行目标跟踪算法; 将该目标标记为需要继续跟踪的老目标，并存入相应的列表.

　　( 2) 对于正常跟踪的目标，其管理工作主要分为三个部分: 对需要跟踪的目标，采用本文中的跟踪算法进行继续跟踪; 将跟踪丢失或是从视场中移出的目标从列表中删除; 将未被移出的目标重新融入到下一时刻的相应跟踪列表.

　　( 3) 对于需要进行模板更新的目标，将目标检测所得的区域对应的图像作为该目标的模板保存下来并使用该更新后的模板进行跟踪算法. 这一工作可以及时更新运动目标的特征模板，以便更好地进行后续跟踪，很大程度上避免了由于运动目标的方位变化或者轻微遮挡所导致的目标丢失现象.

　　2 算法描述

　　本文基于交通监控视频序列，实现视频序列中多目标的信息提取、多目标检测、多目标的跟踪以及目标管理等. 整个系统的具体算法描述如下:

　　系统输入: 视频的图像序列 l1，l2，…，lt .

　　系统输出: 监控场景视频序列中所有运动目标的跟踪结果，并利用目标矩形 Ri，j 进行标记，Ri，j 表示目标 i 在 t 时刻的标记.

　　初始化:

　　( 1) 对视频序列中的运动目标进行目标信息提取，并获得图像目标的信息列表 HF t = ( I F t-n+1，I F t-n+2， …，I F t-1，I F t ) ，其中 I F t 表示 t 时刻的信息提取结果，n 为 t 时刻需记录的历史序列数目.

　　( 2) 根据运动目标信息提取结果，初始化历史团块 列 表 队 列 BLLt = ( BLt-n+1，BLt-n+2，…，BLt-1， BLt ) ，其中 BLT 为 t 时刻的团块检测结果.

　　过程描述: ( 1) 运动目标信息提取

　　1) 对当前帧图像进行目标信息提取，并获得当前时刻 t 的信息图像 I F t ，其中 F 表示前景. 更新目标图像信息列表I F t : 加入I F t ，并从列表中删除t - n时刻的目标信息图像.

　　2) 对当前帧目标信息图 I F t 进行团块检测，得到 t 时刻 的 团 块 列 表 BLt . 更新历史团块列表队列 BLLt，加入当前帧团块列表，同时删除 t - n 时刻的团块列表.

　　( 2) 目标检测

　　1) 在团块列表队列 BBLt 中进行团块统一性检测，将具备统一性的目标团块确定为当前帧的运动目标记入目标列表 TLD t .

　　2) 将当前时刻的运动目标检测结果即目标列表 TLD t 输入多目标跟踪管理模块.

　　( 3) 目标跟踪与管理

　　1) 对比前后两帧之间的目标列表 TLD t ，将目标列表中的目标分为三类，即新目标、待继续跟踪的目标和需要更新的目标，其目标列表分别表示为 TLN t 、 TLT t 和 TLU t . 对位于不同列表中的目标操作如下.

　　a. 对列表 TLN t 中目标采用模板匹配的方法获得新目标的位置，并将列表 TLN t 中所包含的目标加入列表 TLt+1，TLt+1 表示为下一时刻目标列表.

　　b. 调用模板匹配跟踪算法，跟踪列表 TLN t 中所有的目标，获得当前时刻运动目标的位置定位，然后根据以下几种情况对结果进行处理:

　　3 实验结果与分析

　　采用两个实际的交通监控视频对本文提出的多目标跟踪算法框架进行实验分析，效果如图 6 和 7 所示.

　　首先采用高斯背景建模方法逐渐提取视频中的运动目标，进而采用模板匹配及信息融合的方式进行目标跟踪，在跟踪的同时亦检测视频中新增加的目标. 整个过程对视频中的检测及跟踪的目标进行列表处理，包括新增目标、跟踪目标以及溢出目标. 对疑似目标在跟踪的同时还进行时间序列分析，对于虚假的不实目标予以剔除，只有真实的目标才会进入跟踪目标列表. 系统有效地利用了图像序列之间的关联信息，因而具有很好的实时性. 程序采用 C++编写，在 VC 6.0 平台上完成. 带有 2.0 GHz 处理器及 4 GB 内存的笔记本电脑能够同时完成对 30 个运动视频目标实时 的 检 测 跟 踪，每一帧的平均处理时间约为0.067 s.

　　根据对实验结果的分析可以得出，本文所提出的多目标检测跟踪方法，能够实现在道路交通场景中，多目标的实时自动检测和跟踪. 同时，本方法利用目标信息提取、融合目标历史信息以及对目标采取分类管理和维护的方法，能够有效地抑制多目标跟踪过程中出现的目标偏移以及跟踪丢失等问题.

　　4 结语

　　提出了一种基于道路交通场景的运动物体多目标的自动检测与自动跟踪方法. 首先利用背景建模的方法提取目标的运动信息，通过对当前时刻帧以及当前时刻帧对应的历史帧中目标的运动信息的统一性分析，得到多目标的检测结果. 然后，利用模板跟踪的方法，对检测到的目标进行目标跟踪，同时对不同的目标状态，针对性地将目标划分为三类: 新进入监控视野目标、正常跟踪目标和需要进行模板更新目标，对每一类目标采用不同的跟踪和管理策略. 通过对真实道路监控场景的试验证明，本文中提出的方法能够有效地实现交通场景下多目标的自动检测与跟踪.

　　参 考 文 献

　　[1] 杜宇人，高洁军，周爱军，等. 基于统计背景模型的运动目标检测方法[J]. 电子测量与仪器学报，2006( 增刊) : 1298-1301.

　　[2] Wren C，AzarBayeJania A，Darrell T. Pfinder: Real-time tracking of the human body [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，1997，19( 7) : 780-785.

　　[3] Aach T，Kaup A，Mester R. Statistical model-based change detection in moving video [J]. Signal Processing，1993， 31( 2) : 165-180.

　　[4] Shi J and Malik J. A normalized cuts and image segmentation [C]/ / IEEE. Proc IEEE Conf Computer Vision and Pattern Recognition. San Juan，Puerto Rico，1997.

　　[5] Yang S，Perona P.A computational model for motion detection and direction discrimination in humans[C]/ / The Workshop on Human Motion. IEEE，June 13-15，2000. Hilton Head，SC，USA.

　　[6] Yamamoto M，Yagishita K.Sceneconstraints-aided tracking of human body[C]/ / IEEE Conference on Computer Vision & Pattern Recognition. IEEE，2000: 1151-1151.

　　[7] Eveland C，Konnlige K，Bolles R C.Background modeling for segmentation of video-rate stereo sequences [C]/ / Proc. IEEE Conf. Computer Vision and Pattern Recognition. IEEE Computer Society，June 23-25，1998. Santa Barbara，CA，USA.

　　[8] Comaniciu D，Member V R，and Meer P. Kernel-based object tracking [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2003， 25 ( 5 ) : 564-575.

　　[9] 程 建，周 越，蔡 念，等. 基于粒子滤波的红外目标跟踪[J]. 红外与毫米波学报，2006( 2) : 113-117.

　　[10] Yang F，Lu H，Yang M. Robust superpixel tracking [J]. IEEE Transaction on Image Processing，2014，23 ( 4) : 1639-1651

　　[11] Danelljan M，Khan F S，Felsberg M，et al. Adaptivecolor attributes for real-time visual tracking[C]/ / IEEE Conference on Computer Vision and Pattern Recognition. 2014: 1090-1097.

　　[12] 向金海，樊 恒，徐 俊. 基于局部稀疏表示的目标跟踪 [J]. 华中科技大学学报. 2014，12 ( 6 ) : 256-260.

　　[13] Chen S，Fern A，Todorovic S. Multi-objecttracking via constrained sequential labeling[C]/ / IEEE Conference on Computer Vision and Pattern Recognition. IEEE Computer Society，2014: 1130-1137.

　　[14] 井沛良，徐世友，李 贤，等. 多目标跟踪性能评估方法综述[J]. 系统工程与电子技术. 2014，15 ( 5) : 321-326.

　　[15] 侯建华，邓 雨，陈思萌，等.基于深度特征和相关滤波器的视觉目标跟踪[J].中南民族大学学报，2018， 37( 1) 72: 67-73.

　　相关论文推荐：智能交通发展新技巧实施条例

《基于目标序列分析的智能监控多目标自动检测跟踪》

上一篇：互联网媒介下视觉信息的危机与治理

下一篇：自动化仓储系统在实训中心仓库管理中的应用