基于HOG和SVM的嵌入式行人检测与追踪系统设计与实现.pdf

2023年/第8期 物联网技术全面感知 Comprehensive Perception290 引 言对于现代社会而言，传统的粗放式和事后治理的治安管理模式已经不能满足人们对于安全的需求。目前，视频监控是构成现代安防体系的最大部分。但视频监控数据量巨大、价值密度低、种类繁多，使用起来非常困难，对其进行智能分析和挖掘也非常困难1-4。考虑到行人检测已成为计算机视觉的重要研究方向，本文设计了一种基于 HOG 和 SVM 的嵌入式行人检测与追踪系统。本文以树莓派 3B+开发板为核心，基于 PCA9685 芯片的树莓派拓展板作为辅助模块，通过 CSI-2 串口进行通信。其他硬件采用了树莓派的 CMOS 摄像头，还采用了SG-90 舵机进行云台驱动。2005 年，Dalal 等5提出了 HOG（Histogram of Oriented Gradient）特征描述符，即梯度方向直方图特征。HOG 的独特之处在于该特征描述了图像局部区域梯度强度和梯度方向的分布情况，该分布情况能对局部对象外观和形状进行很好的表征，非常适用于行人检测6-8。HOG+SVM 的行人检测算法是速度和效果平衡性较好的一种检测方法9。本文采用 HOG+SVM 的行人检测算法作为本系统的行人检测算法，采用基于像素差的视觉追踪算法作为本系统的行人追踪算法。1 行人检测与追踪系统设计与实现行人检测与追踪系统总体分成 2 部分：硬件系统和软件系统。硬件系统主要实现行人图像采集与行人跟踪功能。本文采用树莓派 3B+作为主控模块，树莓派舵机拓展板作为云台控制模块，树莓派官方 500 万像素的 CMOS 摄像头作为摄像模块，SG-90 舵机作为云台跟踪模块。软件系统主要实现实时视频监控、行人检测与追踪功能。行人检测系统总体分为 2 部分：图像预处理和基于HOG 和 SVM 的行人检测算法。图像预处理是对视频流进行关键帧提取，再对图像帧进行一定程度的裁剪，剔除无关因素。行人检测系统主要运用 HOG 和 SVM 来实现行人检测。1.1 图像预处理通常检测图像的像素比较大，不易于进行后续训练处理，作为训练样本，只需要关注其具有特征部分的图像区域，譬如人脸、人体轮廓特征和肢体特征等10，因此需要将原始图像预处理成 64 px128 px 像素的照片，如图 1 所示。图 1 HOG 特征提取原理基于 HOG 和 SVM 的嵌入式行人检测与追踪 系统设计与实现黄威铭，吴焯标，陶 铭（东莞理工学院 计算机科学与技术学院，广东 东莞 523808）摘 要：随着社会的进步和科学技术的发展，传统的视频安防监控已经不能满足人们对于安全的需求和对高质量生活的向往。为此，本文设计了一种基于 HOG+SVM 的嵌入式行人检测与追踪系统，以树莓派 3B+开发板作为核心处理器，采用树莓派 CMOS 摄像头采集图像，通过舵机实现行人跟踪驱动。重点介绍了基于 HOG 和 SVM 的行人检测算法，以及基于像素的视觉追踪算法的行人检测与追踪系统的设计与实现。实验结果表明，该系统能够很好地识别行人并进行追踪拍摄。本文研究为嵌入式平台方面的研究提供了一个较好的行人检测与追踪系统案例。关键词：行人检测；追踪；HOG；SVM；树莓派 3B+；嵌入式系统中图分类号：TP39 文献标识码：A 文章编号：2095-1302（2023）08-0029-04收稿日期：2022-09-26 修回日期：2022-10-24基金项目：东莞理工学院大学生创新创业训练计划项目（国家级）；广东省重点建设学科科研能力提升项目（2021ZDJS 086）DOI：10.16667/j.issn.2095-1302.2023.08.008物联网技术 2023年/第8期 全面感知 Comprehensive Perception301.2 基于 HOG+SVM 实现行人检测HOG+SVM 行人检测算法的核心步骤分别是样本收集、特征提取与分类识别。其中样本收集是将大量的行人图像作为分类器的训练数据，特征提取是指在图像中提取纹理特征1，分类识别则是利用分类器在图像中识别出 行人。（1）样本收集研究行人检测至今，除了在算法上不断进步，同时也收集了大量的行人数据，并形成多个各有特点的行人数据库。通过对多个行人数据库特点的比较，本文决定采用 INRIA 行人数据库中的正样本对设计的 HOG+SVM 行人检测算法进行检测。因为 INRIA 行人数据库是目前普遍使用的静态行人数据库，包含训练集和测试集，且均包含正样本和负样本，便于训练模型；同时该数据库行人所处背景复杂，人的姿态也较多，而且含有光照等环境因素的变化，更加符合实际 场景。（2）HOG 特征提取本文使用 OpenCV 中 HOGDescriptor（）函数初始化一个 HOG 对象，初始化后的 HOG 对象可以对已经灰度化的图像进行特征提取，特征向量是一个 3 780*1 的向量，这个 3 780*1 的一维纵向数组就是图片的特性形状数字化的值。可以知道一张图像被裁剪成 64*128（行人检测），会得到 3 780 个数值，这个数字就是这张图像的特征维度。HOG 特征提取示意图如图 2 所示。图 2 HOG 特征提取示意图（3）SVM 分类器训练得到了所有训练样本数据的特征数组和标签数组后，采用基于 OpenCV 的 SVM 分类器对行人样本与非行人样本进行分类训练，并且调用函数 svm.train（hog_array,cv2.ml.ROW_SAMPLE，label_array）进行训练。（4）行人检测与锁定本文训练好行人检测模型后，利用行人检测模型进行行人检测测试。首先需要检测窗口，利用检测器的 函 数 detectMultiScale（）对 图 像 进 行 检 测；设 置 完detectMultiScale（）的参数后，调用 cv2.imread（）读取图片数据，再把图片的数据放入检测器函数并返回检测框的数据，然后把检测框的数据放入到 cv2.rectangle（）中，在图像中绘制出检测框；最后利用 OpenCV 库中的 cv2.imshow把绘制好的图像展示出来。如果有一张图片存在多个行人，则会有多个检测框数据，所以使用循环来遍历每个检测框的数据从而绘制到图片上。在进行行人检测时，会出现多个检测框重叠的情况。对于这种情况可以使用非极大抑制法进行优化。在 HOG 检测函数检测出多个检测框的数据时调用 imutils.object_detection 库的函数 non_max_suppression（）进行优化，就可以消除这种 影响。1.3 基于像素的视觉追踪算法本文通过基于像素的视觉追踪算法来实现监控设备对行人的追踪，其基本思想是在跟踪的过程中保持目标位于图像的中间区域。本文定义 width 为图像宽度，height 为图像高度，单位为 px。如图 3 所示，可以用一个像素坐标 M(xm,ym)，即目标质心位置来表示目标在当前图像中的位置。目标在运动的过程中，其像素坐标在时刻变化，而图像的中心坐标位置 O(xo,yo)(xo=width/2，yo=height/2)是固定不变的。因此，随着目标运动，目标质心位置和图像中心位置在图像的 X 和 Y 方向产生像素偏差（x,y）。通过不断地降低像素偏差的幅值并尽可能趋于 0，使得目标保持在图像中心区域。图 3 目标质心与图像中心位置关系设摄像机图像坐标原点为 O，x、y 的计算方法如式（1）、式（2）所示。x=xm-xo （1）y=ym-yo （2）本文设计的云台是具有二自由度的，分为水平舵机与俯仰舵机，可在水平及俯仰方向相互独立运动。由于云平台在转动的过程中受控制算法、舵机精度等多因素综合影响，所以目标质心点很难与摄像头焦点完全重合。因此，本文定义了一个宽度为 w、高度为 h（w=width/3，h=height/3）的图像视野中心区域，当目标质心点处于这个区域则云平台停止转动，当在其他区域时需要根据实际情况来进行跟踪 2023年/第8期 物联网技术全面感知 Comprehensive Perception31控制。基本算法思想为：若|x|w/2，则说明检测目标横坐标 x 位于中心区域，水平舵机无须转动；若|y|w/2 时水平舵机需要转动相应的像素偏差|x|，当xw/2 时水平舵机往右运动，当 xh/2，水平舵机需要转动相应的像素偏差|y|，当yh/2 时俯仰舵机往下运动，当 yw/2 且 y-h/2 时，云平台水平右转及垂直上转；当检测目标处于图像中心区域的上方，摄像头焦点则需要从中心区域移动到区域 II，即当|x|w/2 且 y-h/2 时，云平台进行垂直上转。2 系统功能测试2.1 测试环境受限于设备性能和内存空间，本测试只对系统功能的可行性进行验证，不进行压力测试。测试平台为 Intel 酷睿 i5 7200U、树 莓 派 3B+，操 作 系 统 为 UBuntu 18.04、Raspbian OS。行人目标检测的数据集均来源于 INRIA Person数据集。2.2 行人检测时间对比测试本测试对比了针对图像进行一次行人检测的所需时间，对比对象分别是树莓派 3B+与笔记本。树莓派 3B+搭载博通（Broadcom）的 64 位 BCM2837B0 处理器，笔记本搭载Intel 酷睿 i5 7200U；图像数据来自 INRIA Person 数据库。针对对比测试，给出 16 组实验的数据结果，见表 1 所列。根据表 1 中的平均所需时间画出柱状图并进行对比，如图 4所示。图 4 对比实验柱状图表 1 实验数据样 本笔记本进行行人检测所需的时间/s树莓派进行行人检测所需的时间/s第一次第二次第三次平均第一次第二次第三次平均10.159 00.137 60.150 60.149 11.473 41.632 91.427 11.511 220.156 50.160 60.147 60.154 91.664 31.713 21.672 31.683 330.142 60.121 70.122 70.129 01.298 11.398 81.626 11.441 040.264 30.305 20.289 70.286 43.742 73.189 03.146 03.359 250.168 40.163 60.164 60.165 52.048 52.474 41.723 42.082 160.216 80.184 80.185 50.195 72.169 31.978 52.029 72.059 270.388 40.301 60.351 60.347 23.536 23.935 54.058 53.843 480.152 10.130 60.150 60.144 41.992 72.026 91.775 01.931 690.169 00.140 60.155 60.155 11.626 81.676 71.543 91.615 8100.144 10.135 60.147 60.142 51.689 11.729 32.031 61.816 6110.146 10.143 70.161 60.150 51.579 61.648 51.716 11.648 1120.153 60.143 60.206 40.167 91.526 91.555 51.963 01.681 8130.178 50.147 60.150 60.158 91.771 51.758 61.829 81.786 6140.162 60.131 60.143 60.145 91.742 51.709 21.764 31.738 7150.167 60.153 60.154 60.158 61.818 31.741 81.560 41.706 8160.157 60.182 50.140 20.160 11.777 11.732 61.732 71.747 5物联网技术 2023年/第8期 全面感知 Comprehensive Perception322.3 行人目标跟踪可行性测试针对行人目标跟踪算法，本课题选用 INRIA Person 数据库中测试数据集的正样本进行可行性测试，该数据集主要以站立行人为主，并且是行人不同角度的照片，在测试结果中选取其中的测试样例进行展示，如图 5 所示。上述 6 个样例的具体测试数据见表 2 所列，表中具体的参数可参照行人目标跟踪设计的详细介绍，direct 为下一步追踪方向。2.4 实验结果与分析顺利地完成本文设计的系统功能测试实验后，分析测试结果可知，系统功能基本满足系统设计的需求，具备一定的系统稳定性。图 5 行人目标跟踪可行性测试结果表 2 测试样例详细数据样 例width/pxheight/pxw/pxh/px（xo，yo）（xm，ym）（x，y）direct1400300133100（200，150）（194，91）（-6，-59）Top2400300133100（200，150）（232，208）（32，58）Bottom3400333133111（200，166）（288，189）（88，23）Right440027113390（200，135）（132，109）（-68，-26）Left5400300133100（200，150）（248，160）（48，10）Center6400300133100（200，150）（225，173）（25，23）Center在行人检测时间对比测试中发现，树莓派 3B+进行图像处理的时间平均在 1.5 s 以上，远远超出实际应用所需的时间与本文设计所能承受的时间，且用户端的画面流畅度达不到设计要求。这个问题与主控模块的性能有关，同时也与 HOG+SVM 行人检测算法的性能有关。在行人目标跟踪可行性测试中体现出，本课题采用行人目标跟踪算法结合HOG+SVM 的行人检测算法进行行人目标跟踪业务具有一定的准确性和可行性。未来需要在行人检测算法上持续完善，才能满足实际应用的需求。3 结 语本文在 Linux 系统下完成了基于 HOG+SVM 的嵌入式行人检测与追踪系统设计及实现。硬件系统采用树莓派 3B+作为主控模块，树莓派舵机拓展板作为云台控制模块，树莓派官方 500 万像素的 CMOS 摄像头作为摄像模块，SG-90 舵机作为云台跟踪模块。软件系统实现了对云平台的驱动设计，可以实现对行人目标的检测与行人目标的跟踪两个功能。同时系统搭建了流媒体服务器，可供用户实时进行视频监控。系统经过测试，达到了预期效果。参考文献1 史锋，张航，徐能健，等.视频智能分析系统在城市管理领域的应用 J.物联网技术，2019，9（6）：65-67.2 程如中，张永军，李晶晶，等.应用于行人检测的 HLBP 与CHLBP 纹理特征 J.北京大学学报（自然科学版），2018，54（5）：935-945.3 任梦茹，侯宏录，韩修来.Gabor 特征结合快速 HOG 特征的行人检测 J.计算机系统应用，2021，30（10）：259-263.4 陈丽枫，王佳斌，郑力新.采用 HOG 特征和机器学习的行人检测方法 J.华侨大学学报（自然科学版），2018，39（5）：768-773.5 DALAL N，TRIGGS B.Histograms of oriented gradients for human detection C/Proceedings of 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition（CVPR05）.San Diego，CA，USA：IEEE，2005：886-893.6 李文书，韩洋，阮梦慧，等.改进的基于增强型 HOG 的行人检测算法 J.计算机系统应用，2020，29（10）：199-204.7 樊春年，杜卫平，刘艳荣.基于 HOG 特征结合 Adaboost 算法的行人检测 J.自动化技术与应用，2018，37（7）：89-91.8 黄金国，刘涛，周先春.Hadoop 云平台下基于 HOG 特征和Adaboost 分类器的快速行人检测算法 J.计算机测量与控制，2018，26（4）：49-51.9 徐渊，许晓亮，李才年，等.结合 SVM 分类器与 HOG 特征提取的行人检测 J.计算机工程，2016，42（1）：56-60.10 李晓艳，符惠桐，牛文涛，等.基于深度学习的多模态行人检测算法 J.西安交通大学学报，2022，56（10）：61-70.作者简介：陶 铭（1986），男，安徽马鞍山人，博士，教授，研究方向为物联网、移动互联网。