基于机器视觉的健美操跳跃动作特征提取方法研究.pdf

控制理论与应用Control Theory and Applications自动化技术与应用2023 年第 42 卷第 8 期Techniques ofAutomation&Applications基于机器视觉的健美操跳跃动作特征提取方法研究李 严,汪 赢,韦 俊（西安交通大学城市学院，陕西 西安 710018）摘要:由于传统健美操跳跃动作特征提取方法存在动作方位角度识别准确率低、特征提取率低和特征提取效率低的问题，提出基于机器视觉的健美操跳跃动作特征提取方法。通过机器视觉获取健美操视频，提取健美操视频的熵值序列和音乐特征，融合以上特征提取健美操动作关键帧，利用高斯混合模型对关键帧进行处理，消除健美操关键帧的背景；采用阈值识别算法识别健美操跳跃动作，结合Harris3D算子建立健美操跳跃动作序列势函数，在此基础上，利用AdaBoost算法提取健美操跳跃动作特征。实验结果表明，所提方法的动作方位角度识别准确率高、特征提取率高、提取效率高。关键词:机器视觉；健美操跳跃动作；关键帧提取；背景消除；特征提取中图分类号：TP391.4文献标识码:A文章编号:1003-7241(2023)08-0038-04Research on Feature Extraction Method ofAerobics Jump Action Based on Machine VisionLI Yan,WANG Ying,WEI Jun(City College of Xian Jiaotong University,Xian 710018 China)Abstract:Because the traditional method of aerobics jumping action feature extraction has the problems of low recognition accuracy,lowfeature extraction rate and low feature extraction efficiency,a feature extraction method of aerobics jumping action based on ma-chine vision is proposed.It obtains aerobics videos through machine vision,extracts the entropy sequence and music characteris-tics of aerobics videos,combines the above features to extract key frames of aerobics,uses Gaussian mixture model to processthe key frames,eliminates the background of aerobics key frames;adopts threshold.The recognition algorithm recognizes the aer-obics jumping action,and combines the Harris3D operator to establish the aerobics jumping action sequence potential function.On this basis,the AdaBoost algorithm is used to extract the characteristics of the aerobics jumping action.The experimental re-sults show that the proposed method has high recognition accuracy,high feature extraction rate and high extraction efficiency.Keywords:machine vision;aerobics jumping action;key frame extraction;background removal;feature extraction收稿日期:2021-04-23DOI:10.20033/j.1003-7241.（2023）08-0038-04.1引言健美操是一种有氧运动，但健美操与其他有氧运动不同，它可以使人体达到优美状态，因此受到了人们的广泛关注1。对健美操跳跃动作进行检测，可以有效地改善健美操动作，提高比赛成绩的同时，能够增强健身效果。跳跃动作特征提取是检测健美操跳跃动作的基础，因此，对健美操跳跃动作特征提取方法进行分析和研究具有重要意义2。陈恩庆3等人提出基于MEM-LBP的健美操跳跃动作特征提取方法，该方法在笛卡尔平面中投影深度视频序列，并划分视频序列，获得若干个能量相同的时间序列，计算其对应的深度运动图能量，根据计算结果建立运动能量模型，在LBP描述符的基础上编码运动能量模型，提取健美操跳跃动作的有效信息，最后将其输入分类器中，完成健美操跳跃动作的特征提取，但是该方法没有提取健美操视频的关键帧，无法准确地识别动作方位角度，导致特征提取率较低。陈超4提出基于多阈值优化的健美操跳跃动作特征提取方法，该方法通过最大类方差模糊约束法对运动图像的轮廓特征进行分析，采用模糊隶属度对健美操图像中的多个阈值进行计算，根据计算结果获取中心邻域的两个轮廓点在轮廓范围内的几何中心值，并对曲率角进行计算，获得曲率符号，在曲率符号的基础上提取健美操跳跃动作特征，但是该方法没有对健美操运动图像进行背景消除处理，导致特征提取过程中受背景的干扰所用的时间较长，存在特征提取效率低的问题。为了解决上述方法中存在的问题，提出基于机器视觉的健美操跳跃动作特征提取方法。2基于机器视觉的关键帧提取方法所提方法通过机器视觉获取健美操视频，对健美操38自动化技术与应用2023 年第 42 卷第 8 期控制理论与应用Control Theory and ApplicationsTechniques ofAutomation&Applications视频分帧后的图像序列进行光流计算，通过光流图获取健美操动作的运动速度和方向，并采用熵计算统计光流图像中存在的信息量5。由于音乐特征对健美操视频较为重要，因此采用机器视觉的方法提取音乐的能量特征和包络线特征，并融合熵值序列和音乐特征，得到与音乐相关的熵值序列，通过设定阈值获得健美操视频的关键帧6。首先对健美操视频分帧后的图像序列进行光流计算，其表达式为：（1）式中，Ecolor(w)代表对亮度不变性的假设；、分别代表可调的权重参数。通过引入梯度约束Egrad(w)减少光照产生影响，并利用Esmooth(w)对健美操视频进行平滑处理。按照时间顺序通过式（2）对当前光流图对应的熵值进行计算。（2）式中，E_img表示熵值；m表示灰度级别；pk描表示灰度值为k的像素在图像中所占的比例。当熵值越大时，图像中存在的信息量越多7。分帧处理是提取音频能量特征的第一步，首先加窗分帧处理音频x(j)，获得第k帧音频。将音频信号存储在长度为N的y中，每次取长度为wlen，采样率为 fs，用olap=wlen-dis描述两帧重叠的部分；dis为前后两帧之间存在的位移量。通过公式（3）对长度为N的音频信号进行分帧处理：（3）通过下述公式对音频对应的平均幅度进行计算，获得音频对应的能量特征：（4）式中，yk(j)表示一帧的数值；win(j)表示窗函数；M(k)表示一帧音频对应的能量大小。通过上述过程实现熵值序列和特征序列的对齐，并对熵值序列和音频特征序列进行乘积运算，实现特征融合，获取与音乐相关的熵值序列8。音乐特征在健美操视频关键帧提取的过程中具有辅助作用。计算融合特征对应的熵值序列，通过下述公式对比阈值与得到的值，选择大于阈值的帧作为健美操视频的关键帧，则提取关键帧的表达式为：（5）式中，Hkey表示当前关键帧对应的熵值；Hcurren表示当前帧对应的熵值。3健美操跳跃动作特征提取方法根据上述获取到的关键帧，对健美操跳跃动作特征进行提取。共分为两个步骤，背景消除和特征提取，具体如下：3.1背景消除通过高斯混合模型进行背景消除处理，具体过程如下：（1）建立模型，设Xt表示某像素点在t时刻对应的值；P(Xt)表示Xt发生的概率，其表达式如式（6）。（6）式中，i,t表示第i个高斯分布在t时刻对应的权重；i,j表示方差；i,t表示均值；(Xt,i,t,i,j)表示概率密度函数，可通过式（7）进行描述。（7）（2）更新模型，假设像素点在一帧图像中的值为Xt，利用|Xt-i,t|2.5i,j-1对K个高斯分布是否能与该像素匹配进行判断。通过公式（8）更新高斯分布的权值、方差和均值：（8）式中，表示在区间0,1内取值的高斯混合模型，图像背景模型的更新速度由参数控制；表示决定参数更新快慢的参数更新因子。（3）前景检测。完成背景模型训练后，根据的大小对K个高斯分布进行排列，选取前B个高斯分布构成背景。（9）式中，T表示阈值。3.2特征提取（一）健美操跳跃动作识别采用基于阈值识别算法对健美操跳跃动作进行识别，为后续建立跳跃动作序列势函数提供依据，具体过程如下：（1）设N表示健美操运动图像中存在的像素点数量，通过矩阵描述健美操运动图像，利用A(x1,y1)、B(x2,y2)、C(x3,y3)、D(x4,y4)描述点的坐标，通过公式（10）计算参数P、S。（10）（2）在健美操跳跃动作识别过程中，如果像素点值大于阈值A，则为Ne。39控制理论与应用Control Theory and Applications自动化技术与应用2023 年第 42 卷第 8 期Techniques ofAutomation&Applications（3）如果规定范围内不存在像素点，对坐标进行更新，扩大在健美操运动图像中的搜索区域。（4）完成扫描，获得Ne和识别目标。（5）对目标区域的长宽比进行计算，并将计算结果与识别阈值进行对比，如果阈值A大于长宽比|1-P|，则进行下一步。（6）对目标区域的大小进行计算，获取目标面积与健美操运动图像面积的比值M=Ne/S，并将该比值与阈值A的大小进行对比，当|0.785-M|A时，即识别出健美操跳跃动作。（二）建立健美操跳跃动作序列势函数利用Harris3D算子在健美操跳跃动作识别结果的基础上建立健美操跳跃动作序列势函数，为健美操跳跃动作特征提取奠定基础。设(xzi,yzi)表示健美操运动员的关键骨架点，设置局部参考点为(ai,bi)，设n表示局部参考中心点与时空兴趣点之间存在的最短欧氏距离，其计算公式如下。（11）式中，(xj,yj)表示时空兴趣点。通过 K-means 聚类获得健美操跳跃动作数据集，设fp表示健美操动作图像p对应的BOW特征，其计算公式如下：（12）式中，N表示健美操跳跃动作图像对应的时空单元序列长度；Kn表示聚类中心在n范围内的数量。通过下式融合BOW特征：（13）式中，Fp表示健美操跳跃动作图像各个层级内的融合特征。在上式的基础上建立健美操跳跃动作条件概率模型P(Y,h/X,)：（14）式中，(Y,h,X)表示健美操跳跃动作序列势函数；Y表示序列标记；表示常数；h表示层级；X即表示任意健美操跳跃动作序列。健美操跳跃动作自身存在变化规律，基于公式（14）对不同层级健美操跳跃动作序列势函数进行计算：（15）式中，1(Xj,hj)表示预测节点与隐变量节点之间存在的关系；2(Y,hj)表示序列标点与隐变量节点之间存在的关系。（三）健美操跳跃动作特征提取设(x1,y1),(xi,yi)，(xN,yN)表示健美操动作图像训练样本集，其中yi表示健美操动作图像样本标记；xi表示健美操动作图像样本数据。采用AdaBoost算法根据(Y,h,X)对健美操跳跃动作图像样本对应的错误率t进行计算：（16）通过迭代根据上述计算结果建立健美操跳跃动作特征提取模型：（17）式中，di表示健美操跳跃动作序列中存在的第i个特征数据；C(dj)表示第j个健美操跳跃特征数据在训练样本中所属的类别，利用上式构建的模型，完成健美操跳跃动作特征的提取。4实验与分析在Matlab 2008a平台中，将Intel P4 2 GB处理器作为硬件环境，对所提方法的整体有效性进行测试。分别采用基于机器视觉的健美操跳跃动作特征提取方法（方法1）、基于MEM-LBP的健美操跳跃动作特征提取方法（方法2）和基于多阈值优化的健美操跳跃动作特征提取方法（方法3）识别健美操跳跃动作的方位角，测试结果如图1所示。图1健美操跳跃动作方位角识别结果分析图1中的数据可知，采用方法1对健美操跳跃动作方位角进行监测时，获得的监测曲线与实际角度曲线基本相似，采用方法2对健美操跳跃动作方位角进行监测时，获得的监测角度低于实际角度，采用方法3对健美操跳跃动作方位角进行监测时，获得的监测角度高于实际角度，通过上述分析可知，方法1可准确的识别健美操跳跃动作的方位角，因为方法1提取了健美操跳跃动作中的关键帧，在关键帧中可准确的识别健美操跳跃动作的方位角。将特征提取率作为测试指标，对方法1、方法2和方法40自动化技术与应用2023 年第 42 卷第 8 期控制理论与应用Control Theory and ApplicationsTechniques ofAutomation&Applications3进行测试，测试结果如图2所示。图2特征提取率测试结果对图2中的数据进行分析可知，在多次迭代中方法1的特征提取率均在90%以上，方法2和方法3的特征提取率在60%附近波动，通过对比不同方法的测试结果可知，方法1的特征提取率较高，因为方法1提取健美操跳跃动作特征之前，消除了健美操运动图像的背景，提高了方法1的健美操动作特征提取率。为了验证方法的整体有效性，采用方法1、方法2和方法3提取健美操跳跃动作的特征，对比不同方法提取特征所用的时间，测试结果如图3所示。图3特征提取时间测试结果对图3中的数据进行分析可知，采用方法2和方法3提取健美操跳跃动作特征所用的时间远远高于方法1提取健美操跳跃动作特征所用的时间，因为方法1对提取的关键帧进行了背景消除处理，消除了特征提取过程中背景产生的干扰，缩短了特征提取所用的时间，提高了方法1的特征提取效率。5结束语随着移动终端设备的广泛使用以及多媒体技术、互联网的迅速发展，视频的数量大大增加，检索健美操视频中的有效片段，提取健美操跳跃动作的特征，可以辅助健美操训练，为健美操的编排提供依据。目前健美操跳跃动作特征提取方法存在动作方位角度识别准确率低、特征提取率低和特征提取效率低的问题，本文提出基于机器视觉的健美操跳跃动作特征提取方法，对关键帧进行背景消除处理，提取健美操跳跃动作特征。有效的解决了目前方法中存在的问题，为健美操的教学提供了依据。参考文献:1 陆付祥.基于特征提取的健美操分解动作图像自适应识别方法J.科学技术与工程,2019,476(7):153-158.2 司海飞,胡兴柳,史震.基于背景减除和特征提取的跌倒识别方法J.电子测量与仪器学报,2020,238(10):38-44.3 陈恩庆,樊军博.一种基于MEM-LBP的动作特征提取及识别方法J.计算机应用研究,2018,318(4):1277-1280.4 陈超.多阈值优化的运动图像轮廓特征提取方法J.沈阳工业大学学报,2019,41(3):315-319.5 沈西挺,于晟,董瑶,等.基于深度学习的人体动作识别方法J.计算机工程与设计,2020,400(4):261-265.6 罗会兰,童康,孔繁胜.基于深度学习的视频中人体动作识别进展综述J.电子学报,2019,47(5):1162-1173.7 韩锟,黄泽帆.基于人体姿态动态特征的跌倒行为识别方法J.湖南大学学报(自然科学版),2020,324(12):74-81.8 都明宇,王志恒,荀一,等.多模式人手动作分类识别方法J.中国机械工程,2019,30(12):1474-1479.作者简介:李严（1992-），男，硕士，讲师，研究方向：体育教学与训练。8 马灼明,朱笑笑,孙明镜,等.面向物流分拣任务的自主抓取机器人系统J.机械设计与研究,2019,35(6):17-23.9 李洪波,李亚萍.基于机器视觉的包装物料自动筛选系统J.包装工程,2020,41(11):223-227.10 吴小进,王文成.基于机器视觉的齿轮质量在线检测系统J.机械传动,2019,43(4):167-170.11 张伟,高慧敏.笔管缺陷自动化检测系统设计与研究J.工程设计学报,2019,26(3):346-353.12 高畅,刘浩克,刘基宏.基于机器视觉的细纱管分类检测J.丝绸,2019,56(1):33-37.13 陈林琳,姜大庆,黄菊,等.基于机器视觉的火龙果自动分级系统设计J.农机化研究,2020,42(5):130-133.14 张刚,布挺,葛运旺.基于机器视觉的水下航行器自动控制系统J.舰船科学技术,2020,42(10):53-55.15 李梦.基于机器视觉的车道线在线识别系统设计J.工程设计学报,2020,27(4):98-107.作者简介:李菁（1983-），女，硕士，副教授，研究方向：物流管理，物流工程。(上接第37页)41