基于深度图像的在线手势识别方法与性能研究.pdf

第 35 卷 第 2 期2023 年 6 月河南工程学院学报(自然科学版)JOURNAL OF HENAN UNIVERSITY OF ENGINEERING(NATURAL SCIENCE EDITION)Vol.35,No.2Jun.2023 基于深度图像的在线手势识别方法与性能研究 杨秋菊(宿州职业技术学院 计算机信息系,安徽 宿州 234000)摘 要:对 Kinect 设备获取到的深度图像进行手部区域分割,分别比较扫描法和区域生长法的图像分割效果,并提取手部的轮廓信息实现手掌心和指尖的定位,以区域协方差作为手势的特征变量,结合指尖识别算法实现了在线手势识别。结果表明:扫描法比区域生长法所识别出的手掌点和轮廓点更多,与自适应 PCA 识别算法相比具有更好的识别效果,静态手势测试的指尖平均识别率达 93%,在线运动手势识别的准确率均在 80%以上。关键词:Kinect 传感器;深度信息;协方差描述子;在线手势识别 中图分类号:TP391.41 文献标志码:A 文章编号:1674-330X(2023)02-0058-05Research on online gesture recognition method and performance based on depth imageYANG Qiuju(Department of Computer Information,Suzhou Vocational and Technical College,Suzhou 234000,China)Abstract:The depth image obtained by the Kinect device is used to segment the hand region,and the image segmentation effects of the scanning method and the region growing method are compared respectively,and the contour information of the hand is extracted to realize the positioning of the palm and fingertips.Using the regional covariance as the feature variable of gesture,combined with the fingertip recognition algorithm,the online gesture recognition is realized.The results show that the scanning method can identify more palm points and contour points than the region growing method.Compared with the adaptive PCA algorithm,the proposed algorithm has better recognition effect,the average fingertip recognition rate of static gesture test is 93%,and the accuracy rate of online motion ges-ture recognition is above 80%.Keywords:Kinect sensor;depth information;covariance descriptor;online gesture recognition收稿日期:2022-04-17基金项目:校级质量工程教学研究重点项目(zy2021zlgc10);安徽省高校自然科学重点项目(2022AH052764)作者简介:杨秋菊(1982),女,安徽宿州人,讲师,主要研究方向为图形图像制作、人工智能、数据挖掘。人机交互的最终目标是实现人与机器自然交流,手势识别研究顺应了发展需求1。由于手势本身具有多样性、多义性及时间和空间上的差异性,所以基于手势识别的人机交互技术逐渐成为多学科交叉的研究课题2。早期的手势识别技术,需要借助硬件设备来获得手部动作的空间与时间信息3,数据手套是其典型代表,可将手指的运动转化为电信号,获得各关节的精确信息4。但手套的使用使手势识别距离与易用的要求相悖,还增加了额外的硬件开销。近年来,基于计算机视觉的手势研究受到众多学者的青睐。基于视觉的手势识别是对摄像机拍摄到的每一帧图像进行处理,进而分析手部的运动情况5。其中,Kinect 传感器的人体骨架追踪、获取图像深度信息和音频处理这三大功能为人体识别、人脸识别、手势识别等研究提供了极大的便利6。本研究采用 Kinect 设备对手势进行深度图像数据的采集,利用扫描方法和区域生长法处理深度信息,将轮廓点与手掌点区分开来,并对这两种方法的实验效果进行了比较。1 1 相关理论概述1.1 图像分割和识别算法本研究采用 Kinect for Xbox One 设备采集手势图像。深度图像帧的各个像素点所包含的距离信息即深第 2 期杨秋菊:基于深度图像的在线手势识别方法与性能研究度,表示摄像机所在平面和对应于该点最近的物体之间的距离(单位:mm)7。深度图像的每个像素点占 2个字节(16 位),其中高 13 位表示深度信息,低 3 位存放用户索引编号。在实际使用时去除索引编号即可得到深度。(1)扫描法扫描就是对处理所得到的样本点进行顺次扫描以达到判断与分类的目的,步骤如下:第 1 步:读取下一像素点(x,y)的深度 d,判断 d 是否在(60,80)内,若是,则转到第 2 步,否则再次执行第 1 步。第2步:获取点(x-1,y)、(x+1,y)、(x,y-1)、(x,y+1)的深度d1、d2、d3、d4,判断它们是否在(60,80)内,若 4 个点都在,则执行第 3 步,否则转到第 4 步。第 3 步:将像素点(x,y)的位置与深度 d 加入手掌点列表 mHandArea,转到第 5 步。第 4 步:将像素点(x,y)的位置与深度 d 加入轮廓点列表 mContour。第 5 步:若该点为最后一个像素点,结束判断,否则返回第 1 步。(2)区域生长法区域生长法是一种传统的图像处理算法,它可以通过给出待分割区域的种子区域,再以迭代的方式探测该种子区域周围的像素点,以一定的规则判断是否将周围的点加入,并给出生长结束的条件来实现。此外,也可以先将图片按其一致性分割为多个部分,再以相关的规则将小的部分合并成大的区域,直至达到分割图片的目的。本研究的实现方式是给出种子区域的第一种方式。第1步:按规则顺序扫描指定的若干个点,找到第一个深度d在(60,80)的点(x,y),选定为种子,标记为“已探测”。第2步:获取点(x-1,y)、(x+1,y)、(x,y-1)、(x,y+1)的深度d1、d2、d3、d4,判断它们是否在(60,80)内;若非 4 个点都在其中,则转到第 4 步。第 3 步:将像素点(x,y)的位置与深度 d 加入手掌点列表 mHandArea,转到第 5 步。第 4 步:将像素点(x,y)的位置与深度 d 加入轮廓点列表 mContour。第 5 步:以点(x,y)为中心,判断其 8 个邻域上像素点的深度是否在(60,80)内,且是否未标记为“已探测”,若均是,则将邻域上的点加入待探测序列。第 6 步:若待探测序列不为空,则从中取出一个点,将其标记为(x,y),返回第 2 步。第 7 步:若待探测序列为空,则结束探测。(3)识别算法正确识别掌心点与指尖点是本研究实验的关键。依次求取所有手掌点与所有轮廓点的距离平方值,记录每个手掌点与各轮廓点距离平方值中的最小值,在所有手掌点距离平方值的最小值中找到最大值,该最大值所对应的点标记为掌心点。图 1可能的手指点截取示意图Fig.1 Interception of possible finger points本研究结合手指点与掌心点之间的位置特征实现对指尖点的识别。对掌心点到所有轮廓点的距离计算平方值,得到掌心点与轮廓点的距离均值。再以掌心点为圆心、以距离均值为半径作圆,同时以一个阈值(认为距离超过该阈值的像素点不可能是手指点,本实验取 30 mm)为半径作同心圆,将位于两个圆中间的轮廓点标记为可能的手指点,如图 1 所示。各个轮廓点到掌心点的距离会呈现由大到小或由小到大的变化过程,找出可能的手指点与掌心点距离最大的点,如果该点的深度稍大于掌心点的深度,则将该点记为手指点(认为做手势时手指点比掌心点更靠近设备),从而排除手腕处被误判为指尖的可能。95河南工程学院学报(自然科学版)2023 年设 P(xi,yi)为手势轮廓上的点,P(xi,yi)到掌心点 M 的距离D=(xi-x)2+(yi-y)2,(1)式中:x 和y 分别是 xi和 yi的均值。利用递归的方式删除与该手指点关联的所有可能点,反复寻找手指点直至所有的可能点均被删除或者手指点已达到 5 个。1.2 在线手势识别手势的特征选取是检测和分类最重要的步骤之一。良好的特征描述子不仅对各种手势具有很好的区分性,而且同时满足旋转、平移不变性,在进行不同手势的识别或跟踪时也便于计算。对于深度图像而言,常见的手势特征包括运动轨迹、运动方向、运动速度、梯度方向等。研究表明,与单一的手势特征相比,多种特征融合的实验结果更加准确8。这些联合特征是维数较高的特征向量,虽然在一定程度上具有较高的识别率,但在识别时,识别时间受到很大的约束。从这个角度出发,本研究力求在降低特征向量维数的基础上实现实时在线手势识别。本研究将区域协方差作为手势的特征表示方式。相比联合分布特征向量,区域协方差描述符在保证识别精度的基础上降低了维数。区域协方差描述符适用于静态图像中的目标识别,也适用于表示时空体。图 2 边界区Fig.2 Boundary region定义两个量 V 和 S,其中 V 表示由 M 帧组成的深度图像序列,S 表示 V 中的每帧所对应的手部轮廓信息,利用分割后得到的轮廓点信息作为手势轮廓信息,即边界区,如图 2 所示。计算手势的特征向量f(x,y,t)=x,y,t,ItT,(2)式中:x、y分别为图像中像素点的横坐标和纵坐标;t为时间(像素点在帧的索引);It=I(x,y,t)/I,表示像素点 I(x,y,t)对时间 t 的一阶偏导数。在时间维度上对一个动态手势序列进行层级划分,其中第 i 个字的序列记为 Sli,通过公式(3)计算 Sli中的特征向量(所有的特征向量可以构成一个集合Fli=fln,n=1,2,3,Nli,其中 Nli为特征向量个数):Cli=1NliNlili=1(fln-li)(fln-li)T,(3)式中:li为Fli中特征向量的平均值。本研究将边界区划分为4个区域,并定义区域标签。对这4个区域的特征协方差进行组合,并使用 SVM 分类器对其进行分类,以实现在线手势识别。2 2 结果与分析2.1 图像分割结果图 3 扫描法分割图像结果Fig.3 Image segmentation result of scanning method 为判定并比较扫描法和区域生长法区分掌心点和轮廓点的效果,本研究用食指在距离 Kinect 设备 0.65 m 处分别书写数字0、1、2、3 和 6,并用伸开 5 个手指的手掌向上、下、左、右 4 个方向做手掌移动的手势。在执行过程中,间隔固定个数的帧,记录每帧图像对应的轮廓像素点数及手掌内部像素点数,之后绘制成折线趋势图。用扫描法得到的分割图像结果见图 3。不难看出,虽然在整个做手势的过程中,帧06第 2 期杨秋菊:基于深度图像的在线手势识别方法与性能研究之间的轮廓点和手掌点的个数都有上下波动,但整体趋势较为平缓,并不存在明显的突变,并且扫描法的结果中并没有为 0 的值。图 4 区域生长法分割图像结果Fig.4 Image segmentation result of region growing method 用区域生长法得到的分割图像结果见图 4。图 4 中的数据也有着明显的趋势走向,且没有突兀的变化。但与扫描法相比,区域生长法折线的小抖动明显增多。虽然在距离 Kinect 设备相同的位置,但区域生长法所识别出的手掌像素点数和轮廓像素点数整体较少,所以后续实验均采用扫描法进行图像分割。2.2 指尖识别结果为验证手掌分割和指尖点检测算法的识别效果,采用扫描法针对 05 个手指的手势在距离设备 0.65 m 处进行了多次指尖探测。指尖识别深度图像和手部分割图像如图 5 所示。图 5 指尖识别深度图像和手部分割图像Fig.5 Fingertip recognition depth image and hand segmentation image对每个静止的手势收集 800 帧左右的手指点信息,计算得到基于手掌分割和指尖点检测的识别准确率,同时采用传统的基于形状特征的 PCA 识别算法进行对比,结果如表 1 所示。表 1 指尖识别结果Tab.1 Fingertip recognition results项目拳头1 个手指2 个手指3 个手指4 个手指5 个手指帧的总数877832798877809961本算法准确率/%99.6697.4891.7294.7589.7487.92PCA 识别算法准确率/%98.7197.2391.5594.7084.2281.09 从表 1 可以看出,基于形状特征的 PCA 识别算法平均识别准确率为 91.25%,本算法指尖的平均识别率达到 93%,具有较高的识别率,虽然在手指数较多的时候识别率会稍有下降,但依然保持在 87%以上。2.3 在线手势识别结果为验证在线手势识别系统的识别效果,本研究使用“剪刀”“石头”和“布”3 种手势进行实验。实验前对3 个动作分别采集含有 10 帧图像的样本 16 个,共 48 个,得出这些动作样本的协方差描述符存于数据库中。在识别过程中,依次计算缓冲区中所采集到的动作的协方差描述符与 48 个样本之间的欧氏距离。将动作类别相同的样本距离累加,找出样本距离累加值最小的动作类别为待定类别。判断样本距离次小累加值与样本距离最小累加值的差值是否大于次小-最小差值的阈值,若是,则待定类型为该帧手势类型,反之为未识别。轮流做出“剪刀”“石头”“布”3 种手势各 12 次,其识别距离分布见图 6。其中,横坐标为帧数,纵坐标为缓冲区中数据与已采集的某类样本之间的距离之和。对于判定出手势类别的帧,在图中对应的手势上以黑16河南工程学院学报(自然科学版)2023 年图 6 在线手势识别距离分布Fig.6 Distance distribution of online gesture recognition点标出。如果连续图像标识的黑点超过一定数目则认为是同一个手势,那么就可以确定该段表示被标识的手势。连续帧数的指定与做手势的快慢和手势的复杂度等多方面因素相关。若将可判定手势的连续帧数定为 4,如图 6 中的局部放大图所示,其中用平行于水平轴的短线标识的“石头”和“剪刀”即为达到 4帧连续的手势。为更直观地看到手势识别的效果,对这 3 个手势进行各 100 次的实验,并计算在线手势的识别率,同时用基于自适应空间的 PCA 识别算法与本算法进行对比测试,结果如表 2 所示。表 2 在线手势识别结果Tab.2 Results of online gesture recognition算法手势识别次数成功次数识别率/%平均耗时/ms本算法剪刀100838332.81石头100989830.54布100979733.61PCA 识别算法剪刀1007474150.23石头1009292123.66布1009090143.87 从表 2 可以看出:识别率方面,本算法的 3 种手势在线识别率在 80%以上,“剪刀”手势与其他两种手势的相似性较高,识别率较低,仅为 83%,“石头”手势和“布”手势的区别较大,识别率分别为 98%和 97%,而PCA 识别算法的识别率比本算法低,尤其是“剪刀”手势的识别率仅为 74%;耗时方面,本算法的 3 种手势在线识别平均耗时均在 30 ms 左右,耗时由长至短分别为“布”手势、“剪刀”手势、“石头”手势,PCA 识别算法的平均耗时是本算法的 4 倍左右,其中“剪刀”手势识别的平均耗时最长。3 3 结语本研究基于 Kinect 设备所获取的深度图像,对其进行分析实现手势区域的分割和指尖点的检测,并利用获取的信息实现了在线手势的识别。从实验结果来看,用扫描法进行图像分割结合指尖点检测得到的结果精度更高。同时,利用在线手势识别算法对几个简单手势进行识别,与传统的自适应 PCA 识别算法相比,本算法具有更高的准确率与更短的运行时间。参考文献:1 徐琛玥.机器学习背景下手势识别技术探究J.软件,2020,41(10):132-134.2 董小龙,赵斯衎.基于手势识别的人机交互技术的研究J.电子制作,2020(19):73-74,54.3 刘雪花,洪琴,何玉麟,等.基于数据手套的手势识别系统J.单片机与嵌入式系统应用,2020,20(6):16-19.4 刘续丹,侯红霞,杨钰淇,等.基于数据手套的交互系统设计J.通讯世界,2019,26(4):313-314.5 解迎刚,王全.基于视觉的动态手势识别研究综述J.计算机工程与应用,2021,57(22):68-77.6 邵天培,蒋刚,留沧海.基于 Kinect 的动态手势识别研究J.计算机测量与控制,2021,29(2):161-165.7 朱威,易瑶,王图强,等.一种深度图像帧内编码单元快速划分算法J.计算机科学,2019,46(10):286-294.8 卢梦圆,官巍,马力.基于多特征融合的手势识别研究J.计算机与数字工程,2020,48(9):2157-2161.26