手势识别总结教学提纲.ppt

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Company Logo,手势识别技术介绍,基于不同传感器,手势识别的分类,手势类型,静态手势识别（手型）,动态手势识别（动作及轨迹）,RGB,相机,红外相机（主动、被动）,加速度传感器,深度相机（双目、结构光、,TOF,）,静态手势识别方法,基于手势分割,基于手势检测,选择合适的特征,准备大量训练样本,算法复杂度较高,算法复杂度低,难于分割完整的手势,对光照比较敏感,手势识别,-,基于手势分割,手势识别,手势输入,特征提取,误差补偿、,滤波、,预处理,手势分割、,手势跟踪、,分类、建模,训练、匹配,手势识别,-,基于手势分割,手势识别,-,基于手势检测,手势分类器,采集手势样本,选择分类算法,选择特征,训练,训练过程：,识别过程：,手势类别及位置,采集图像,手势分类器,多尺度处理,分类,手势识别常用特征,-HAAR,HAAR,特征,图中黑色矩形所有像素值的和减去白色矩形所有像素值的和。,手势识别常用特征,-LBP,LBP,特征,将一幅图片划分为若干的子区域，对每个子区域内的每个像素点都提取,LBP,特征。,在每个子区域内建立,LBP,特征的统计直方图。,整个 图片就由若干个统计直方图组成,手势识别常用特征,-HOG,手势识别算法,-SVM,手势识别算法,-Adaboost,手势识别算法,-Adaboost,训练,OpenCV,中,Adaboost,算法,训练程序,opencv_traincascade.exe-data data-vec pos/pos.vec,-bg neg/neg.dat-numPos 15200-numNeg 27000-numStages 19,-w 18-h 30-precalcValBufSize 1024-precalcIdxBufSize 1024,-featureType LBP-minHitRate 0.9999-maxFalseAlarmRate 0.5,-mode ALL,训练样本,opencv_createsamples.exe-info pos.dat-vec pos.vec-num 15400-w 18-h 30 pause,Adaboost,训练要点,积极样本多样性,积极样本背景随机性,消极样本结合场景,积极样本旋转,特征选择,手势样本采集,获取手势的抠图,将手势抠图合成到随机背景,缩放到合适尺寸,Adaboost,手势识别优点,速率较快（,30-50ms,）,对光照不敏感,对不同摄像机适用性强,对图像质量要求不高,Adaboost,手势识别缺点,样本处理要求高（尺寸，背景，光照，多样）,后期升级训练困难（手工裁剪或标注样本）,存在一定程度误判率（过拟合与泛化）,特征不具有旋转不变形（识别固定姿态手势）,Adaboost,优化方法,采集多样性样本（,20k,）,将误判图片作为消极样本再训练,收集实际识别图片手工裁剪样本,使用其他的方法进行二次判断（肤色验证及,SVM,）,手势识别的其他方法,深度相机,可分割出手型的二值图像（手型轮廓），进而通过轮廓特征进行手势及动作识别。,深度神经网络,通过,CNN,卷积神经网络自动选取特征进行识别，样本量巨大（,100k,以上）。手势数据集构建比较困难，目前没有很好地手势识别应用。,谢 谢！,结语,首页,