网球影像智能化协助训练与竞赛分析.pdf

第36卷第2期2023年6月Vol.36 No.2Jun.2023闽南师范大学学报（自然科学版）Journal of Minnan Normal University（Natural Science）网球影像智能化协助训练与竞赛分析巫文佳1,任凌飞2,黄少武3,杨文元2（1.闽南师范大学体育学院,福建 漳州 363000；2.闽南师范大学粒计算重点实验室,福建 漳州 363000；3.圣保罗大学研究生院,菲律宾卡加延省 土格加劳市 3500）摘要：传统网球训练中存在训练效果难以快速量化分析，以及基于深度学习网络的图像分析技术面临着硬件性能和速度效率等问题.为此，提出一种结构重新参数化策略，基于编码器-解码器构建智能分析系统，通过深度学习技术实现网球图像处理和视频跟踪，提高网球运动轨迹识别准确性和速度.为网球训练和竞赛协作训练中的教练和选手提供精准的数据分析参考.关键词：网球运动；人工智能；计算机视觉；深度学习；辅助训练中图分类号：G8；TP391.4 文献标志码：A 文章编号：2095-7122（2023）02-0120-06Intelligent assistance for training and competition analysis in tennisbased on computer visionWU Wenjia1,REN Lingfei2,HUANG Shaowu3,YUAN Wenyuan2(1.School of Physical Education,Minnan Normal University,Zhangzhou,Fujian 363000,China;2.Fujian Key Laboratory of Granular Computing and Application,Minnan Normal University,Zhangzhou,Fujian 363000,China;3.Graduate School,Saint Paul University,Tuguegarao City,Cagayan Province 3500,Philippines)Abstract:Traditional tennis training faces challenges in quickly quantifying training effects,and image analysis technology based on deep learning networks faces issues such as hardware performance and speed efficiency.This paper proposes a structure reparameterization strategy,which builds an intelligent analysis system based on an encoder-decoder framework,and uses deep learning technology to achieve tennis image processing and video tracking,improving the accuracy and speed of tennis trajectory recognition.The strategy provides coaches and players in tennis training and competition with accurate data analysis reference.Key words:tennis sport;artificial intelligence;computer vision;deep learning;assisted training随着人们生活质量的提高和对运动健康的重视，网球作为一项受欢迎的运动项目逐渐受到关注.现代科技在体育运动发展中运用广泛，随着人工智能和影像分析技术的发展，研究者探索将这些技术应用于网球训练和竞赛协训中.现代网球运动起源于19世纪末期的英国，称为草地网球，是一项在草地上进行的户外运动.1859年，英国毛顿小镇举办了第一场室外的网球比赛，1868年，英国莱姆霍斯特举办了第一场正式的草地网球比赛1.20世纪初，网球开始在全球传播，成为一项受欢迎的体育运动2.如今，网球已经成为国际奥委会认可收稿日期：2023-04-18基金项目：福建省自然科学基金项目(2020J01821)作者简介：巫文佳(1980)，男，福建漳浦人，副教授.巫文佳，等：网球影像智能化协助训练与竞赛分析第2期的正式比赛项目之一，网球运动中最具影响力的比赛是四大满贯锦标赛，分别是澳大利亚公开赛、法国网球公开赛、温布尔顿网球锦标赛和美国网球公开赛3.现在，网球已经成为一项世界性的运动，得到广泛地普及和推广.它不仅是一项竞技运动，也是一项健康的休闲活动，被越来越多的人所喜爱和参与.高校开设网球运动课程对个人和社会都具有重要意义4.在个人层面，网球运动可以提高大球员身体素质、锻炼反应能力、增强耐力和协调性，培养球员的自信心和团队精神；在社会层面，网球运动可以促进社交和交流，增强人际关系和团队合作能力，同时也可以推动体育事业的发展和促进社会和谐.然而，传统训练方式教练难以全面掌握学员的技术水平和动作规范，训练效果难以量化和评估等.同时，在网球竞赛中裁判员的主观判断和误判等.这些问题影响了网球运动的普及和发展.现代科技在体育运动发展中运用广泛,为各项体育项目的发展提供了科学的理论和技术支撑5.近年来，随着人工智能和影像分析技术的发展，越来越多的工作者开始探索将这些技术应用于网球训练和竞赛协训中.网球影像智能竞赛协训系统是一种新型的训练方式，通过分析运动员的网球动作，提供个性化的训练方案，帮助运动员提高技术水平和竞技能力；同时，通过分析比赛过程中的影像数据，提供客观的裁判判定结果，提高比赛公正性和公信力.因此，基于人工智能和影像分析技术的网球影像智能训练与竞赛协训系统具有重要意义和应用价值6.1 网球影像分析国内外工作现状在网球影像分析技术方面，国内外研究者主要集中在使用计算机视觉和图像处理技术来实现网球影像的分析和识别，视频跟踪技术在体育比赛分析中的应用引起关注，并应用于网球等体育项目，使用基于深度学习的方法从比赛视频中提取大量数据进行分析6.在网球比赛中，深度学习物体跟踪方法可以准确地捕捉网球的位置和轨迹.这些数据对于运动员和教练非常重要，因为它们为分析运动员的表现提供了强有力的基础，通过分析比赛中球或球员的位置可以获得重要信息7.这些数据可以用于优化训练方法或分析对手，在职业网球运动员和教练中至关重要.网球相对场地而言是很小的目标.小目标的识别8、检测9和跟踪10是一个较难的课题，有一些学者针对这个课题开展了很好的分析和应用11-12.使用卷积神经网络（CNN）从网球比赛视频中获取信息已经成为小目标跟踪的工作重点，取得了令人满意的表现10.VGG13是一种经典的CNN，在计算机视觉领域取得了显著的成功.构建基于VGG结构模型上有许多创新，如GoogLeNet14和InceptionNet15采用了多分支架构.ResNet16提出了残差模块来解决深度神经网络中的梯度爆炸和梯度消失等问题.Huang等17提出了TrackNet，使用单一分支VGG网络作为特征提取器从热图中获取球的位置信息.Voeikov等提出了TTnet，展示了VGG风格的编码器在几乎所有指标上具有更好的性能，同时具有更短的推断时间.同时提供了时间和空间数据，并且这种数据关联策略显著提高了跟踪性能.然而，在实际应用中，深度学习网络需要考虑性能和效率，包括推断效率、训练效率和数据效率.要实现这些目标，需要考虑两个主要方面：网络结构和数据规模.网球跟踪网络的部署仍面临着几个挑战.当前基于CNN的网络通常利用神经架构搜索，需要大量的人力或处理能力才能产生性能更高的ConvNets.特别地，以速度为代价来提高性能使得将跟踪网络部署到移动和边缘设备变得困难.此外，网球场、摄像机位置、天气和其他环境条件等各种因素会影响视频，使得模型难以泛化.为了解决这些问题，提出了一种基于基于剪枝VGG的重参化网络，用于从网球比赛视频中跟踪网球.采用结构重参化策略，并基于编码器-解码器架构有机地改进.同时，引入网络剪枝方法，以减少不必要的卷积层和通道.在不增加网络大小的前提下，结构重新参数化可以赋予网络残差连接的特性.1212023年闽南师范大学学报（自然科学版）2 网球影像智能化内容本节基于人工智能和影像分析技术，设计并实现一种网球影像智能竞赛协训系统，网球影像智能化协助训练与竞赛体系，如图1所示，包括以下三个方面：1）设计网球运动的重参化深度学习图像处理网络，输入网球视频帧图像，送入经过修剪的基于VGG的编解码器模型中提取特征，经过重参化卷积训练模块和重参化预测模块得到热图，使用高斯分布来表示网球图像的直径，使用霍夫梯度方法在黑白二进制热图上找到网球的位置.2）分析重参化深度学习图像处理技术网络技术结果，得到动员的网球击球的姿势、身体动作等特征，通过使用重参化深度学习技术，不仅可以提高实时性和准确度，还可以节省计算和存储资源.3）探究视频跟踪技术在网球竞赛协作训练中的应用.使用视频跟踪技术来实时跟踪球员的身体姿态、球的运动轨迹等，从而给出针对性的训练建议和指导.此外，还可以通过视频跟踪技术来记录比赛场上的演示和精彩瞬间，以便于后续的分析和应用.图1 网球影像智能化协助训练与竞赛体系Fig.1 Intelligent tennis video assistance training and competition system122巫文佳，等：网球影像智能化协助训练与竞赛分析第2期图2 红土数据集训练100个epochs的结果Fig.2 Results of training the red clay dataset for 100 epochs创新点是基于深度学习的影像智能化辅助网球训练竞赛进行分析和探索，将人工智能与网球运动实践相结合，实现训练目标，提高学员能力，并以实践案例为基础进行比较分析，评价训练效果和提出改进建议.这将有助于训练的创新，促进球员成长成才，为实现优质网球人才培养做出贡献.网球影像智能化重参化轨迹预测的深度学习结构，如图1上部分所示.首先，将网球比赛视频帧送入经过修剪的基于VGG风格的编解码器模型中.从帧中提取特征，然后通过一系列上采样和反卷积操作将其转换为热图.基于VGG-16和反卷积网络，使用修剪方法来减少冗余层和通道.其次，在训练和测试时间设计了一个多分支网络和一个普通网络.在训练时，在每个层中添加由11卷积层和恒等层组成的残差连接，以形成多分支块.训练后，引入重新参数化将多分支块转换为卷积层.11卷积层和恒等层将等效于具有33内核的卷积层.转换通过卷积加法完成.最后，在获得热图后，使用高斯分布来表示网球图像的直径.使用霍夫梯度方法在黑白二进制热图上找到网球的位置.3 重参化网球跟踪实验及结果为了验证重参化网球跟踪系统，实验测试在装备有NVIDIA GeForce RTX 3080显卡的设备上进行，并使用TrackNet中的网球数据集17，该数据集来自多个赛季的单打比赛的比赛视频.总共有36 962帧应用于网球的目标检测和跟踪，这些帧被分成了81个完整的比赛片段，从发球到得分.所有视频的分辨率为1 280 F/S720 F/S，帧速率为30 F/S.每个帧在标签文件中都有以下五个属性：FrameName、VisibilityClass、TrajectoryPattern、网球在像素坐标中的坐标X和Y.为了增加模型的鲁棒性（模型在面对数据噪声、异常数据或者未知数据时，能够仍然保持其预测能力和预测准确度的能力，是评估模型质量的重要指标之一），数据集中的帧会在每个训练会话中随机选择不同的帧来形成训练集.更多的实现细节将在相应的部分中呈现.如图2所示，在红土数据集上进行训练，与没有残差连接的模型相比，具有残差连接的模型在其他场地的测试准确性更加稳定，特别是在草地上.可以看出，具有快捷连接的模型在准确性方面比没有快捷连接的模型更稳定.在网球比赛中，不同的球场不仅颜色不同，而且球场与球之间的对比度也不同.实验结果表明，添加残差连接可以改善生成热图的效果.因为残差的添加提高了模型在不同球场上的性能.1232023年闽南师范大学学报（自然科学版）图3 网球运动跟踪结果Fig.3 Tennis movement tracking results4 重参化深度学习图像处理技术在网球训练和竞赛协作训练中的应用视频跟踪技术是计算机视觉领域中重要方向之一.它是根据目标在视频序列中的运动状态，完成对目标在视频中的跟踪，具有广阔的前景.探讨视频跟踪技术在网球训练和竞赛协作训练的应用.4.1 在网球训练中的应用在网球训练中，重参化深度学习图像处理技术可以用于回放分析、球员身体姿态分析和球拍姿态分析等方面.回放分析是指通过分析球员在击球时各个部位的姿态变化，来评估球员的技术水平和找出其技术上的不足之处.可以使用卷积神经网络对球员的关键帧图像进行特征提取，再利用循环神经网络对时序特征进行建模，最终输出球员的身体姿态和球拍姿态等信息.另外，重参化深度学习图像处理技术还可以应用在球员比赛中的自动识别和跟踪，能够实时准确地跟踪竞技场中活动的球员，并对其各个部位的姿态、运动轨迹和移动速度等信息进行精确的分析，帮助球员及时发现问题，改善训练方式和提高技术水平.重参化深度学习图像处理技术在网球训练中的应用场景十分广泛.它可以应用在球员技术评估方面.教练员可以通过拍摄球员比赛的视频，将球员的拍球、步伐等关键技术指标提取出来，进行量化评估，从而更好地针对球员的技术问题进行针对性的指导和训练.深度学习图像处理技术也可以用于球场环境的识别和分析.通过处理球场上设备的图像信息以及球员自身的数据，系统可以较为准确地感知当前球场的环境和球员的状态，为教练员提供更加精准的数据支持和反馈.总的来说，利用重参化深度学习图像处理技术可以较为全面地提升网球训练的效果和球员的交互体验，在未来得到更广泛的应用.4.2 在网球竞赛及协作训练的应用视频跟踪技术应用于网球竞赛协作训练智能系统中的多个方面.从技术角度来看，视频跟踪技术可以用于球员动作的实时检测、球拍的轨迹跟踪、球拍的挥击速度的检测等方面.这些方面共同构成一个完图3展示了不同球场上的跟踪结果.在训练了2 000帧之后，模型在各种球场上表现良好.并且当球被球员或网带挡住时，模型也能够判断球的位置.124巫文佳，等：网球影像智能化协助训练与竞赛分析第2期整的网球动作追踪系统，可以实时监测和分析球员的动作，并提供针对性的训练指导和建议.在网球竞赛协作训练中，视频跟踪技术可以应用到多方面的场景中.可以用来分析选手的球技表现，通过对球员击球姿势、运动轨迹、动作流畅度等方面的分析，对选手进行评估.还可以通过对比选手之间的表现，帮助教练更好地定位选手的弱点，针对性地制定训练计划来提高选手的技能水平.此外，视频跟踪技术还可以用于评估选手的比赛状态，如取得了多少个积分、打出了多少个制胜球等等.这些数据可以帮助教练更好地指导选手参与竞赛训练.重参化深度学习技术在网球训练和竞赛协作训练中具有广泛的应用前景，通过分析运动员的网球动作，提供个性化训练方案，帮助运动员提高技术水平和竞技能力，如动作分析、技术评估、动作纠正等.可以为球员提供准确的技术分析和训练指导，帮助他们更快地成长和提高竞技水平.也能够帮助教练更好地分析选手的技术和状态，在制定训练计划和参与比赛时具有重要的指导作用.5 结论提出一种基于重参化的网络，应用于网球视频中的网球跟踪和分析.解决传统网球训练和基于深度学习网络的图像分析技术面临着硬件性能和速度效率等问题，使教练更好地分析选手的技术和状态，给球员提供准确的技术分析和训练指导.下一步工作将对重参化网络进行优化和轻量化以更好提高实时性，并应用于网球训练和竞赛系统.参考文献：1 翟常卿,储志东.网球赛事品牌标志研究:基于符号学理论视角J.南京体育学院学报,2022,21(10):41-47.2 陈正.职业网球赛制变化和奥运会网球设项变化对我国的影响及应对措施J.武汉体育学院学报,2012,46(1):91-94.3 王凯军,董取胜.四大网球公开赛的文化解析J.西安体育学院学报,2008,25(6):27-30.4 董取胜,柯勇.多维系统反馈法对网球专项学生战术创新能力提升的教学实验研究J.武汉体育学院学报,2018(1):82-86.5 何海华.VR技术在高校网球教学中的可行性分析J.教育科学,2022(12):38-40.6 KAMBLE P R K,AVINASH G,KISHOR M.Ball tracking in sports:A surveyJ.Artificial Intelligence Review:An International Science and Engineering Journal,2019,52(3):58-69.7 JIANG K,IZADI M,LIU Z,et al.Deep learning application in broadcast tennis video annotationC.International Conference onEngineering of Complex Computer Systems(ICECCS).Singapore:IEEE,2020:53-62.8 LI F,GAO D,YANG Y,et al.Small target deep convolution recognition algorithm based on improved YOLOv4J.International Journal of Machine Learning and Cybernetics,2022,14(2):387-394.9 WU Z,LI S,CHEN C,et al.Salient object detection via dynamic scale routingJ.IEEE Transactions on Image Processing,2022(31):6649-6663.10 ARTHI R,AHUJA J,KUMAR S,et al.Small object detection from video and classification using deep learningJ.Lecture Notes in Electrical Engineering,2021,708:101-107.11 GENAEV M A,KOMYSHEV E G,SHISHKINA O D,et al.Classification of fruit flies by gender in images using smartphones and the YOLOv4-Tiny neural networkJ.Mathematics,2022,10:1-19.12 XIAO H,LI Y,XIU Y,et al.Development of outdoor swimmers detection system with small object detection method based on deep learningJ.Multimedia Systems,2023,29(1):323-332.13 SIMONYAN K,ZISSERMAN A.Very deep convolutional networks for large-scale image recognitionJ/OL.(2015-04-10)2023-04-18.Computer Science,2014:1-11.https:/doi.org/10.48550/arXir.1409.1556.14 SZEGEDY C,LIU W,JIA Y,et al.Going deeper with convolutionsC/IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Boston:IEEE,2015:1-9.15 SZEGEDY C,IOFFE S,VANHOUCKE V,et al.Inception-v4,Inception-ResNet and the Impact of residual connections onlearningJ/OL.(2018-08-03)2023-04-18.ArXiv E-prints.Boston:IEEE,2016:1-15.https:/arxiv.org/pdf/1602.07261.pdf.16 SHAFIQ M,GU Z.Deep residual learning for image recognition:A surveyJ.Applied Sciences,2022,12:8972.17 HUANG Y C,LIAO I N,CHEN C H,et al.TrackNet:A deep learning network for tracking high-speed and tiny objects insports applicationsC/IEEE International Conference on Advanced Video and Signal Based Sureillance(AVSS).Taipei:IEEE,2019:1-12.责任编辑:姜生有125