YOLOv5在网球识别中的应用.pdf

-115-CHINA SCIENCE AND TECHNOLOGY INFORMATION Oct.2023中国科技信息 2023 年第 19 期三星推荐网球是一项源自法国的兼具优美性和竞争性的球类运动，也是奥林匹克运动会正式比赛项目之一，备受全球粉丝的关注。此外，还有多项重要的职业赛事，如澳大利亚公开赛、法国公开赛、温布尔登网球锦标赛和美国网球公开赛等。这些赛事在推动网球运动的发展和世界范围的普及方面发挥着重要作用。在中国，网球运动也备受关注和支持，自 20 世纪 80 年代开始，中国就开始培养网球人才，并在国际赛场上取得了不俗的成绩。随着中国经济的快速发展和人民生活水平的提高，越来越多的人开始关注和参与网球运动。官方组织也加大了对于体育事业的支持力度，为网球运动的发展提供了有力保障。未来，随着人们对于健康生活方式的追求和体育产业的不断发展，网球运动在中国仍然具有广阔的发展前景。同时，随着人工智能技术和数据分析技术的不断进步，网球运动需要更加智能化和数字化，为运动员和球迷提供更加便捷、高效和个性化的服务。网球场地整体为长方形，标准尺寸是 36 560mm（长）18 280mm（宽），比赛用网球由橡胶化合物制成，直径为 6.356.67cm 的无外接缝线的黄色球体。网球比赛由两名或四名选手进行，选手使用网球拍在场地上击打网球，目标是使网球在对方场地内落地。在网球场内，散落的网球需要及时清理，以保证场地的安全和整洁。然而，手动拾取网球需要消耗大量的时间和精力。如果交由运动员拾取，会增加本就因比赛或训练疲惫不堪的运动员更加疲倦，影响他们的比赛或训练效果和体验感。如果交由场馆人员拾取，则会极大增加场地运营成本，影响场馆的经济效益。为了解决这一问题，一些场地采用了机械式捡球装置或半自动化的捡球机器。然而，这些方法需要专门的人员完成捡球，并且花费时间较长且效率较低。因此，设计一款智能捡球小车可以有效地节省捡球时间，提高效率，减轻场地运营的人力成本。网球识别是智能捡球小车的核心部分之一，是实现自动捡球功能的关键。通过使用摄像头对周围环境进行监测和分析，智能捡球小车可以快速准确地识别出网球的位置和状态，并通过定位与路径规划系统实现对网球的定位、追踪和捡起等功能。现有的网球识别方法大致分为两种，第一种是基于机器视觉方法的网球识别，主要基于网球的颜色和形态特征，采用模版匹配、边缘检测、色彩空间学等方式进行网球检测，算法简单易于实现；第二种是随着深度学习技术的发展，国内外网球识别的研究逐渐使用深度学习的技术对网球进行检测，主要有卷积神经网络（CNN）、循环神经网络（RNN）、YOLO 等算法，再复杂场景下表现出较高的适用性。网球识行业曲线开放度创新度生态度互交度持续度可替代度影响力可实现度行业关联度真实度YOLOv5 在网球识别中的应用王裕莞 钟 鹏 郑桂彬 万翌锴 林俊江 邢 赫王裕莞1 钟 鹏1 郑桂彬1 万翌锴2 林俊江2 邢赫21.广州商学院现代信息产业学院2.广州商学院信息技术与工程学院王裕莞，助教；通信作者：邢赫，讲师。资助项目：广东省科技创新战略专项（“攀登计划”专项）课题（pdjh2022b0595）中国科技信息 2023 年第 19 期CHINA SCIENCE AND TECHNOLOGY INFORMATION Oct.2023-116-三星推荐别系统的准确性对于智能捡球小车的性能和效率具有至关重要的作用。为了实现这一目标，本文基于 YOLOv5 使用卷积神经网络（CNN）对图像进行分类和识别，以实现对网球的准确识别。智能捡球小车的应用不仅可以减轻运动员和场馆人员的负担，提高场地运营效率和经济效益，促进更多人接触网球并提升他们的体验感。未来，智能捡球小车还可以应用于其他需要捡取物品的场景中，如高尔夫球场、乒乓球场等，为球类运动带来更多便利和舒适。随着智能捡球小车技术的不断发展和创新，还有着更加广泛的应用前景。网球识别方法研究目前现有的网球收集器在现实场景中网球收集作业时，单个网球识别的准确率较好，多个网球同画面情况下由于球体之间的相互重叠会导致识别精确度降低，并且容易混淆不同网球的信息。大部分的网球网都是在室外环境中，光线的强弱和方向因素会影响网球的颜色和亮度，从而使得网球的特征无法被准确地提取和识别。此外，灰尘和污垢等因素也会在网球表面形成一层薄膜，使得网球的颜色和纹理发生变化，从而影响网球的识别准确率。为了应对这些问题，可以采用一些技术手段来提高网球识别的准确性。本文首先尝试了利用 HSV 色彩空间理论对图像行调节和优化，准确地提取出网球的颜色特征，避免光照和阴影等因素对网球颜色的影响。随后尝试了更加高级的机器学习算法和深度学习模型来进行网球识别，以提高其准确性和模型性能。色彩轮廓识别法国际网球联合会（I T F 即InternationalTennisFederation）规定场上用球外部需要由纺织材料统一包裹，颜色为黄色，接缝处需无缝线痕迹。早期的网球为白色，之后为了网球在电视转播中更容易被观众看到改用黄色网球，这种颜色特征可以被用于机器视觉对网球目标的追踪。在机器视觉中，使用颜色分割技术来提取网球的颜色特征，从而实现对网球目标的跟踪和识别。电视屏幕上展示的颜色根据颜色发光定理，由光的三原色红色（Red）、绿色（Green）和蓝色（Blue）叠加显色，几乎可以显示出人类视觉能感知的所有的颜色，即 RGB 色彩模式。RGB 色彩空间亮度是三色（RGB）亮度的总和，亮度如果变化三个维度的颜色也随之变化，缺少直接的表达方式。为了解决这一问题，A.R.Smith 在 1978 年建立HSV 色彩空间模型，由色调（Hue）、饱和度（Saturation）和亮度（Value）三维颜色空间构成的一个可见光子集，如图 1 所示。HSV 色彩模型中，色调（H）由所处光谱中由绕V 轴的旋转角度（0 360）表示，代表亮度（V）的 V轴底部为黑色（0.0）顺延向上顶部为白色（1.0）。饱和度（S）代表颜色接近光谱色的程度，通常取值范围为 0 100%，值越大代表饱和度越高颜色越深，值越小意味着颜色越浅，0 值表示纯白色。HSV 色彩空间六角锥体模型更适用于分割特定颜色的物体，也比RGB色彩更易于追踪特定颜色物体。网球识别图像的颜色特征较好，可以利用网球颜色鲜明的特点，将图像由 RGB 颜色转化为 HSV，从而将网球与背景图相分离，转换公式如下：OpenCV 是一个起源于英特尔实验室的开源计算机视觉库，支持多种文件格式和输入设备。可在 Windows、Linux、MacOS 等操作系统上跨平台进行视觉处理、分析和存储。拥有包括人脸识别、目标检测、运动估计、3D 重建等视觉功能，被广泛应用于医疗影像，智能交通，安防监控等领域。在树莓派上搭载 OpenCV 实现网球识别，可以提高识别精度，提高识别效率，更便捷化开发，同时也可以降低成本和能耗。首先利用搭载在树莓派上的摄像头获得图像，然后对获取的图像进行预处理以方便之后的特征提取。然后使用 OpenCV 提供的分类算法，对提取的特征进行分类和识别，以确定图像中是否存在网球，如果检测到网球，则通过树莓派控制设备进行操作。以上步骤需要循环执行，以实现实时监测和识别网球。图 2-1 为在网球场所拍摄的视频中的一张截图，在此基础上使用 OpenCV 的 cvtColor函数将其转化成 HSV 颜色空间后得到的图 2-2。在这张转换后的图片中，我们可以清晰地看到网球的黄色颜色特征，这为后续的网球识别和目标跟踪提供了重要的基础。通过将RGB 图像转换为 HSV 图像，并在 HSV 色彩空间对图像进行处理，可以更加准确地提取网球的颜色特征，从而实现对网球目标的追踪和识别。通过 HSV 颜色空间的操作准确得对标准赛事用网球黄色进行图像分割，观察表示色度的 H 通道、表示饱和度的S 通道和表示亮度的 V 通道的值来确定目标对象网球的取值范围，用来作为分割的接线。并利用 inRange 函数，将网球与背景进行分割和二值化，如图 3-1 所示。经过阈处理和 kernel 为 3 的高斯滤波之后的网球轮廓近似于圆形，使用 OpenCV 中的 findContours 寻找轮廓函数并将其轮廓检索模式设置为 EXTERNAL，找到外轮廓而忽视网球内部的轮廓。然后，使用 drawContours 函数在原图上进行标注，将找到的网球轮廓用矩形或圆形进行包围，并生成效果图 1 HSV 色彩空间六角锥体模型-117-CHINA SCIENCE AND TECHNOLOGY INFORMATION Oct.2023中国科技信息 2023 年第 19 期三星推荐干扰物体，从而影响识别的准确性。此外，设定网球的半径范围也难以解决远方的网球被识别为噪点或被误判为近似网球物体等问题。具体而言，当网球距离摄像头较远时，其大小会变得很小，可能会被当做噪点剔除；或者当场景中存在其他近似网球大小的物体时，可能会被误判为网球，从而影响识别的准确性。基于 YOLOV5 的网球识别虽然基于色彩空间的图像处理方式可以将图像中的网球与其他物体分割出来，但是这种方法也存在一些缺陷。例如，在场景中存在多个网球时，该方法很难将所有网球都识别出来，从而导致识别的准确性下降。此外，由于光照和阴影等因素的影响，该方法可能会将其他物体误判为网球，从而导致识别错误。对于捡球小车这种自动化机器人而言，机器需要花费更长的时间来识别和追踪每一个网球，从而影响其工作效率。在捡取网球时可能会误判其他物体为网球，从而造成不必要的机械损伤或浪费时间和能源等资源。OpenCV 是一种通用计算机视觉库，提供了许多基本的图像处理函数和算法，但需要手动实现目标检测算法和调整参数。YOLOv5是一种基于深度学习的目标检测模型，可以自动地学习图像特征，在处理大规模数据集时可以获得更好的性能和准确性。YOLOv5 通过卷积神经网络对图像进行特征提取，并使用anchor box 来预测物体的位置和类别信息，优点是轻量级模型、速度快、准确率高、适用范围广，可以处理部署在移动设备上复杂场景下的网球识别问题。首先利用 Python 中的 OpenCV 库对标注好的网球图片进行读取，读入的图片进行预处理，包括缩放、归一化、裁剪等操作，以符合模型的输入要求。接下来使用训练的YOLOv5 模型对预处理后的图片进行目标检测，获得每个目标的位置和类别信息。如果模型判断某个目标为网球的概率大于 0.5，则将该目标标记为网球，在图像上绘制识别结果并显示带有识别结果的图像。使用 YOLOv5 实现网球识别的流程图，如图 4。在识别网球的过程中，首先对输入的图像进行多层卷积和池化操作，得到一系列特征图。然后，在特征图上使用anchor box 来预测物体的位置和类别信息。具体来说，将每个 anchor box 看作一个独立的检测器，对每个 anchor box分别进行预测。对于每个 anchor box，YOLOv5 会输出一个置信度分数和一个包含物体位置和类别信息的向量。置信度分数表示该 anchor box 中是否包含物体，向量则包含物体的位置和类别信息。在预测过程中，根据置信度分数对所有图 3-2 色彩轮廓识别法识别效果图图 3-1 二值化图像图 2-2 HSV 色彩图片图 2-1 RGB 色彩图片图 4 YOLOv5 实现网球识别的流程图Y图 3-2 来直观地展示网球的位置和形状信息。基于网球独特的颜色轮廓识别方法，可以通过提取网球颜色特征并在 HSV 色彩空间中对图像进行处理来实现对网球目标的识别和追踪。在光线状况良好且场上网球数量不多的情况下，该方法可以实现较高的识别准确率。然而，当场上存在多个相同色系物体时，该方法无法准确区分出网球和中国科技信息 2023 年第 19 期CHINA SCIENCE AND TECHNOLOGY INFORMATION Oct.2023-118-三星推荐anchor box进行筛选，并使用非极大值抑制（Non-Maximum Suppression，NMS）算法来消除重叠的检测结果。YOLOv5 主要结构，如图 5 所示。首先是 Conv（卷积层），卷积操作是深度学习中最基本的操作之一，通过应用滤波器来提取图像特征，负责对输入数据进行卷积操作，并通过使用不同的核大小和数量来捕捉不同尺度的特征。C3（CSPDarknet53 块）层是 YOLOv5 特有的结构，它基于CSP（Cross Stage Partial）连接，目的是提高网络的效率和准确性。Upsample（上采样层）用于将输入特征图的空间维度扩大，通常与跳跃连接结合使用，以恢复较低级别的特征细节。在 YOLOv5 中，上采样层通过插值方法将特征图的高度和宽度放大两倍。Concat（连接层）用于将两个具有相同高度和宽度的特征图按通道方向进行连接。跳跃连接中的特征图通过连接层合并，以使高级和低级特征信息结合。Detect（目标检测层）是YOLOv5模型的最后一层，使用 anchor（锚点）进行预测框解码、应用非极大值抑制来消除重叠的检测结果，并输出每个预测框对应的类别概率和位置信息。图 5 YOLOv5 主要结构实 验 环 境 搭 在 Windows10 操 作 系 统 中，搭 配 了GeForce RTX 3060 显卡、cuda11.5、Python3.11 和cudnn8.3.3，使用 YOLOv5 搭建了卷积神经网络模型用来识别网球。网球识别数据集来自 Tennis Computer Vision Project 公开数据集，该数据集包含了 3 769 张图片，其中包括网球场上的各种场景和不同角度下的网球图片。这些图片涵盖了不同光照条件、天气、球场背景等多种情况，从而能够更全面地反映实际应用场景中的网球识别问题。该数据集中的每张图片都经过了精细的标注，标记出了每个网球的位置、大小和形状等关键信息，20%的数据用测试集，80%的数据用作训练集。采用了 Mosaic、随机旋转、平移缩放与 HSV 增强技术训练 500 个 Epochs，通过这些数据增强技术来扩充数据集进一步增加数据的多样性与泛化能力提高模型的鲁棒性。结果与分析表 1 准确率对比方法准确率耗时/张色彩轮廓识别（HSV 色彩空间）82.1%16ms基于 YOLOv5 网球识别96.0%10ms相对于基于色彩轮廓的网球识别方法，基于 YOLOv5的网球识别模型在准确率和效率方面都有了显著地提升。具体而言，基于 YOL Ov5 的网球识别模型相对于色彩轮廓识别法，准确率提升了 14%，从 82.1%提高到 96.0%；同时，每张图片的识别耗时从 16ms 降低到 10ms，效率提升了 1.6倍。表 1 总结了基于色彩轮廓识别法和基于 YOLOv5 的网球识别模型在准确率和效率方面的比较。这表明，相对于基图 6 基于 YOLOV5 的网球识别效果图图 7 混淆矩阵-119-CHINA SCIENCE AND TECHNOLOGY INFORMATION Oct.2023中国科技信息 2023 年第 19 期三星推荐图 7 为 tennis-ball*background 混淆矩阵图，展示了模型对于不同类别的分类效果，矩阵中对角线上的 0.96 表示模型正确分类网球的准确率（accuracy）为 96%。准确率只能反映模型在预测正确的样本上的表现，而无法反映模型在预测错误的样本上的表现以及模型的稳定性、可解释性等因素。绘制 F1 曲线图、信度阈值-准确率曲线图、信度阈值-召回率曲线图和精确率-召回率的关系图评估网球识别模型的性能。F1 分数是精确率（precision）和召回率（recall）的调和平均数，介于 0 到 1 之间，数值越接近 1 说明模型的表现越好。置信度阈值指的是样本被判定为某种类别的概率阈值，F1 曲线反映的是 F1 分数与置信度阈值（x 轴）之间的关系，从图 8-1 可以看到 F1 曲线顶部接近 1 且与数轴围成面积接近与 1，值区间为 0.4770.950。说明在训练数据集能够很好地查全且查准。图 8-2 为 Precision-Confidence Curve（PCC）图，横坐标为置信度（Confidence），纵坐标为精确率（Precision）。图中曲线呈左且向上弯曲，置信度较低时精度较高，代表着能够在保持高召回率的同时保证较低的误报率，对目标物识别准确率较高，说明模型的性能较好且稳定性高。图 8-3 为 Recall-Confidence Curve（RCC）图，显示了在不同置信度阈值（Confidence）下，召回率（Recall）的变化情况。图中曲线呈现向上向右弯曲，置信水平高的情况下召回率也高。这意味着检测模型不仅仅能够在检测目标是准确地预测目标存在，并且图中曲线斜率陡峭说明模型能够在过滤掉低置信度的预测框之后保持较高的召回率。图 8-4 为 Precision-Recall Curve（PR Curve）图，横轴为精准率纵轴为召回率。图中曲线呈现向右向上弯曲（接近 1，1），Mean Average Precision 面积接近与 1。意味着模型能够同时保持较高的精准率和召回率。基于 YOLOv5 的网球识别模型具有更高的检测精度和更快的检测速度，在小目标检测方面表现更加出色。此外，该模型经过大量的数据训练和调优，可以准确地识别出网球，YOLOv5相对于之前的版本，模型体积更小，模型参数更少，因此更容易在移动设备等资源受限的场景中应用。结语本文介绍了一种基于卷积神经网络的网球识别模型，采用了 YOLOv5 算法，具有多层卷积和池化层，通过学习大量的网球图片样本，自动提取出网球的特征并应用于分类器的训练。相比于基于 HSV 的色彩轮廓模型，该模型的识别准确率有了显著提高，达到了 96%。此外，该模型还可以准确区分网球和颜色轮廓相近的乒乓球，并具有很好的光照和背景适应性，能够满足不同光线和场景下的网球识别需求。由于 YOLOv5 算法的轻量级特性，该模型特别适合部署在移动设备上，并且具有快速、准确的识别速度，非常适合用于网球捡球小车的实际工作需求。未来，可以探索更高效的算法和硬件平台，以实现更快速和准确的网球检测和识别。让网球捡球小车智能设备为网球训练和比赛提供更好的服务和体验。还可以进一步优化该模型的性能，对算法进行一些修改和优化，将其应用于多物体检测领域，为更广泛的体育应用场景带来更多的可能性。图 8-4 PRCurve 图图 8-1 F1 曲线图图 8-2 PCC 图图 8-3 RCC 图于色彩轮廓的网球识别方法，基于 YOLOv5 的网球识别模型在识别准确性和效率方面都具有更大的优势。其中，基于YOLOv5 的网球识别模型采用了更先进的深度学习算法和目标检测技术，能够更好地提取图像特征和识别目标，从而实现了更高的识别准确率。同时，基于 YOLOv5 的网球识别模型采用了 GPU 加速等技术，能够在短时间内快速地识别和追踪场上的多个网球目标，从而实现了更高的效率和响应速度，基于 YOLOV5 的网球识别效果图如图 6 所示。