基于YOLOv5的智能果蔬识别与成熟果蔬计数系统的设计与实现.pdf

现代计算机Modern Computer第 29 卷 第 13 期2023 年 7 月 10 日基于YOLOv5的智能果蔬识别与成熟果蔬计数系统的设计与实现郑春红*（青岛职业技术学院信息学院，青岛 266000）摘要：智慧农业是中国农业现代化的重要方向。将人工智能与农业生产相结合，设计并实现智能果蔬识别与计数系统，该系统基于YOLOv5训练模型，支持石榴、圣女果、草莓等五种果蔬类别与成熟数量的识别。该系统主要包括Android移动端应用和Web服务端应用。用户可以通过Android移动端摄像头设备实时采集农场中果蔬照片并进行种类与成熟度数量检测，管理员可以通过Web服务端应用实时监控用户数量、果蔬种类、每类果蔬检测数据等信息，辅助决策，方便统筹管理。关键词：智慧农业；YOLOv5；果蔬识别文章编号:10071423（2023）13010005DOI:10.3969/j.issn.10071423.2023.13.018收稿日期：20230327修稿日期：20230424基金项目：青岛职业技术学院校级重点课题（2022ZD05）作者简介：*通信作者：郑春红（1987），女，山东青岛人，硕士研究生，讲师，研究方向为人工智能，Email：0引言2022年中央一号文件及“十四五”规划中均明确提出要发展智慧农业，推进数字乡村建设，农业农村部在“十四五”全国农业农村信息化发展规划中也将发展智慧农业作为农业农村信息化发展的首要任务。智慧农业成为中国农业现代化的重要方向。传统农业的生产、管理过于粗犷化，不能更好地满足社会发展的需要。发展基于人工智能的智能农业，对农业转型发展具有促进作用，可将粗放型农业转向精细化农业。近年来，智慧农业逐渐成为中国农业产业发展的主要方向，相关政策、技术、创新合作体系、社会参与度等方面得到不断完善与提高。物联网、大数据、信息通信技术、人工智能等数字化技术越来越多地融合到农业生产和经营管理中1。2021年，潘梅2综述了图像识别技术在商品交易智能化、果蔬采摘机器人、智能冰箱中的应用，这些应用大多处于研究和试验阶段，仅小范围应用于实际生产生活，要实现普及性应用还需更深入的研究。2022年，李宝生3设计了一种智能农业温室大棚远程监控系统。该系统实现了基于 WSN 和 IP Camera 的温室环境信息实时采集，利用物联网技术和智能控制技术建立了基于 B/S 模式的远程监控平台，并设计了智能手机的移动客户端应用程序。2022年，张璐璐等4针对超市人工分类识别效率低和早期识别系统成功率不高等问题，为提高果蔬识别系统的准确性，提出了一种基于人工干预微调的经典神经网络深度学习的识别分类方法，使用 Halcon 与 c#联合，融合输出果蔬的识别结果及重量等信息以及实现自助打码，解决袋装识别称重问题。2022年，赵海越5设计了一款基于 YOLOv3M 算法的智能果蔬计价设备，用于提高果蔬结算效率。通过测试，设备对于果蔬识别的正确率为96.33%,交易时间为4 s左右，与传统人工结算相比，设备有效地提高了结算效率。2022年，黄梓宸6综述了日本设施农业采收机器人的研究应用进展，分析了基于农机 100郑春红：基于YOLOv5的智能果蔬识别与成熟果蔬计数系统的设计与实现第13期农艺结合的茄科（番茄、茄子、青椒）、葫芦科（黄瓜、瓜类水果）、芦笋和草莓等10种设施农业采收机器人的采收技术，分析了农业采收机器人面临的科学问题及解决方案，总结了未来发展趋势及对中国的启发，为加速推进中国设施农业采收机器人的智慧化、智能化和产业化发展提供借鉴参考。综上所述，目前国内果蔬识别应用主要是超市中的智能果蔬计价，还有家电领域的智能冰箱，在日本，将果蔬识别应用于智慧农场的农业采收机器人，为加速推进中国设施农业采收机器人的智慧化、智能化和产业化发展提供了借鉴。目前，国内在智慧农业方面，主要是利用物联网技术和智能控制技术建立远程监控平台实现温室大棚远程监控，而对于成熟果实的识别、监控系统，以及智能采摘等技术还亟待深入研究。基于YOLOv5的智能果蔬识别与成熟果蔬计数系统，将人工智能技术应用于农业生产、销售等领域，可以有效降本增效。在果蔬成熟采摘季，通过人工智能视觉技术监测果实的数量和生长位置，对统筹安排采摘工作有积极意义。通过人工智能视觉技术可以有效计算果实数量与精确位置，对于未来结合机械臂实现无人采摘有重要的意义。1系统架构基于物联网架构，以 Web 服务器和数据库服务器作为云服务器，设计基于 B/S（Browser/Server）架构的智能果蔬识别与计数系统。该系统的任务是通过摄像头采集果蔬图片信息，系统为用户提供识别果蔬类别、计算成熟果蔬数量等功能。用户可以通过 PC 端和Android 端访问这些服务。通过摄像头实时采集果蔬图片，上传到服务器端，服务器端对图片进行分析，将分析后的结果（果蔬类别、成熟数量等）记录到数据库，并返回到客户端。这样可以实现通过摄像头监控农场中果蔬的生长状态，为果蔬生长监控提供智能化管理，同时也为后续研究机械臂智能采摘提供重要基础。智能果蔬识别与计数系统主要包括四层架构，分为应用层、Web服务层、数据库和AI服务层。系统架构如图1所示。Android移动端Web浏览器识别检测移动端采集的果蔬图片识别检测Web浏览器端上传的果蔬图片MySQL数据库基于YOLOv5训练的果蔬检测模型应用层应用层WebWeb服务层服务层数据库数据库AIAI服务层服务层图 1智能果蔬识别与计数系统架构应用层包括Android移动端和Web浏览器端应用。Android移动端可以通过摄像头采集果蔬照片并提交给服务器端进行识别，识别后的结果在Android移动端展示。Web浏览器端可以获取摄像头采集的果蔬照片并进行识别，识别后的结果在Web端通过网页的形式展示。Web 服务层主要是处理 Android 移动端和Web浏览器端应用的请求，并将请求中的图片发送给AI服务层进行识别，然后将识别的类别和最小矩形坐标等结果绘制到图片上，再返回给Android移动端和Web浏览器端进行展示。数据库用于存放Web服务层获得的果蔬类别和数量等信息，便于后期的统计和管理。AI 服务层是在服务器上，基于 YOLOv5 算法，自行训练的果蔬目标检测模型。将训练好的权重下载并部署到Web服务器，供Web服务层调用。2基于YOLOv5训练果蔬检测模型2 2.1 1数据采集数据采集到农场、蔬菜大棚等实际农业环境中采集果蔬照片，本系统共采集五类果蔬照片，包括石榴、草莓、圣女果、板栗、橙子。每类果蔬照片采集数量不少于100张。101现代计算机2023年2 2.2 2数据标注数据标注通过 Labelimg 数据标注软件对采集到的每张图片进行标注，对采集到的果蔬图片中成熟的果蔬进行标注。2 2.3 3数据预处理数据预处理对标注好的数据进行预处理，生成用于模型训练的训练集和用于测试的测试集。2 2.4 4模型训练与评估模型训练与评估YOLOv5是一种比YOLOv4更快、更准确的实时目标检测模型，YOLOv5在检测和定位任务上表现出色，可以较好地处理比较大的数据集，用于实时应用中。它采用了一种精简的架构，能够提供较高的实时检测精度，并且可以构建灵活的模型，从而使模型能够更加精确地检测和定位物体。本系统在服务器部署YOLOv5算法，将预处理的数据集作为输入，进行模型的训练和评估。3智能果蔬识别与计数系统智能果蔬识别与计数系统包括Android移动端应用和Web服务端应用。本系统功能结构如图2所示。3 3.1 1AndroidAndroid移动端应用的设计与实现移动端应用的设计与实现Android 移动端应用需要用户登录后使用，登录界面如图 3所示。用户输入用户名和密码后进入应用界面，如图 4所示。在应用界面可以选择拍照或选取相册中的图片进行识别，如图5所示。该系统可以识别五类果蔬的种类，并能对成熟的果蔬数量进行分类计数。通过Android移动端摄像头拍照或选取相册照片后，点击“识别”按钮，即可通过网络将图片发送到服务端进行识别，服务端将识别后的果蔬类别、成熟数量结果返回到Android客户端进行展示，用户即可看到识别结果。识别结果如图6所示。智能果蔬识别与计数系统Android移动端应用登录Web端应用设置采集照片识别上传照片识别登录实时监控数据用户管理检测结果管理采集照片识别添加用户删除用户修改用户信息查询识别结果统计识别结果图 2系统功能结构图 3登录界面图 4应用界面图 5拍照或相册选取 102郑春红：基于YOLOv5的智能果蔬识别与成熟果蔬计数系统的设计与实现第13期3 3.2 2WebWeb服务端应用的设计与实现服务端应用的设计与实现Web服务端应用需要用户登录后使用，登录界面如图 7所示。管理员输入用户名和密码后，进入管理界面的实时数据监控页面，实时显示当前用户数量、管理果蔬种类、每类果蔬成熟数量，如图8所示。图 7Web服务端登录界面图 8Web服务端数据监控界面管理员在服务端也可以通过上传图片进行果蔬类别和成熟数量的检测，如图9所示。管理员可以对用户、检测记录进行管理，如图10所示。图9Web服务端果树类别与成熟数量计数界面图 10Web服务端管理界面4应用前景智慧农业是中国农业现代化的重要方向，也是农业发展的必然趋势。基于YOLOv5的智能果蔬识别与成熟果蔬计数系统的设计与实现将人工智能与农业相结合，探索农业数字化的可行性。我国发展智慧农业需因地制宜，结合产业发展现状与国外先进经验。本系统的设计与实现，借鉴农业发达国家发展智慧农业的经验，图 6五类果蔬类别识别与成熟数量计数结果 103现代计算机2023年结合地方农业生产实际，可对接农企实现个性化的数据采集、模型定制，提高农场运营效率。本系统可以应用于果蔬等农作物的成熟度智能监控和计数，能为农场管理人员、种植人员提供智能化管理，辅助决策。5结语本文基于目前国内外在智慧农业方向的研究现状，分析国内在成熟果实的识别、监控系统、智能采摘等技术研究的迫切性，设计并实现了基于YOLOv5的果蔬识别与成熟果蔬计数系统。通过到农业环境采集五类果蔬图片，并进行成熟果蔬标注、数据预处理，基于YOLOv5训练果蔬识别与成熟果蔬计数模型，该模型已完成服务器端部署并进行了测试，测试结果表明该系统训练的模型精度（Precision）可达96.99%，召回率（Recall）可达96.5%，模型对采集到的图片进行果蔬类别及成熟度数量计算的时间小于2 s。该系统主要分为Android移动端应用与Web服务端应用。用户可以通过Android移动端摄像头设备实时采集农场中果蔬照片并进行种类与成熟度数量检测，管理员可以通过Web服务端应用实时监控用户数量、果蔬种类、每类果蔬检测数据等信息，辅助决策；管理员也可以对用户、识别检测结果进行管理。未来，该系统将进一步扩大需求，结合机械臂等智能硬件设备实现识别检测后的智能采摘。参考文献：1 张绮雯，林青宁，毛世平.国际视角下中国智慧农业发展的路径探寻 J.世界农业，2022（8）：1726.2 潘梅.图像识别在果蔬分类与识别中的应用 J.现代农业科技，2021（16）：257259.3 李宝生.一种基于物联网技术的智慧农业大棚远程监控系统设计 J.中国科技信息，2022（15）：9596.4 张璐璐，何文雪.基于深度学习的果蔬自动识别称重系统 J.自动化与仪器仪表，2022（6）：103107.5 赵海越.基于YOLOv3M的智能果蔬计价设备的设计与实现 J.电子技术与软件工程，2022（8）：209212.6 黄梓宸.日本设施农业采收机器人研究应用进展及对中国的启示 J.智慧农业，2022，4（2）：135149.Design and implementation of intelligent fruit and vegetable recognitionand mature fruit and vegetable counting system based on YOLOv5Zheng Chunhong*（School of Information,Qingdao Vocational and Technical College,Qingdao 266000,China）Abstract:Intelligent agriculture is an important direction of agricultural modernization in China.This paper combines artificial intelligence with agricultural production to design and implement an intelligent fruit and vegetable recognition and countingsystem.The system is based on the YOLOv5 training model and supports the recognition of five fruit and vegetable categories andmature quantities,such as pomegranate,virgin fruit,and strawberry.The system mainly includes Android mobile applications andWeb server applications.Users can collect photos of fruits and vegetables on the farm in real time through Android mobile cameradevices and detect the type and maturity quantity.Administrators can monitor information such as the number of users,types offruits and vegetables,and detection data of each type of fruits and vegetables in real time through Web server applications to assistdecision-making and facilitate overall management.Keywords:intelligent agriculture;YOLOv5;fruit and vegetable recognition 104