基于数字孪生的马铃薯收获期损伤监测系统.pdf

第 22卷 第 9期2023年 9月Vol.22 No.9Sept.2023软 件 导 刊Software Guide基于数字孪生的马铃薯收获期损伤监测系统郭博健，魏霖静（甘肃农业大学 信息科学技术学院，甘肃 兰州 730070）摘要：马铃薯是我国重要的主粮之一，在收获期因机械损伤造成的损失是影响其高质量收获的重要原因。目前，相关损伤机理已存在较多研究，但直接应用于收获场景的监测研究却鲜有提及。为此，通过制作马铃薯块茎的高仿真模型，采用传感器与数字孪生技术构建一个收获期马铃薯块茎的数字孪生系统。通过实时采集、传输马铃薯块茎模型在真实收获过程中承受的外力数据，以三维数字孪生体与数据看板形式直观地呈现马铃薯承受的冲击与碰撞，并进行表皮破损预警。研究表明，所提方法可应用于调整协助收获机械，减少各类磕碰冲击对马铃薯造成的损失，为农产品在收获阶段的损伤监测与数据采集提供了解决思路，为数字孪生技术在农产品收获阶段的应用提供了一个可行方案。关键词：数字孪生；马铃薯收获期；损伤；监测系统；Unity3dDOI：10.11907/rjdk.222320开 放 科 学（资 源 服 务）标 识 码（OSID）：中图分类号：TP277 文献标识码：A文章编号：1672-7800（2023）009-0103-05Digital Twin Based Monitoring Systems for Potato Damage During Harvest StageGUO Bojian，WEI Linjing（School of Information Science and Technology，Gansu Agricultural University，Lanzhou 730070，China）Abstract：Potato is one of the most important staple crops in China.The loss caused by mechanical damage during the harvest period is an important factor affecting its high-quality harvest.At present，there have been many studies on the relevant damage mechanism，but the monitoring research directly applied to harvest scenes is rarely mentioned.To this end，a digital twinning system of potato tuber in harvest period was constructed by making a high simulation model of potato tuber and using sensor and digital twinning technology.Through real-time collection and transmission of the external force data borne by the potato tuber model in the real harvest process，the impact and collision borne by the potato are visually displayed in the form of 3D digital twins and data boards，and the skin damage warning is carried out.The research shows that the proposed method can be applied to adjust and assist the harvesting machinery，reduce the potato loss caused by various bumps and impacts，provide a solution for the damage monitoring and data collection of agricultural products in the harvest stage，and provide a feasible scheme for the application of digital twinning technology in the harvest stage of agricultural products.Key Words：digital twin；potato harvest stage；damage；monitoring system；Unity3d0 引言马铃薯在全世界有150多个国家和地区种植，是人们传统的主粮作物之一。2015年马铃薯主粮化发展战略研讨会将其确定为继水稻、小麦和玉米后的世界第四大主粮1。截至2020年，我国马铃薯种植面积约为5.6106 hm2，鲜薯产量约1.231011 kg，面积和产量均占全球1/4左右，已经成为马铃薯生产第一大国2。马铃薯种植成功与否，收获是重要环节之一。按照工序步骤，可将马铃薯收获简单划分为收获、运输、清洗、分级4个动作，每个动作环节均存在对马铃薯块茎造成潜在损伤的因素。现阶段，国内马铃薯机械化收获普遍以分段式收获为主，多利用拖曳式或自走式的中小型马铃薯挖掘机，会收稿日期：2022-11-08基金项目：科技部国家外专项目（G2022042005L）；甘肃省重点研发计划项目（23YFWA0013）；甘肃省高等学校产业支撑项目（2023CYZC-54）；兰州市人才创新创业项目（2021-RC-47）作者简介：郭博健（1982-），男，CCF会员，甘肃农业大学信息科学技术学院硕士研究生，研究方向为数字化转型与创新、农业信息化；魏霖静（1977-），女，博士，甘肃农业大学信息科学技术学院教授，研究方向为智能计算、农业信息化、生物信息学。本文通讯作者：魏霖静。2023 年软 件 导 刊使马铃薯在薯土分离装置筛面上反复跳跃抛送、翻滚和前后移动，导致其表面发生碰撞、摩擦、剐蹭；运输环节马铃薯从运输臂转移到车辆，存在跌落冲击的情况，运输过程中也会发生碰撞挤压；在清洗与机械化分级过程中，块茎会长时间与机械装置发生摩擦、碰撞等情况。综上可知，一旦发生上述情况会造成马铃薯块茎表皮破损、组织褐斑等问题，既影响了马铃薯的外观、品质、储存和销售，也在一定程度上制约了马铃薯机械化收获技术的快速发展。以机械化收获环节为例，农业部2015年发布的 马铃薯收获机质量评价技术规范 中，就对收获机伤薯率和破皮率提出明确要求。具体的，性能指标总体要求马铃薯挖掘机不超过1.5%，马铃薯联合收获机不超过2%；破皮率性能指标总体要求马铃薯挖掘机不超过2%，马铃薯联合收获机不超过3%3。然而，在实际收获时收获机械的操作人员通常根据前年的数据与每个操作人员的直觉设置机器，因此每台机器的生产率高度依赖操作人员的经验，并未完全实现标准化，只有当收获机械操作员事先接受过制造商提供的培训，且具备丰富的实际操作经验，并正确调试机器后，才有可能达到所需的低损伤高质量标准。因此，传统方式存在两个明显的缺陷：面对复杂的农业环境时，对操作人员综合素质的要求较高，例如土壤环境、马铃薯品种发生变化时难以在短时间内确定机器调试参数；收获环境变化与收获机械调试间的关系往往仅根据经验进行估算，缺乏实时数据反馈和以量化为导向的标准化指导，难以进行数据分析与总结，导致目前尚未形成标准化的操作规范。1 相关研究近年来，马铃薯在收获环节的机械损伤问题已引起了国内学者的关注。张建华4通过分析马铃薯在不同速率下的挤压损伤，提出马铃薯损伤分级方法。邓伟刚5基于粘弹性碰撞理论和冲量定理分析，提出马铃薯碰撞接触力的量化计算模型。郭世鲁等6建立马铃薯机械碰撞模型并进行有限元分析，获得了马铃薯在不同碰撞高度的极限应力值。与此同时，国外学者也进行了诸多实践研究。Zahara等7通过田间试验统计、分析4个品种马铃薯在收获过程中5个不同环节的损伤情况。Bentini等8采用球状仪器模拟马铃薯收获过程中的碰撞冲击信号，以研究马铃薯收获机前进速度与土壤含水率对马铃薯造成损伤的影响。Alves等9设计了一种基于物联网的原型，以感知包括土壤湿度、空气温度和湿度在内的田间条件，并将其进行可视化展示。Skobelev等10提出一种开发植物数字孪生体方法，通过一个模仿马铃薯生命周期的计算机模型与环境条件（天气、土壤等）数据、活体植物进行同步。综上所述，目前围绕马铃薯收获期块茎损伤的问题，相关研究仍存在以下不足：围绕马铃薯收获期块茎损伤的研究主要以室内试验为主，主要集中在对不同品种、工况环境下的马铃薯力学进行特性试验，分析马铃薯碰撞特性与其损伤之间的关系，仅仅是真实环境到实验环境的单向模拟映射，研究成果主要侧重于分析损伤机理，无法直接应用于收获场景；智慧农业不断发展，提出了更实时、精确的监测数据采集与分析要求，农业收获现场信息采集技术虽然已较为成熟，但在马铃薯块茎收获阶段鲜有涉及，进一步的精细化农业需要掌握不同品种、机械、土壤条件下马铃薯块茎收获现场的实时数据，甚至能实时分析外力是否突破损伤临界值；传统农业应用以表格、电子看板为代表的二维数据和图形展示方式不够直观，展示信息量过少，无法直观展示作物实时情况，难以呈现出后续可能拓展的数据收集与判断系统成果。2 数字孪生系统设计数字孪生的本质是制造一个现实物体的数字等价物，即数字孪生体，它反映了现实物体在虚拟空间中的行为和状态。数字孪生体的一个关键特征是它与物理实体实时相连，这种动态性质包括对现实生活中物体当前行为的表示，也可能包括对未来行为的模拟预测及对历史行为的总结，还可能具备反过来影响物理实体的能力。以上连接通常使用传感器的实时数据所建立。为此，本文提出一种基于数字孪生设计思维的马铃薯块茎数字孪生系统，用于处理与优化收获期块茎损伤问题。首先，制作真实马铃薯的仿真模型，在实际收获场景中该模型紧挨马铃薯种植在田地里，收获过程中收获机拾起该模型将与马铃薯经历相同的过程，使用各种传感器实时传输、显示真实状况，尤其重点监测受到的冲击和打击。然后，将相应的数据实时传输至数字孪生体进行可视化展示，在收获过程中根据当前条件调整机器参数设置，并及时进行后期总结分析，减少在收获过程中因机械冲击对马铃薯块茎造成的损伤。在技术路线层面，建立高保真塑料块茎模型和物联网传感器、控制器完成监测和数据传输的方法，确定现有物联网传感器技术水平具备实现收获期间马铃薯块茎受力被实时监测的条件，并在实时数据驱动下建立高保真模型的数字孪生体同步运行模式，然后研究该数字孪生体的三维可视化和实时数据同步的关键实现技术，最后设计并开发整套马铃薯块茎收获阶段的数字孪生系统。马铃薯块茎数字孪生系统框架包括物理空间和数字空间两部分，如图1所示。其中，物理空间主要为马铃薯块茎和物联网传感设备。为了适应在真实场景中的应用要求，通过制作重量、大小与真实马铃薯块茎相当的高保真塑料模型，并在表面配备物联网传感系统，通过压力传感器检测碰撞冲击力度，将相应的受力位置、外力值等动态感知数据通过无线系统进行传输。数字空间主要构成马 104第 9 期郭博健，魏霖静：基于数字孪生的马铃薯收获期损伤监测系统铃薯块茎高保真模型的数字孪生体，高保真模型通过接收实时压力动态感知数据，为该数字孪生体提供数据支撑，并在三维数字孪生体中直观呈现结果。因此，数字模型马铃薯代表了真实马铃薯在收获期间的数字孪生体，数字空间还能比较分析实时映射的受力数据与前期研究的马铃薯表皮破损受力平均值，设定临界值弹窗预警等操作，将结果传递至农民或机械操作人员，指导其调整收获机械。3 物理空间模型构建与实现3.1高仿真模型构建高仿真塑料模型以甘肃地区广泛种植的陇薯 7号为蓝本制作。陇薯7号马铃薯块茎的三轴尺寸、质量和薯形指数服从正态分布，经测算均值为长度 63.5 mm，宽度50.87 mm，高度73.4 mm，重量130.9 g，薯形指数1.43，形状接近于球形11。模型以硬塑料为材质，按照均值尺寸制作，模型中空可放置传感器供电系统与电池。如图 2所示，马铃薯在收获过程中块茎受到的磕碰、挤压可能来自各个角度。为了尽可能在真实场景中准确、全面获取相关受力数据，选用柔性薄膜压力传感器包覆塑料马铃薯块茎模型。柔性薄膜压力传感器主体材料为PET（聚对苯二甲酸乙二酯），因此很容易做成几毫米到几十厘米的各种形状，具有体积小、厚度小、重量轻、可塑性好等优点。从柔性传感器受力方向可分为一维单点压力传感器、二维单点压力传感器、三维单点压力传感器、三维多点压力传感器，各传感器间的差异如表1所示。由表1可知，为了真实反应马铃薯块茎在收获场景下的受力情况，多点阵分布式柔性薄膜压力传感器最优（见图3）。本文为了保证传感器感应点尺寸大小适中，密度较高，设置每个感应点尺寸为3.33.3 mm。优化数据采集系统后，将单点量程范围控制在 0.011.5 kg，测试响应时间小于20 ms，以及时、精确反馈被测物的受压力情况。在传送压力数值时，同步传送受压位置的坐标数值，将传感器包裹模型表面后再包覆柔性塑料来进一步固定、保护内部线路与压力传感器。3.2高仿真模型制作如图 4 所示，模型的无线传输系统由柔性压力传感器、传感器控制器（压力感应模块，数据收集）、传输模块3部分组成。其中，柔性薄膜压力传感器包裹模型；压力采集板压阻随压力发生变化，测量的外力值、区域位置坐标信息通过电流信号传输至传感器控制器；控制器ADC模块采集传感器数据，对数据进行模数转换。经过转换的数据以无线信号形式发送至指定服务器或显示终端。基于马铃薯模型的高保真要求，小型单片机将是传感器控制器的最佳选择。行业内使用的控制器硬件规格主要包括arduino单片机、STM32单片机、atmegaU4系列单片机、大型 9DAQ 数据采集卡等。为提高系统的通用性，要求压力传感器控制器应具备微型、精密、运行速度快、实时传输等特点，因此选用 STM32F103C8T6 单片机为传感器控制器核心。由于并未要求系统图形显示数据，本文以STM32最小系统进行设计，通过可充电电池进行供电。在数据传输环节，使用蓝牙或Wi-Fi信号系统实时传输数据。其中，蓝牙模块以HC05为代表，该模块从主一体配置简单，但存在传输距离较近的缺陷；Wi-Fi模块配置相对复杂，但传输距离远信号稳定。综合比较后，本文选取乐鑫ESP8266EX模块作为无线传输模块与STM32单片机物理空间数字空间 马铃薯块茎高保真模型压力传感器无线传输系统数字孪生体动态数据 Fig.1Digital twin framework design图1数字孪生框架设计Fig.2Force situation of flexible sensor图2柔性传感器受力情况Fig.3Multi-point array distributed flexible thin film pressure sensor图3多点阵分布式柔性薄膜压力传感器Table 1Classification of force situation of flexible sensors表1柔性传感器受力情况分类类型一维单点压力传感器二维单点压力传感器三维单点压力传感器三维多点压力传感器受力情况只能反应来自图2坐标轴Z方向的力能反应来自图2X轴方向上和Z轴方向上的力，很容易感受线性方向的带有力的大小的滑动能感受在图2X轴和Y轴方向的，以及Z轴方向的力。类似于带压力的单点触摸屏能感受多点在图2X轴和Y轴方向，以及Z轴方向的力。类似于带压力的多点触摸屏 1052023 年软 件 导 刊适配。ESP8266EX模块价格便宜，适合测试与广泛普及，内置低功耗32位CPU，具备强大的片上处理和存储能力，高度片内集成，包括天线开关balun、电源管理转换器，因此仅需极少的外部电路。同时，ESP8266EX兼具低功率特性，包含激活模式、睡眠模式、深度模睡眠式 3 种运行模式，通过电源管理技术与逻辑系统调低非必需功能功率，可实现在预定情况发生后实现睡眠模式与工作模式之间的转换。马铃薯收获季节期间田间普遍温度适宜，可忽略低温对电池供电的影响。以供电采用2 500 mAh容量普通可充电锂电池为例，其输出电压为3.75 V，经过DC-DC降压电路转换到 3.3 V 工作电压。ESP8266EX 平均工作电流为80 mA，功率约为 264 mW，理论工作时间可以达到 31 h。综合考虑传感器及无线传输系统等硬件部分的电量消耗，实际应用中每天一充电即可，完全可以满足在真实收获场景中的应用需求。同时，ESP8266EX具备完整且自成体系的Wi-Fi网络功能，拥有极其丰富的语言开发环境、板卡支持和开发者社群，有利于系统优化更新，既能独立应用也可作为从机搭载其他主机 MCU运行，户外极限测试连接距离可达到300 m。通过串口连接STM32F103与ESP8266，将ESP8266配置为服务端，通过Wi-Fi传送数据。4 数字孪生体构建与实现4.1技术路线物理马铃薯模型到数字马铃薯的映射是实现马铃薯收获期块茎三维可视化监测的核心。这种数字孪生的架构设计模式可视为数字孪生的监控器模式，即数字孪生体连续或在给定时间间隔内监测物理对象。因此，必须建立真实的映射过程对马铃薯模型建模，并准确反应外皮受力位置。如图5所示，该三维数字孪生体及其可视化监测，依据三维建模场景监测行为评估的流程分为虚拟马铃薯三维静态模型、实时监测受力数据可视化、马铃薯块茎损伤状态评估3个部分。静态模型主要包括几何维度的三维模型，用于提供模型、数据等支持。其中，实时受力监测数据是数字孪生体的核心，基于数据交互技术实时获取模型遭遇碰撞挤压跌落等状态的受力大小、承受位置等数据，并将其存入数据库进行实时传输，作为数字孪生体状态展示更新的驱动数据源。损伤状态评估由实时数据、临界值指标数据构成，其中临界值指标数据N0相对固定，依照前期研究成果以可能造成马铃薯表皮损伤的外力值进行定义，例如马铃薯表皮最大穿刺力平均值为5.14 N，表皮断裂最大拉力范围为4.28.1 N，表皮断裂最大剪切力范围为17.228.7 N等5。本文模型中，N0取可能造成马铃薯块茎损伤的最小值4.2 N，后期应用中当马铃薯品种发生较大变化，也可经过穿刺、抗拉强度实验设定不同品种马铃薯块茎的损伤临界数值。在充分考虑系统成熟度、可拓展性等因素后，本文选用 Unity3D 平台开发数字孪生体，基于三维造型软件 3ds Max绘制马铃薯高保真模型，并将其导出至 Unity3D中制作数字孪生体，如图6所示。考虑到在真实收获场景下电脑设备性能较低，为确保流畅运行与后续系统优化工作，在3ds Max建模时对模型进行减面处理。同时，实现物理空间与数字空间的交互需要构建行为逻辑模型，赋予数字孪生体受力和预警的判定标准和具体动作。通过传感器及Wi-Fi通讯实时采集的数据，将其以表格形式存储在服务器中，并关联模型绑定的临界值变量，以数据驱动孪生体触发所预设的行为动作。为使数字空间更直观，系统还构建了由文本显示框、三维模型和临界值预警弹窗构成的数据可视化面板，可根据需要独立打开或关闭，也可集中显示在其他显示器，以数据形式实时服务器电阻信号采集电路A/D转换电路传感器控制器（单片机）无线传输模块柔性压力传感器阵列马铃薯块茎模型数字孪生体 Fig.4Wireless transmission system design图4无线传输系统设计3D Max建模渲染马铃薯模型形状尺寸重量马铃薯模型薯型指数马铃薯高保真模型数字孪生体添加相应材质球模型构建位置贴图数据看板Unity 3D场景搭建行为评估关联变量数据通道预设预警动作临界值判断逻辑模型三维建模场景监测行为评估Fig.5Digital space modeling process of potato model图5马铃薯模型数字空间建模流程 106第 9 期郭博健，魏霖静：基于数字孪生的马铃薯收获期损伤监测系统呈现模型受到冲击挤压碰撞的位置与受力强度。4.2数据传输实时采集、传输、处理数据技术是实现数字空间正常运行的基础12。实时数据既是数字孪生系统的重要组成部分，又是驱动马铃薯块茎数字孪生体监测损伤的动力源泉。本文系统物理空间数据仅包含碰撞点位置信息、外力值和时间信息，数据量较小，因此向数字空间传输可采用以下两条传输路径：通过 Arduino IDE 将相关数据由ESP8266EX传输至Unity3D，并在数字空间中进行呈现；通过Wi-Fi将数据传输至数据库，再转送至Unity3D。在传感器调测阶段，本文采用前者；在整体开发完成后基于数据存储与分析因素，采用后者的数据传输方式。数据库可采用基于 MySQL 关系型的本地数据库，在Unity3D 中利用 C#语言编写脚本调用相关 SQL 语句与MySQL数据库交互连接，利用便携式电脑作为本地服务器。在真实收获场景下，块茎碰撞摩擦的数据由传感器采集后通过ESP8266以Wi-Fi形式发送至本地数据库Sensor，存储于表Harvest_info（马铃薯收获损伤信息表，记录真实收获场景中马铃薯模型的受力情况数据）、表Warning（预警数据表，记录超过预设阈值的预警信息）中。同时，通过本地数据库与Unity3D平台的接口完成物理空间数据到数字空间数据的实时通信，便于操作人员随时掌握监测结果。本地服务器可置于收获机械上或田间，在后期数据量增加、需要多终端多形式呈现结果和引入机器学习方法进行作物损害分布判断时，可将本地服务器升级为云服务器。5 结语由于马铃薯收获机械的设置高度依赖操作人员的经验，尚未形成规范的量化指标，因此每年在收获阶段由机械损伤造成的损失巨大。本文通过对被种植在田地里的马铃薯块茎模型进行数字孪生，通过覆盖在模型外的多点阵分布式柔性薄膜压力传感器收集马铃薯承受的冲击与碰撞，以呈现其真实受力情况。同时，比较无线传输的实时数据与预设损伤临界数值，进行外皮破损预警，根据当前情况调整机器设置，以避免此类原因对马铃薯造成损失。可预见到，分析所采集到的马铃薯碰撞数据与地域、土壤湿度、马铃薯品种、收获机械类型等数据，能为马铃薯收获保护与规范量化收获机械提供数据指导。此外，损伤监测数字孪生系统为数字孪生技术在农产品收获阶段的应用提供了一个可行性方案，能有效促进新技术可持续应用于农业领域。然而，系统现阶段仍受到设备、技术等方面限制，尚未实现数字空间对物理空间的自动反馈与作用。同时，由于物理模型影响了数字孪生体的保真度，后续将进一步完善两次建模精度与压力传感器精度判断，并研究如何结合智能算法分析、预测、优化作物损害。参考文献：1 YANG Y L，GUO Y Z，SUN J M.Present status and future prospect for potato industry in China J.Journal of Agricultural Science and Technology，2017，19（1）：29-36.杨雅伦，郭燕枝，孙君茂.我国马铃薯产业发展现状及未来展望 J.中国农业科技导报，2017，19（1）：29-36.2 LUO Q Y，GAO M J，LIU Z X，et al.Analysis of the development situation of Chinas potato industry in 2020 C/Proceedings of the 2021 China Potato Conference，2021：15-18.罗其友，高明杰，刘子萱，等.2020年中国马铃薯产业发展形势分析C/2021年中国马铃薯大会，2021：15-18.3 Ministry of Agriculture.NY/T 648-2015.Technical specifications of quality evaluation for potato harvesters S.Beijing：Standards Press of China，2003.农业部.NY/T 648-2015.马铃薯收获机质量评价技术规范 S.北京：中国标准出版社，2003.4 ZHANG J H.Assessment technology and genetic a nalysis for tuber browning in potatoD.Beijing：Chinese Academy of Agricultural Sciences，2008.张建华.马铃薯块茎损伤评价技术研究及损伤变色性状的遗传分析D.北京：中国农业科学院，2008.5 DENG W G.Study on the collision damage characteristics and peel friction damage mechanisms of potato tubers D.Hohhot：Inner Mongolia Agricultural University，2021.邓伟刚.马铃薯块茎碰撞损伤特性与表皮摩擦损伤机理研究 D.呼和浩特：内蒙古农业大学，2021.6 GUO S L，WANG W B，LI M，et al.Finite element analysis and experimental study of potato machinery collision J.Machine Design and Manufacturing Engineering，2016，45（1）：56-59.郭世鲁，王卫兵，李猛，等.马铃薯机械碰撞有限元分析与试验研究J.机械设计与制造工程，2016，45（1）：56-59.7 ZAHARA M，MCLEAN J，WRIGHT D.Mechanical injury to potato tubers during harvesting J.California Agriculture，1961，15（8）：4-5.8 BENTINI M，CAPRARA C，MARTELLI R.Harvesting damage to potato tubers by analysis of impacts recorded with an instrumented sphereJ.Biosystems Engineering，2006（94）：75-85.9 ALVES R G，SOUZA G，MAIA R F，et al.A digital twin for smart farming C/Proceedings of the 2019 IEEE Global Humanitarian Technology Conference，2019：1-4.10 SKOBELEV P O，MAYOROV I V，SIMONOVA E V，et al.Development of models and methods for creating a digital twin of plant within the cyber-physical system for precision farming managementC/Proceedings of the 2020 International Conference on Soft Computing and Measurement，2022：27-29.11 FENG B.Study on physical characteristics and damage of potato tubers at harvesting stage D.Lanzhou：Gansu Agricultural University，2018.冯斌.收获期马铃薯块茎物理特性及损伤机理研究 D.兰州：甘肃农业大学，2018.12 BROOK R.Impact testing of potato harvesting equipment J.American Potato Journal，1993（70）：243-255.（责任编辑：刘嘉文）Fig.6Potato model digital twin图6马铃薯模型数字孪生体 107