基于TransUnet的田间杂草分割研究.pdf

第 15 期2023 年 8 月无线互联科技Wireless Internet TechnologyNo.15August,2023基金项目:吉林省科技发展计划项目;项目名称:基于数据挖掘技术的全基因组选择方法研发及云计算平台体系构建;项目编号:YDZJ202201ZYTS692。作者简介:高皓章(1995),男,甘肃天水人,硕士研究生;研究方向:计算机视觉。通信作者:唐友(1979),男,黑龙江龙江人,教授,博士;研究方向:生物信息学,农业信息化。基于 TransUnet 的田间杂草分割研究高皓章1,2,唐 友1,2,辛 鹏1,朱国东3(1.吉林化工学院,吉林 吉林 132022;2.吉林农业科技学院,吉林 吉林 132101;3.一汽东机工减振器有限公司,吉林 长春 130001)摘要:农业生产是人类生存的基础,而农作物的生长过程中总是受到杂草的影响,造成农作物的减产,因此实现田间杂草的智能分割具有重要意义。文章采用 TransUnet 算法模型进行田间杂草分割,旨在提高分割的准确性和效率。TransUnet 是一种新型的深度学习网络。该模型的训练使用了公开数据集,并结合迁移学习的思想对模型进行了优化。本实验通过测试和评估,发现经过迁移学习的TransUnet 模型在田间杂草的分割任务中表现突出,其像素准确率可以达到 97%以上。此外,文章还对模型进行了可视化分析,证实了模型的实用价值和应用前景。综上所述,TransUnet 模型对于杂草的分割有积极效果。希望本研究成果可以为计算机视觉技术在农业行业的应用提供更多的思路和借鉴。关键词:杂草分割;语义分割;机器视觉;深度学习中图分类号:TP391.41 文献标志码:A 0 引言 农业生产是国人关注的民生问题,粮食问题也一直处于国家战略核心地位。大豆作为重要的经济作物,我国每年进口量占据全球总出口量的近六成。大豆生长过程中存在众多因素制约大豆的最终产量,其中杂草的消极影响非常明显,杂草不止争夺豆苗生长过程中所需的土地肥力,也容易滋生病害传染豆苗。因此,在农业生产中,识别出作物与非作物,解决作物生长环境中的杂草是不可避免的重要任务。在传统生产过程中,处理杂草一般是用喷洒农药的方式,但这种方法不仅效率低下,还会造成人力浪费和环境污染。随着计算机技术的不断发展,机器学习和计算机视觉技术得到了广泛的应用。为了实现无污染除草,研究者需要找到理想的作物与杂草图像分割算法,帮助机器人实现自动除草,这对未来农业有重大意义。目前,计算机技术在农业发展中发挥着越来越重要的作用,而图像分割是目前图像处理技术中最理想的方法之一,但是分割算法仍有很大的改进空间。本研究使用大豆田间杂草分割数据集,旨在提高对自然环境下杂草进行识别分割的精度与效率,这将驱动农机装备升级,为杂草的精准识别做出贡献。1 相关研究1.1 深度学习算法 卷积神经网络1在计算机视觉领域中的应用一直是主流方式之一,它的应用范围涵盖了图像分类、目标检测以及语义分割等各种任务。在不同的变体算法模型中也是最常见的基础算法,但是卷积神经网络由于其像素级的运算对计算机的运算负担过大,严重影响着实际应用中的效率和速度,所以研究人员提出了多种优化方案,如减少卷积核数量或者使其与其他算法融合创新等。Version Transformer 的设计基于上下文关系的注意力机制,自 2021 年由 Google 团队提出后2,便受到001第 15 期2023 年 8 月无线互联科技技术应用No.15August,2023研究者的广泛关注。该模型将输入的图像分割成一个个小块,将每个小块看作是单独的向量,经过全连接层的编码及 Transformer 多头注意力机制的处理,使各个小块之间的语义关系不被运算所掩盖3。这种模型设计在各计算机视觉领域的应用效果也得到广泛认可。TransUNet 算法旨在通过融合卷积神经网络和Transformer,弥补 Transformer 在特征处理方面的不足。该算法利用 CNN 提取更加细致的像素细节,并使用 12 个 Transformer 层对 CNN 特征提取模块中获得的特征向量进行长距离上下文建模4,从而关注到全局信息,表现更加卓越。此外,TransUNet 算法采用了 U 形结构,以减少在提取细致像素信息的过程中的损失,并通过加入 Transformer 对空间细节进行补充,从而提高了分割效果。1.2 植物叶片分割研究 在智慧农业中,准确分割植物叶片是植物表型检测工作以及机器人作业规划的关键步骤。为了提高植物叶片分割精度,众多研究者基于叶片的形状、颜色等特征进行分割。Omrani 等5利用 K 均值聚类算法对多种植物叶片进行识别及分割。该算法以聚类中心的特征分布,完成对目标区域的叶片划分,最终将分割结果映射回原图像。最后,他们采用支持向量机对不同植物叶片进行分类检测。Praveen Kumar等6提出了一种基于深度卷积神经网络的植物叶片分割算法。该算法主要运用 DCNN 来提取目标区域中的叶片信息,并通过正交变换,实现对莲座植物叶片的精确分割。在分割过程中,他们还使用了 CMYK颜色空间来进行去噪处理,从而进一步提高对叶片边缘的检测效率7。邹龙等8提出了一种 LU-ReNet模型,结合使用 Unet 和 ResNet 模型结构。该模型保证了植物叶片有高的分割准确度,同时提高了模型的泛化能力9。2 材料和方法2.1 数据集 本文的数据集来源于公开数据集:https:/doi.org/10.15454/JMKP9S,该数据集使用六波段的多光谱相机采集于真实的大豆种植基地,并考虑了多种天气因素的影响。此外,每张图像中叶片的多边形边界都考虑了真实的地形情况,使得数据集中包含各种天然杂草,与本研究的内容和目标高度契合。虽然对该数据集的语义分割挑战并不多,本实验仍确定在此数据集上进行实验,为后续的研究提供基础依据和支持。2.2 实验准备 该数据集中的每张图片基本具有 1 200900 的分辨率。然而,分辨率过高会导致对计算机的运算负担过大。本实验在参数设置时将图片的预处理分辨率设置为 496496。实验环境为两个 4110 处理器和NVIDIA RTX3090 GPU 平台,使用的是 Linux 系统,Pytorch 框架和 Anaconda 环境,学习率设置为 0.002 5,Epoch 设置为 300,Batch Size 设置为 6。2.3 算法说明 TransUNet 算法采用了 CNN 与 Transformer 的融合结构。该算法借鉴了 U 型结构并结合卷积神经网络提取的高分辨率特征信息与 Transformer 编码的全局上下文信息4,实现了图像上采样还原。具体而言,算法采用了 Transformer 作为编码器10。在该步骤中,首先对输入图像进行序列化。若输入图片大小为 HW,图像块大小为 PP,则分割数量为 N=(H W)/(P P)。接着进行跳跃连接,以提取精确的低级细节来提高分割细节。Chen 等11对跳跃连接的数量进行了消融实验,发现添加更多的跳跃连接通常会带来更好的分割性能。TransUNet 的算法结构如图 1所示。2.4 迁移学习 图像分割中,迁移学习能够充分利用已有的训练数据和模型,从而加快模型的训练过程。通过将已有模型的部分或全部参数应用于新的分割任务,可以大大减少模型所需的训练时间和数据量,并且可以提高分割的精度和效果。此外,迁移学习可以在不同领域之间传输知识。例如,将在自然图像领域上训练得到的模型应用于医学图像分割或航空图像分割领域,都能取得明显的效果提升。因此,本实验引入迁移学习,将其他实验的训练权重作为本实验初始化权重。首先,引入迁移学习提升了算法训练速度。其次,使用大数据预训练权重,极大地提高了叶片分割精度。但由于算法结构的不同,直接引用迁移学习存在不适配问题,因此在初始化过程中,实验增加了权重自适应调整,使得迁移学习权重文件适应本算法结构。通101第 15 期2023 年 8 月无线互联科技技术应用No.15August,2023 图 1 TransUNet 算法结构过权重自适应代码,可以更加便捷地实现迁移学习的可替代性,增加实验代码的替代集成化。3 评价指标 本实验采用了多种评价指标来评估该算法在大豆田间杂草数据集上的表现,如平均交并比 mIoU,像素准确率 Accuracy,模型准确率和召回率的加权平均值 F1 Score,召回率 Sensitivity,特异度 Specifity,Dice 相似系数等。mIoU:它是交并比(Intersection over Union,IoU)的平均值,其中交集指的是预测的分割结果和真实标签的交集,而并集则是两者的并集。mIoU 的计算方式就是对图像中每个像素的 IoU 求平均数:mIoU=1/N(x,y)(TP/(TP+FN+FP),其中,TP 表示真 阳 性(True Positive),TN 表 示 真 阴 性(True Negative),FN 表示假阴性(False Negative),FP 表示假阳性(False Positive)。像素准确率 Aaccuracy:即预测正确的像素数量除以总像素数,计算方式为:Aaccuracy=(TP+TN)/(TP+FP+TN+FN)。在 U-Net 模型预测二分类问题中,像素准确率通常需要和其他指标一起考虑,以全面地评估模型预测能力。F1-score 是评估二分类模型精度的一种常用指标,它是模型准确率和召回率的加权平均值。F1-score 值越高,表示模型预测的准确性和召回率都比较高。Sensitivity 用于衡量所有实例中被正确地预测为正类的比例。Specificity 用于衡量负例中被正确预测为负例的比例。Dice 系数是基于集合的相似性度量,计算公式为:Dice=2 TP/(2 TP+FP+FN)。本实验评价指标的记录,如表 1 所示。表 1 算法结果评价指标指标数值mIoU0.816 2Accuracy0.966 5F1 Score0.842 8Sensitivity0.886 7Specifity0.975 5Dice0.842 8 从以上所有的评价指标所示信息可知,由于使用了迁移学习,实验能达到较高性能水平,多种方式也能全面地对实验性能给出合理的评价。4 结语为 解 决 田 间 杂 草 的 分 割 问 题,本 文 利 用Transformer 与卷积神经网络结合算法 TransUNet 在杂草分割数据集上进行实验,验证了该算法在此数据集上的可行性与优越性。从评价指标结果可知,该算法201第 15 期2023 年 8 月无线互联科技技术应用No.15August,2023在此数据集上的表现也非常出色,效果显著,验证了Transformer 与卷积神经网络结合的算法设计思路的可行性,为后期实验的算法设计提供了参考,也为杂草分割研究提供了新的实验方案。对于分割效果来说,目前还有很大的提升空间。具体而言,在边缘精细程度和微小目标识别方面,仍需要进一步优化。本实验的结果并不是杂草分割实验的最终成果,而仅仅是该研究的起始实验。未来的研究将在本实验的基础之上展开,以进一步完善该算法的分割能力。参考文献1周飞燕,金林鹏,董军.卷积神经网络研究综述J.计算机学报,2017(6):1229-1251.2田永林,王雨桐,王建功,等.视觉 Transformer 研究的关键问题:现状及展望J.自动化学报,2022(4):957-979.3何伟,刘佳欢.英汉语小句间逻辑语义关系及表征方式对比研究J.北京科技大学学报(社会科学版),2019(2):1-17.4王媛媛,董芳,尚丽娜,等.基于改进 TransUnet 网络的血管内超声图像边界提取方法研究J.中国生物医学工程学报,2023(1):41-50.5OMRANI E,KHOSHNEVISAN B,SHAMSHIRBAND S,et al.Potential of radial basis function-based support vector regression for apple disease detection J.Measurement,2014(55):512-519.6PRAVEENKUMAR J,DOMNIC S.Rosette plant segmentation with leaf count using orthogonal transform and deep convolutional neural network J.Machine Vision and Applications,2020(31):1-2.7刘阳歆.植物叶片图像分割算法研究D.桂林:广西师范大学,2022.8邹龙,吕惠,宋然.LU-ReNet 植物叶片分割与计数模型J.农业机械学报,2022(1):253-260.9孙俊,谭文军,毛罕平,等.基于改进卷积神经网络的多种植物叶片病害识别J.农业工程学报,2017(19):209-215.10LI X,CHEN H,QI X,et al.H-DenseUNet:hybrid densely connected UNet for liver and tumor segmentation from CT volumes J.IEEE transactions on medical imaging,2018(12):2663-2674.11CHEN J,LU Y,YU Q,et al.Transunet:Transformers make strong encoders for medical image segmentationEB/OL.(2021-02-08)2023-08-21.https:/arxiv.org/abs/2102.04306.(编辑 李春燕)Research on field weed segmentation based on TransUnetGao Haozhang1 2 Tang You1 2 Xin Peng1 Zhu Guodong3 1.Jilin Institute of Chemical Technology Jilin 132022 China 2.Jilin University of Agricultural Science and Technology Jilin 132101 China 3.Faw East Mechanical Shock Absorber Co.Ltd.Changchun 130001 China Abstract Agricultural production is the basis of human survival and the growth of crops are always affected by weeds resulting in crop production reduction.Therefore it is of great significance to realize the intelligent segmentation of weeds in the field.In this study the TransUnet algorithm model was used for weed segmentation in the field aiming to improve the accuracy and efficiency of segmentation.TransUnet is a new type of deep learning network.The training of the model uses the public data set and the model is optimized by combining the idea of transfer learning.In this experiment through testing and evaluation it is found that the TransUnet model after transfer learning performs outstanding in the field weed segmentation task and its pixel accuracy can reach more than 97%.In addition the visual analysis of the model is carried out which confirms the practical value and application prospect of the model.In summary the TransUnet model has a positive effect on weed segmentation.It is hoped that the results of this research can provide more ideas and references for the application of computer vision technology in the agricultural industry.Key words weed segmentation semantic segmentation machine vision deep learning301