基于改进U-Net的面部红外热成像的分割.pdf

计算机时代 2023年 第10期0 引言面诊是指中医通过望、闻、问、切四诊法，对患者面部和五官整体观察，从而判断人体局部与整体的病变情况。望诊法是中医诊断中的诊法之一，几千年来许多中医一直沿用此简单有效的诊断方法。传统中医望诊聚焦于病人的面色及光泽，对于临床经验很少的中医来说，要基于这些非常有限的面部指标做出诊断是十分困难的。可见光自动化面诊技术受制于人体肤色和季节变化等因素，导致检测结果可能出现误差。相比之下，红外热成像技术能够通过观察人体表面的温度分布与变化，将中医的阴阳、虚实、寒热等信息以数字可视化的方式呈现，避免了可见光检测技术的限制。面部红外图像分割是面诊客观化中去除不规范操作如头发遮挡、佩戴眼镜、帽子等造成的干扰背景，排除与体质、疾病等分类识别无关的因素的重要步骤，为后续面部红外热成像的疾病识别分类提供基础。通过传统的方法分割人体红外热成像，如区域生长1、水平集2、聚类3、图割4等，需要大量人工干预，无法实现图像分割自动化。Ronneberger5等研究者首次提出了将跳跃连接引入卷积神经网络的一种U形网络(U-Net)。Liu6等人提出了基于深层U-Net和图割的方法并平滑分割结果，此方法加深了特征提取网络的深度，以便于提取更高层次的特征，在腹部CT序列肝DOI:10.16644/33-1094/tp.2023.10.019基于改进U-Net的面部红外热成像的分割*詹文栋，龚庆悦，朱金阳，万泽宇，黄敏，王锐(南京中医药大学人工智能与信息技术学院，江苏 南京 210046)摘要：本研究旨在实现对中医红外热成像面部图像的精准分割。使用Resnet50代替传统U-Net网络的主干特征提取模块，移除特征融合中复制与剪切里的剪切操作。该方法能优化特征融合，避免梯度问题，并提高模型通用性。分割实验表明，与传统U-Net相比，该方法具有更高的平均交并比mIoU值和准确率，mIoU值达98.20%，准确率达99.03%。该方法为基于红外图像的中医辅助诊断和疗效评估提供了技术支持。关键词：中医；红外热成像；图像分割；U-Net；Resnet50中图分类号：TP317.4文献标识码：A文章编号：1006-8228(2023)10-89-06Research on facial infrared thermal image segmentation based on improved U-NetZhan Wendong,Gong Qingyue,Zhu Jinyang,Wan Zeyu,Huang Min,Wang Rui（Nanjing University Traditional Chinese Medicine,Nanjing,Jiangsu 210046,China）Abstract：This study aims to achieve accurate segmentation of facial images in TCM infrared thermography.Resnet50 is used toreplace the backbone feature extraction module of the traditional U-Net network,and the cut operation is removed from copy andcutinfeaturefusion.Thismethodoptimizesfeaturefusion,avoidsgradientproblems,andimprovesmodelversatility.Thesegmentation results show that compared with the traditional U-Net,this method has a higher mean intersection over union(mIoU)value and accuracy,with mIoU reaching 98.20%and accuracy reaching 99.03%.This method provides technical support for infraredimage-based TCM auxiliary diagnosis and treatment evaluation.Key words：TCM;infrared thermography;image segmentation;U-Net;Resnet50收稿日期：2023-03-23*基金项目：国家级大学生创新创业训练计划项目（202210315092Z）作者简介：詹文栋（2002-），男，江苏镇江人，本科在读，主要研究方向：医学人工智能。通讯作者：龚庆悦（1972-），女，江苏常熟人，博士，副教授，主要研究方向：中医药信息学、医学人工智能等方向研究。89Computer Era No.10 2023脏肿瘤图像上具有较好的分割效果。江智泉7等将U-Net的主干特征提取网络替换为VGGNet16的卷积层，并且对特征融合进行优化改进，实验证明该改进方法在舌象分割上取得了较好的分割效果。本研究对原始U-Net网络进行改进，将特征提取表现更好的Resnet50代替U-Net原始的主干特征提取模块，去除复制和裁剪(Copy and Crop)部分的Crop，改进后的模型优化了特征融合，并提高了模型的通用性，在中医面部红外热成像图片的分割上取得了较好的结果。1 模型设计1.1 本文设计的Facial Res-UNet模型结构首先借鉴江智泉7的方法，改进原始U-Net模型，下文简称为 Facial VGG-UNet 模型。将原始 U-Net模型的主干特征提取模块替换为VGGNet16，由5个卷积核和ReLU激活函数构成的卷积模块和四个最大池化模块不断堆叠而成。将多个使用33卷积核的卷积层进行串联，可以看作是对使用一个大尺寸卷积核的卷积层的分解，比如三个33卷积核的卷积层串联相当于一个77卷积核的层，这么做的优势是，多个小尺寸卷积核堆叠起来的卷积层具有的参数比直接使用一个大尺寸卷积核的卷积层的参数少，在感受野相同的情况下，增加了网络的非线性，使得网络的判别性更强8。但该方法的主干特征提取网络存在缺陷：主干特征提取网络是通过对图像进行多次卷积和池化操作堆叠而成，而大量网络堆叠容易造成梯度消失和梯度爆炸问题9。同时，对解码部分进行优化：取消了五个初步有效特征层在上采样过程中的剪切(Crop)操作，直接复制(Copy)特征层，从而提高网络模型的通用性。最终，改进的U-Net网络结构如图1所示。图1Facial VGG-UNet网络结构由于存在上文提到的梯度爆炸和梯度消失问题，在Facial VGG-UNet网络模型的基础上，我们又做出了新的改进。本文提出的改进 UNet 模型 Facial Res-UNet，采用ResNet50替换传统U-Net的主干特征提取模块，不仅能因残差块避免梯度爆炸和梯度消失的问题，还能保留 U-Net网络结构简单和训练数据量需求小的优势，非常契合中医面部红外热成像图片的对比度低、边界模糊等导致的特征提取效果差以及数据集量少的特点。再对 U-Net 的解码区优化特征融合，去除初步提取特征层的剪切（Crop）操作，一方面使得输入图像与输出图像尺寸保持一致，增加模型的通用性，另一方面也能使得模型学习到更多细节信息，以便进一步对像素进行分类，提高模型的泛化能力。其网络结构如图2所示。图2中，主干特征提取网络Resnet50由两个基本模块组成，分别为Conv Block和Identity Block10。前者由于输入与输出的维度不同，因此Conv Block一般可用于改变网络的维度；后者输入与输出维度一致，因此一般选用Identity Block来加深网络深度。90计算机时代 2023年 第10期Conv Block可以分为主路径和跳跃路径两个部分。主路径由二次大小分别为11和33的卷积操作和标准化(BatchNorm)、激活函数 ReLU、一次 11卷积操作和标准化(BatchNorm)组成。跳跃路径由11卷积操作和标准化(BatchNorm)组成。Conv Block最终由主路径输出和跳跃路径输出相加，并经过一次ReLU激活函数得出，结构如图3所示。Identity Block也可以分为主路径和跳跃路径两个部分。IdentityBlock的主路径与Conv Block的主路径相同，而跳跃路径直接与主路径的输出相加，最后经过一次ReLU激活函数得出总体输出结果，结构如图4所示。图3Conv Block图4Identity Block2 数据收集与预处理2.1 数据收集本研究按照 中医红外热成像技术规范摄像环境11标准严格搭建数据采集环境。数据来源有效且符合伦理审查规范，且仅用于本次学术研究，遵循被采集图2Facial Res-UNet模型结构91Computer Era No.10 2023者意愿。数据集包含 300 张标准面部红外热成像图片，其中160张和40张分别作为训练集和验证集，100张作为测试集用于模型泛化性能测试。2.2 数据标注本研究使用Labelme工具对面部红外热成像样本进行标注，该工具基于多边形框对目标物体进行标注12，能够得到图像有效分割标签。本研究分割任务究其根源是二分类问题，即对无关背景和面部进行分割，标签灰色部分和黑色部分分别表示红外热成像的面部和无关背景。中医红外热成像图片标注过程如图5所示。图5中医红外热成像图片的标注3 模型训练与性能评估3.1 模型训练使用160张面部红外热成像图片进行模型训练，Epoch设为100。为了使占用内存更少，计算效率更高，优化器选择Adam，学习率设置为0.0001，最小学习率设置为学习率的0.01倍。动量(Momentum)设置为0.9，这有助于跳出局部最小值，加速模型的收敛。权值衰减(weight_decay)可以防止模型过拟合，但由于采用的优化器是Adam，可能会导致权值衰减(weight_decay)发生错误，故weight_decay设为0。采用相似系数(LossDice)和交叉熵函数平均值(LossCE)的和来计算Loss的组合损失函数，具体计算公式如下：LossDice=1-2TP+smoothFP+2TP+FN+smoothLossCE=-1NN ytrue log ypredLoss=LossDice+LossCE图 6 分别表示传统 U-Net 模型、Facial VGG-UNet模型和本文提出的Facial Res-UNet模型在训练过程中的 trainloss、valloss、smooth train loss、smoothval loss与Epoch的关系图。通过观察loss在训练集和验证集上的表现，可以看到三种模型的loss值最终能逐渐收敛并趋于稳定，但很明显本文提出的模型收敛的速度更快，并且loss值更低，更稳定。而传统的U-Net存在收敛速度慢，最终收敛的loss值较高的问题。Facial VGG-UNet模型在50轮和70轮出现了大的波动，稳定性较差。由此可见本文提出的模型具有更好的鲁棒性。图6模型训练过程中损失值的对比3.2 模型评估本文使用平均交并比(mean Intersection over Union,mIoU)作为评估指标，计算过程如下：mIoU=1ki=0k-1piij=0k-1pij+j=0k-1pji-pii其中，k为图像中标签类别数，i表示真实类别，pij表示92计算机时代 2023年 第10期属于i类但被判定为j类的像素数量，即假阳性像素数量，pji为假阴性像素数量，pii为预测正确的像素数量。图7训练集上的mIoU值图8验证集上的mIoU值图7表示本文提出的改进模型Facial Res-UNet，在训练集上的 mIoU 值随着 Epoch 增大的变化情况。从图7可以发现，训练的前8轮TrainmIoU波动很大，拟合度逐渐上升。在第8轮以后，TrainmIoU就已经上升不太明显，逐渐稳定下来，60 轮以后，模型的TrainmIoU 不再上升，达到了 98.19%。图 8表示验证集上模型的mIoU达到了98.20%，由此可见，模型的图像分割效果较为优异。3.3 模型性能与分割效果的比较本文使用人工智能实验室服务器进行实验，具体的硬件环境为 TELSA-T4，软件环境为 Window10、Torch1.2.0 深度学习框架和 CUDA10.0。表 1 对比了传统U-Net模型、Facial VGG-UNet模型和本文改进模型对面部红外热成像的图像分割性能，本文提出的Facial Res-UNet 方法的 mIoU 和 Accuracy 指标优于前两种方法，在训练时长上稍处于劣势。表1模型性能对比方法传统U-NetFacial VGG-UNetFacial Res-UNetmIoU(%)91.2797.1098.20Accuracy(%)92.4898.2299.03训练时长(h)1.51.82图 9 为原始 U-Net 模型、Facial VGG-UNet 模型和Facial Res-UNet模型的分割效果对比。通过对比可以发现传统 U-Net 模型和 Facial VGG-UNet 模型对人脸分割都存在边缘震荡问题，而本文提出的模型表现更优秀，边缘相比前两者更加清晰，分割精度更准确。图9模型的图像分割效果对比(下转第99页)93计算机时代 2023年 第10期based on ensemble learningJ.Forests,2021,12(2):217.5 梁明远,陈强,张崇琪,等.基于树莓派的智能家居系统设计与实现J.传感器与微系统,2021,40(2):105-107,112.6 牛洪超,白松,胡晓兵.基于改进YOLOv5的视觉定位算法J.计算机工程与设计,2022,43(6):1620-1627.7 葛宝臻,李晓洁,邱实.基于共面点直接线性变换的摄像机畸变校正J.中国激光,2010,37(2):488-494.8 陈涛,王立勇,唐长亮,等.SVD归一化强度软阈值降噪方法及其应用J.组合机床与自动化加工技术,2019(8):71-75.9 Maolanon P,Sukvichai K.Development of a wearablehouseholdobjectsfinderandlocalizerdeviceusingCNNs on Raspberry Pi 3C/2018 IEEE InternationalWIE Conference on Electrical and Computer Engineer-ing(WIECON-ECE).IEEE,2018:25-28.10 Zhang M,Gao F,Yang W,et al.Wildlife Object DetectionMethodApplyingSegmentationGradientFlowandFeature Dimensionality ReductionJ.Electronics,2023,12(2):377.11 Mallat S.Understanding deep convolutional networksJ.PhilosophicalTransactionsoftheRoyalSocietyA:Mathematical,PhysicalandEngineeringSciences,2016,374(2065):20150203.12 Li H,Li J,Wei H,et al.Slim-neck by GSConv:A betterdesign paradigm of detector architectures for autono-mousvehiclesJ.arXivpreprintarXiv:2206.02424,2022.13 赵璐璐,王学营,张翼,等.基于 YOLOv5s 融合 SENet 的车 辆 目 标 检 测 技 术 研 究 J.图 学 学 报,2022,43(5):776-782.14 Chen H,Gu J,Zhang Z.Attention in attention networkforimagesuper-resolutionJ.arXivpreprintarXiv:2104.09497,2021.15 Hou Q,Zhou D,Feng J.Coordinate attention for efficientmobile network designC/Proceedings of the IEEE/CVFconferenceoncomputervisionandpatternrecognition,2021:13713-13722.16 Xiang L,Zhou Z,Miao L,et al.Signal recognition methodof x-ray pulsar based on cnn and attention modulecbamC/2021 33rd Chinese Control and DecisionConference(CCDC).IEEE,2021:5436-5441.17 Hu J,Shen L,Sun G.Squeeze-and-excitation net-worksC/ProceedingsoftheIEEEconferenceoncomputer vision and pattern recognition,2018:7132-7141.4 结束语本文介绍了一种基于 U-Net 的改进模型 FacialRes-UNet，其在面部红外热成像数据集上的分割效果更优，分割图像的均交并比mIoU达到98.20%。该技术为面部红外热成像图片的自动化分类识别提供了坚实基础，未来的研究将扩展至人体全身红外热成像的图像分割和分类识别，为中医疾病诊断提供更多客观数据支持，打破“中医缺乏客观性”的偏见。参考文献(References):1 刘莹,李筠,杨海马,等.结合区域生长与水平集算法的宫颈癌图像分割J.电子测量与仪器学报,2020,34(9):146-152.2 张永德,彭景春,刘罡,等.基于水平集的前列腺磁共振图像分割方法研究J.仪器仪表学报,2017,38(2):416-424.3 黄化入,谢维成,张彼德,等.基于改进 PCM 聚类方法的绝缘子图像分割J.电子测量与仪器学报,2020,34(12):181-189.4 YANG Z,ZHAO Y,LIAO M,et al.Semi-automatic livertumor segmentation with adaptive region growing andgraph cutsJ.Biomedical Signal Processing and Control,2021,68:102670.5 RONNEBERGER O,FISCHER P,BROX T.U-Net:Convolutional networks for biomedical image segmen-tationC.Proceedings of the International Conferenceon Medical Image Computing and Computer-AssistedIntervention,2015:234-241.6 LIU Z,SONG Y,SHENG V,et al.Liver CT sequence seg-mentation based with improved U-Net and graph cutJ.Expert Systems with Applications,2019,126:54-63.7 江智泉,周作建,鲍剑洋,等.改进U-Net网络的中医舌图像分割方法研究J.软件导刊,2021,20(11):186-190.8 黄伟杰.基于车载视觉系统的道路环境感知技术研究D.北京:北京交通大学,2018.9 HE K,ZHANG X,REN S,et al.Deep residual learning forimagerecognitionDB/OL.http：/arxiv.org/abs/1512.03385.10 SIMONYAN K,ZISSERMAN A.Very deep convolutionalnetworksforlarge-scaleimagerecognitionEB/OL.(2015-04-10)2021-08-18.arXiv:1409.1556.11ZYYXH/T472-2015,中医红外热成像技术规范摄像环境S.12 颜建军,徐姿,郭睿,等.基于 Mask R-CNN的舌图像分割研究J.世界科学技术-中医药现代化,2020,22(5):1532-1538.(上接第93页)CECE99