基于Transformer-Unet神经网络的舌体分割方法设计.pdf

2023年12 月计算机应用文摘第3 9 卷第2 4期基于Transformer-Unet神经网络的舌体分割方法设计黄明月，陈禹卓,王欣雨张宇鑫,赵文瑜（华东理工大学,上海2 0 142 4)摘要：近年来，随着计算机科学的不断发展以及中医诊疗数字化需求的增加，舌诊客观化已经成为智慧舌诊领域的一个重要研究方向。舌诊客观化要求对中医舌象进行定性、定量和定位的研究，目前主流的研究方法是基于舌色、舌形和舌苔纹理这三个主要特征，构建一个数字化的舌头模型。文章则采用Transformer-UNet进行模型训练，以实现对舌体的精确分割，从而进一步提高舌诊研究的准确性和效率。关键词：数字化舌头模型；中医舌诊；舌体分割；神经网络中图法分类号：TP183HUANG Mingyue,CHEN Yuzhuo,WANG Xinyu,ZHANG Yuxin,ZHAO Wenyu(East China University of Science and Technology,Shanghai 201424,China)Abstract:In recent years,with the continuous development of computer science and the increasingdemand for digitalization in traditional Chinese medicine diagnosis and treatment,the objectificationof tongue diagnosis has become an important research direction in the field of intelligent tonguediagnosis.Objectification of tongue diagnosis requires qualitative,quantitative,and localizationresearch on traditional Chinese medicine tongue images.Currently,the mainstream research methodis based on the three main features of tongue color,tongue shape,and tongue coating texture toconstruct a digital tongue model.The article uses Transformer-UNet for model training to achieveaccurate segmentation of the tongue body,thereby further improving the accuracy and efficiency oftongue diagnosis research.Key words:digital tongue model,traditional Chinese medicine tongue diagnosis,tongue segmentation,neural network1引言舌诊是中医临床中最具特色的诊断方法之一,也是中医现代化研究的重要方向,在临床诊断中拥有举足轻重的地位。然而，舌诊面临客观化和数字化的挑战,制约了中医诊断技术和方法的进一步发展。随着计算机和图像分析技术的迅速发展,舌诊的客观性研究日益增多,舌象的诊断指标也逐渐趋向量化。舌诊的客观化和数字化不仅是中医诊断数字化研究的必然趋势,而且有望成为实现中医诊断数字化目标的突破口1在中医舌诊研究过程中，采集到的图像通常是包含舌体部位的人脸图像，需要进行预处理以去除背景区域（如人脸、嘴唇、牙齿等），从而得到舌体区域。舌体图像的分割是实现舌体诊断客观化的前提，其准确与否直接影响舌诊的分析效果。传统的分割方法性能仅达到半自动水平,对于复杂的舌诊图像可能需要人机交互的辅助2。尤其是在深度学习技术在计算文献标识码：ADesign of tongue segmentation method based onTransformer-Unet neural network2.1 U-net 神经网络U-net网络是一种专为生物医学图像分割设计的机视觉领域取得显著突破后，将其应用于舌诊分析已经成为该领域研究的热点。本文主要探讨基于深度学习的舌体分割和轮廓提取，通过图像处理和深度学习算法实现舌诊的客观化。2关键技术卷积神经网络是一种深度学习模型，其学习过程无需人为干预,真正实现了端到端训练。该网络能够从图像中提取高层次的特征，可用于图像分类、分割等任务。在中医舌诊中，卷积神经网络可以用于实现舌象的客观化识别和分析,从而辅助中医诊断和治疗。本文采用了 Transformer-Unet,该模型结合了Transformer 的全局感知能力和U-net的局部细节保留能力,能够较好地处理多尺度和高复杂度的图像分割任务。34卷积神经网络，由Ronneberger等于2 0 15年提出。该网络采用了Encoder-Decoder结构，包含对称的U形结构,具有局部相连的特性。图1展示了其网络结构,左侧的编码器负责提取图像特征，右侧的解码器则负责恢复分辨率并预测分割结果。其中,矩形框代表多通道特征图，数字表示通道的数量，箭头则表示不同的操作；左侧特征图的大小逐步减小，说明经过卷积与池化操作后特征突出，而右侧特征图逐步增大，表示通过解码器进行特征的恢复。两条路径之间存在跳跃连接,使低层次的特征与高层次的特征得以结合，从而增强了网络的定位能力。inputimageble2.2Transformer-Unet 神经网络由于卷积运算的天然局部性,U-net在明确建模远程依赖关系方面通常表现出一定的局限性。专为序列到序列预测设计的Transformer 模型应运而生,它具有天生的全局自注意力机制。然而，由于其在低级细节方面的不足，可能会限制其定位能力。为了解决这一问题,Transformer-Unet神经网络应运而生，它巧妙地结合了Transformer的全局感知能力和U-Net的局部细节保留能力，能够有效处理不同尺度和复杂度的医学图像分割任务。相较于其他图像分割网络，Transformer-Unet神经网络在舌像分割方面具有以下特点：（1)数据增强：为解决生物医学图像过少的问题，Transformer-Unet神经网络使用了弹性变形、旋转、平移等方法,以增加训练数据的多样性和鲁棒性。(2)残差连接：为了增加网络深度并提高训练效果,Transformer-Unet 神经网络引人了残差连接，使得每个卷积块可以直接将输入与输出相加,从而避免梯度消失或爆炸的问题。(3)批归一化：为了加快训练速度并稳定内部特征分布，Transformer-Unet神经网络使用了批归一化，确保每个卷积层都进行归一化处理，并引入可学习参数进行缩放和平移。3方法设计3.1舌头照片预处理本文将导师提供的图像源与上海中医药大学数计算机应用文摘据集相结合，共计17 4张舌头图像。这些图像的尺寸包括441*48 9,3 0 0*3 43 等（后续将进行尺寸调整以确保图像统一），由RCB三通道构成。数据集包含了舌头的原始图片，即未经过分割处理的版本，示例如图2 所示。outputsegmentationmap+conv3x3,ReLU+copyandcrop+maxpool2x2+up-Conv2x2+conv1x1图1U-net网络结构2023年第2 4期图2 数据集图像示例在使用过程中,由于数据集中各图像的尺寸存在差异，为了确保工作的顺利进行，模型训练首先读取图像并进行归一化操作。对图像大小进行调整，通过等比例缩放使其达到2 2 4*2 2 4的标准（可根据需要进行调整），同时将RGB图像转换为单通道灰度图。对于jpg格式的图像,将每个像素的值归一化到-1 1的范围内。此外,对数据进行数据增强操作,并设置多线程数为自适应最优配置，以扩充数据集。3.2基于Transformer-Unet 神经网络的实现舌体分割首先,本文设计了一个典型的Unet并将其作为CNN结构,将双线性插值作为上采样方法和max-pooling 作为下采样方法。此外,本文构建了一个几乎对称的网络，以便轻松修改Attention模块和Transformer模块3 7。然而,在Transformer-Unet 中,编码器和解码器并不是直接连接的。由于Transformer是一个以序列数据为输人的模型,对于分割任务需要将每张经过预处理的舌头照片展平成一个三维数组,其中nxn是图像patch的大小，为数组序列的长度。基于此,整个图像就被分割成不同的平方块,其中n是正方形边缘的长度8。为了简化实现过程,在大多数情况下可以假设H=W,且H和W均可被n整除,原理如图3 所示。图3 基于Tansformer-Unet神经网络的舌体分割方法设计2023 年第 2 4 期为了提高局部特征的提取效率，本文在Transformer模型的设计中加人了一个额外的编码器，其中遵循Unet的设计原则。这个编码器并非直接连接到解码器，而是输出具有不同感知域的特征映射，然后将这些特征映射与解码器中的特征映射连接起来。解码器将Transformer的输出作为输人,具体而言，对于采用序列的Transformer，将其输出进行Reshape,并将其直接输人解码器。通过这样的设计，保证了解码器的输人包含不同图像patch的信息，从而更好地支持最终的预测。3.3最终分割结果对17 4张照片进行处理后,能够完成 epoch为300、b a tc h s iz e 为16、类别数为2 的训练任务。在每轮训练后,统计当前loss,并同时记录和调整当前的最优loss。在整个训练过程中,还保留了最佳权重数据。根据当前loss与最优loss 的比较，保存最佳模型。对训练好的模型进行结果检测，分割效果如图4所示。舌头分割系统图4分割结果经过训练，模型在舌体分割方面的准确率已经达到9 0%以上。具体的结果证明了该模型能够识别大多数舌体轮廓。然而,在一些齿痕较为复杂的舌体情况下，存在轮廓不清晰、精确度不高的现象，需要进一步改进。4结束语近年来,随着深度学习技术的不断发展,其在医学影像资料的提取、病理学影像的分析与诊断等方面的应用逐渐广泛。作为舌诊客观化的关键技术之一，舌象的分割和分类受到了广泛关注。许多国内外学者在舌诊领域进行了大量相关研究,对舌体进行了客观定量的探讨,取得了显著成果。目前,舌体分割技术主要用于对封闭环境下采集的舌诊图像进行检测，但尚未在复杂的开放性场景中得到广泛应用。由于病人的舌象特点和形态较为复杂，在实现准确分割方面存在一定挑战。本文采用Transformer-Unet神经网络实现了舌体计算机应用文摘的分割,取得了一定的成果。然而，仍然存在以下改进空间。(1)舌体分割的进一步优化。虽然本文选择U-net进行了舌体分割任务，实现了一定程度的精确分割,但在精度上仍存在较大的优化空间,需要在未来的研究中不断改进。同时，由于训练集不足，未能实现对舌下静脉的图像分割以及更为复杂的场景分割任务,如病理舌体分割,需要进一步深入研究。(2)成像的优化。本文通过舌体切割贴图，对网格模型进行了染成像的工作，但在贴图的处理手法上较为粗糙,导致最终成像结果存在摩尔纹与较大的失真现象，需要进一步优化处理。(3)结合中医诊疗系统。本文实现了数字化舌体的分割和轮廓提取，创建了可进行数学处理的节点化模型,提供了便捷的接口，但需要后续研究与临床诊疗的深入优化，以最终实现舌诊客观化与中医诊疗系统化相结合的目标。参考文献：1张永涛.数字舌图的分析方法与齿痕舌上的应用研究D.北京：北京中医药大学,2 0 0 5.2刘慧琳.基于舌诊图像的舌体分割及分类算法研究D.江门：五邑大学,2 0 2 2.3杨大生,陈晖,邹丰美，等.一种有效的舌体自动化分割算法J.计算机应用研究,2 0 0 7（2）:17 0-17 2.4闫子飞.面向中医舌诊的舌下静脉特征获取与分析D.哈尔滨：哈尔滨工业大学，2 0 10.5 XU Q,ZENG Y,TANG W,et al.Multi-Task Joint LearningModel for Segmenting and Classifying Tongue Images Using aDeep Neural Network J.IEEE journal of biomedical andhealth informatics,2020,24(9):2481-2489.6张新峰,郭宇桐,蔡轶珩,等.基于DCNN和全连接CRF 的舌图像分割算法J.北京航空航天大学学报，2 0 19,45(12):2364-2374.7姜朔,胡洁,夏春明,等.基于 Otsu 阈值法与形态学自适应修正的舌像分割方法J.高技术通讯,2 0 17,2 7（2）：150-155.8徐蔚波,刘颖,章浩伟.基于区域生长的图像分割研究进展J.北京生物医学工程,2 0 17,3 6（3)：3 17-3 2 2.作者简介：黄明月（2 0 0 2 一），本科,研究方向：人工智能。陈禹卓(2 0 0 3 一）,本科,研究方向：数据分析。王欣雨（2 0 0 2 一），本科,研究方向：人工智能。张宇鑫（2 0 0 1一），本科,研究方向：计算机辅助药物设计。赵文瑜（19 6 6 一），高级工程师，研究方向：智能网联汽车、智慧城市、大数据技术(通信作者)。35