基于改进VGG19的中医背部痧象特征分类研究.pdf

引言中国传统医术已形成了以“望、闻、问、切”四诊合参以及中医理疗为核心的完整诊疗体系。痧疗作为中医理疗的重要组成部分，以其无伤、便捷等优点深受人们的青睐1。痧象是指痧疗后人体皮肤所反映出的机体的健康状态，因每个人体质、病因、患病程度等各不相同，皮肤所反映出的痧象也存在差异2。医师可以通过痧象的特征要素来对患者进行初步的诊断，主要包括痧象的基于改进VGG19的中医背部痧象特征分类研究李斌a，李霄a，胡广芹a，张新峰b北京工业大学 a.环境与生命学部；b.信息学部，北京 100124摘 要 目的 比较3种网络模型VGG19网络、多任务学习、卷积注意力模块（Convolutional Block Attention Module，CBAM）在中医背部痧象特征分类的可行性与有效性，进而说明该模块的有效性。方法 首先通过对痧象图片数据的分析，将图片数据按照颜色特征划分为暗红、红、淡红3类，形状特征划分为点状和片状两类，确定实验包含二分类和三分类两个任务，将图片按照训练集验证集测试集=811的比例进行划分，然后采用VGG19网络模型对两个任务分别进行训练，并以该网络模型为主干进行改进，引入多任务学习模型的思想，添加CBAM。采用训练准确率以及测试准确率进行评价，并设置颜色与形状准确率的均值，以判断网络模型的性能高低，同时通过消融实验比较最终的分类准确率，以及分析中医痧象特征与证型间的对应关系。结果 以VGG19网络模型为主干，采用多任务学习并加入CBAM的改进网络取得了最高的分类准确率，当缩减率为1/8、batch_size为8时得到的训练结果最好，颜色分类准确率为93.90%，形状分类准确率为95.12%，平均准确率为94.51%。结论 以VGG19网络模型为主干，采用多任务学习并加入CBAM的改进网络在中医痧象特征自动分类识别上可取得较好的效果，能够结合传统中医的经验知识准确完成对于人体证型的判断。关键词 中医痧象；特征分类；注意力机制；VGG19；多任务学习Research on Classification of Traditional Chinese Medicine Sha Features Based on Improved VGG19LI Bina,LI Xiaoa,HU Guangqina,ZHANG Xinfengba.Department of Environment and Life;b.Department of Information Science,Beijing University of Technology,Beijing 100124,ChinaAbstract:Objective To compare the feasibility and effectiveness of the three network models VGG19 network,multi-task learning,convolutional block attention module(CBAM)in the feature classification of traditional Chinese medicine Sha images,and to illustrate the effectiveness of the module.Methods Firstly,through the analysis of the image data of Sha,the image data was divided into dark red,red and light red according to the color characteristics,and the shape characteristics were divided into point and sheet.The experiment included two classification tasks and three classification tasks,and the pictures were divided according to the ratio of training set verification set test set=811.Then,VGG19 network model was used to train the two tasks respectively,and the network model was improved as the main task,the idea of multi-task learning model was introduced,and CBAM was added.The training accuracy and test accuracy were evaluated,and the mean value of color and shape accuracy was set to judge the performance of the network model.Meanwhile,the final classification accuracy was compared by ablation experiment,and the corresponding relationship between traditional Chinese medicine Sha image characteristics and syndrome types was analyzed.Results Using the VGG19 network model as the backbone,an improved network using multi-task learning and incorporating CBAM achieved the highest classification accuracy.When the reduction rate was 1/8,the batch_size was 8,the best training results were obtained.The accuracy of color classification was 93.90%,and the accuracy of shape classification was 95.12%.The average accuracy was 94.51%.Conclusion Based on VGG19 network model,the improved network with multi-task learning and CBAM can achieve good results in the automatic classification and recognition of traditional Chinese medicine Sha image features,and can accurately judge the human syndrome type combined with the experience and knowledge of traditional Chinese medicine.Key words:traditional Chinese medicine Sha images;feature classification;attention mechanism;VGG19;multi-task learning中图分类号 R197.39 文献标识码 Adoi：10.3969/j.issn.1674-1633.2023.09.001 文章编号 1674-1633(2023)09-00012-052023 年第 38 卷 09 期VOL.38 No.09研究论著RESEARCH WORK12研究论著RESEARCH WORK13中国医疗设备 2023年第38卷 09期 VOL.38 No.09颜色、形状等，一般情况下，颜色可以反映出机体的热寒状况，而形状则可以反映机体的严重程度3-4。随着中医需求量的增加，通过传统中医医师去辨别痧象特征，诊断机体健康状态会消耗大量的精力和时间。因此如何快速而又准确地辨识中医痧象的特征要素，进而判断机体健康状态尤为重要。现代技术的发展为解决上述问题提供了一个新的途径，近年来，机器学习、深度学习成为医学领域研究的热门5。VGG19 网络作为深度学习分类模型的代表6，因其结构简单、易扩展等优势受到人们广泛关注，该模型由 16 个卷积层、5 个池化层、3 个全连接层堆叠而成，采用小卷积核代替之前网络的大卷积核，能够捕获到更多的细节特征信息。此外由于模型结构简单，因此易对模型结构进行改进，进一步提升分类任务的精度，这也为分类研究奠定了基础。基于此，本文以中医背部痧象为切入点，通过对采集的痧象图片数据进行前期的处理，采用 VGG19 网络模型为主干进行研究，并在网络模型中引入多任务学习模型的思想以及混合注意力模块机制，旨在实现中医背部痧象特征要素的准确分类，并依据分类识别结果判断人体健康状态。1 中医背部痧象特征分类研究1.1 数据来源及数据集划分本文采用的痧象图片数据来自北京工业大学环境与生命学部健康工程研究室痧象数据库。所有图片均采用数码相机设备，在自然光源下进行拍摄，采自北京工业大学医院胡广芹主任医师刮痧治疗的各种临床疾病患者。通过筛选处理，去除拍摄模糊、背景过亮、过暗以及拍摄缺失的图片，共得到可用于实验研究的图片数据818 张。之后参照家庭刮痧边学边用7、养生专家的刮痧笔记8等中医刮痧书籍中对于痧象辨识的标准以及数据实际情况，将痧象颜色划分为暗红、红、淡红3 类，形状划分为点和片两类。最后将图片按照训练集验证集测试集=8 1 1 的比例进行划分，其中训练集图片共654张，验证集图片共82张，测试集图片共82张。1.2 基于VGG19的痧象特征分类网络基于数据集图片较少、分类任务简单的特点，本文采用了比较成熟的 VGG19 网络模型作为网络主干进行了实验9。VGG19 网络模型由 16 个卷积层、3 个全连接层和 5 个池化层构成，与之前的卷积神经网络相比，其采用了多个 33 的卷积核来代替之前的大卷积核，在保证感受野的同时极大地减少了网络参数，降低了计算量。如图 1 所示为实验采用的 VGG19 网络架构图。网络模型的输入图片大小为 2562563，经过网络卷积、池化层后，在全连接层展开输出。由于实验对颜色和形状特征进行分别训练输出，因此图中输出 n 分别代表了颜色三分类以及形状的二分类。1.3 基于VGG19的痧象特征多任务分类网络计算机视觉中的单任务学习目前已经取得了很大的成功，但现实生活中许多的问题本质上是多样的，如同一张图片上包含有多种物体，如果对这些问题采用单任务网络去学习训练会增大网络的参数量，并且会忽略数据相关的噪音以及泛化性能，而多任务学习同时对多个任务进行训练学习，这会对不同任务的噪音进行平均，从而使模型更加泛化10。此外多任务学习引入了归纳偏置机制，与正则化起到了相同的作用，可以减少网络模型过拟合的风险。本文的痧象特征分类任务包含颜色和形状两个任务，且采用的是同一数据集，这种情况下使用多任务学习是最优的选择。基于深度神经网络的多任务学习常用的方法有两种，一种为隐层参数的硬共享，另一种为隐层函数的软共享。参数的硬共享机制是多任务神经网络训练学习最常见的方式，其可以应用到所有任务的隐层上，共享训练层参数，保留各自的输出层，减少网络的训练参数，降低过拟合的风险11-12。而软共享则是指每个任务具有单独权重的单独任务模型，不同任务模型参数之间的距离被添加到联合目标函数中。本文基于数据的特点，考虑到任务之间存在一定的相关性，因此使用了多任务学习的参数硬共享机制进行实验。多任务神经网络的结构对于任务的学习具有很大的影响，本文针对训练任务采用了共享主干线的架构模型。数据输入采用统一数据集作为网络模型的输入，而后经过由所有任务共享的卷积层构成的全局特征提取器，最后对每个任务进行单独的结果输出。网络模型结构如图 2 所示。图1 VGG19网络模型注：ReLU：激活函数。收稿日期：2023-02-07基金项目：北京市中医药科技发展基金（QN-2020-08；QYSF-2020-06）；国家重点研发计划中医现代化研究专项（2018YFC1707705）。通信作者：胡广芹，主任医师，主要研究方向为图像处理与电子信息。通信作者邮箱： 研究论著RESEARCH WORK14中国医疗设备 2023年第38卷 09期 VOL.38 No.091.4 基于VGG19+混合注意力机制的痧象特征多任务分类网络注意力机制源于对人类视觉的研究，其是指人类有选择地关注所有信息中的一部分，而忽略其他可见的信息，从而避免无关信息的干扰。在神经网络中，注意力机制主要是针对在计算能力有限的情况下，将计算资源分配给更重要的任务，同时解决信息超载问题的一种资源分配方案，其可以聚焦于对当前任务更关键的信息，提高任务处理的效率和准确性13-16。根据注意力作用的不同维度可以将其划分为通道注意力、空间注意力、时间注意力、分支注意力以及混合注意力。不同的注意力机制代表不同的含义，通道注意力机制重点在于重要通道的选择，原因为不同的通道往往代表不同的物体；空间注意力机制更关注信息中的哪一部分信息具有意义；时间注意力机制侧重于何时去关注信息；分支注意力则侧重于关注多分支结构的某一分支；混合注意力则是通过上述不同注意力的结合来对信息进行更加准确的关注，以提升任务的效率和准确率。本文采用了卷积注意力模块（Convolutional Block Attention Module，CBAM）17-19，其结合了空间注意力机制和通道注意力机制，能够序列化地在通道和空间两个维度上产生注意力特征图信息，而后与输入特征图进行相乘从而进行自适应的特征修正，产生最后的特征图，见图 3。由于 CBAM 是一种轻量级的模块，因此可以嵌入到任何主干网络中提高网络性能。本实验将 CBAM嵌入到了 VGG19 主干网络中的第一层卷积和最后一层卷积中，从而提高了网络的性能，改进后的网络模型如图 4 所示。1.5 消融实验在复杂的深度神经网络的背景下，需采用消融实验来描述去除网络的某些部分的过程，以更好地理解网络的行为。采用消融实验方法，通过分别添加不同网络模块，保持其他不变，比较本文提出的 3 种网络模型的可行性与有效性，进而说明该模块的有效性。首先对VGG19 网络模型的参数进行设置，具体的参数如表 1所示；然后在保证参数一致的前提下，加入多任务模型和 CBAM。实验结果采用训练准确率以及测试准确率进行评价，并设置了平均准确率，即颜色与形状准确率的均值，以此判断网络模型的性能高低，通过消融实验比较最终的分类准确率。表1 网络模型参数网络参数设置大小batch_size8img_size256learning_rate110-4epochs3002 结果2.1 消融实验结果消融实验结果如表 2 所示，以 VGG19 网络模型为主干，引入多任务学习模型后，颜色及形状的分类准确率都有所提升，平均准确率上升了约 2%。在加入CBAM 后，模型的准确率得到了进一步的提升。通过消融实验确定在引入多任务学习模型并加入 CBAM 后的改进 VGG19 网络模型，取得了最好的分类结果。图2 多任务学习模型注：BN：标准化层；ReLU：激活函数。图3 CBAM机制图4 改进VGG19网络模型注：ReLU：激活函数；BN：标准化层；CA：通道注意力模块；SA：空间注意力模块；AdaptiveAvgPool：自适应平均池化；fc：全连接层；Dropout：Dropout层。研究论著RESEARCH WORK15中国医疗设备 2023年第38卷 09期 VOL.38 No.092.2 改进的VGG19网络模型实验训练结果采用改进的 VGG19 网络模型训练 batch_size 以及CBAM 中多层感知器的缩减率。多层感知器的缩减率可以控制感知器中的神经元个数，从而降低参数开销。实验训练结果如表 3 所示，通过对不同的 batch_size 和缩减率进行研究发现，当缩减率为 1/8、batch_size 为 8 时得到的训练结果最好，颜色分类准确率为 93.90%，形状分类准确率为 95.12%，平均准确率为 94.51%。表3 模型训练结果缩减率 batch_size颜色分类准确率/%形状分类准确率/%平均准确率/%1486.5893.9090.24890.2495.1292.681681.7092.6887.193290.2492.6891.461/2485.3692.6889.02885.3696.3490.851690.2495.1292.683287.8093.9090.851/4485.3690.2487.80893.9092.6893.291691.4687.8089.633292.6892.6892.681/8487.8089.0288.41893.9095.1294.511691.4685.3688.413284.1496.3490.241/16487.8093.9090.85889.0297.5693.291684.1486.5885.363289.0287.8088.412.3 中医痧象特征与证型间的对应关系通过咨询北京工业大学医院胡广芹主任医师，获得了中医痧象特征与证型间的对应关系，之后结合网络模型的分类结果（表 4），可以对中医证型进行初步的判别，辅助医师进行诊疗。3 讨论与结论研究表明，VGG19 结构简单，具有较深的网络结构，能提取到足够的图像信息，且其以33的小卷积核为主，使得网络能提取到更多的局部细节信息，此外针对数据集图片模糊、分辨率低，从而影响模型识别精度的问题，可以引入注意力机制以增强模型特征提取的能力，同时针对神经网络参数大、易过拟合的问题，利用深度可分离卷积代替原始卷积，从而减少模型的参数量，使模型在训练时能更快收敛20-21。表4 痧象特征与证型关系颜色特征形状特征证型淡红点状正常人或虚证初期淡红片状正常人或虚证红点状热证初期红片状热证暗红点状血瘀证、寒证初期暗红片状实证、血瘀证、寒证程度重本实验以 VGG19 网络模型为主干，融合了多任务学习模型、CBAM，并在改进模型上进行了参数调优，实现了对于痧象颜色和形状特征的准确分类，二者的准确率分别达到了 93.90%和 95.12%，较武文强等22采用支持向量机针对痤疮痧象的自动分类结果提升了 20%左右。但本研究还存在以下问题：由于痧象特征没有进行更加细致的划分，其对应的症状可能存在一定的偏差，因此未来可以考虑对痧象特征进行更加细致的分类，从而使证型诊断更加准确。另外，中医舌、面、痧、脉等通常是一个整体，仅仅通过痧象对证型进行诊断存在一定的偏差，而通过不同诊断结果的结合能够对证型进行更加准确的判断。因此未来可以考虑和舌面等结合，提高诊断的科学性与合理性。综上所述，本研究采用多任务学习模型并加入CBAM 的改进网络取得了最高的分类准确率，对于颜色特征的三分类准确率可以达到 93.90%，对于形状特征的二分类准确率可以达到 95.12%，实现了对于痧象特征的自动化分类，可以用于中医辅助诊断以及临床教学，此外结合中医传统经验知识，能够实现对于中医证型的初步诊断，进而实现中医智能化。参考文献1 王俊文.常用中医诊断装备检测原理与多源信息融合方法J.中国医疗设备,2021,36(8):157-159.Wang JW.Detection principle of common TCM diagnostic equipment and conception of multi-source information fusion methodJ.China Med Devices,2021,36(8):157-159.2 姜荣荣,杨涛,徐桂华,等.刮痧痧象研究进展J.中华现代护理杂志,2021,27(9):1253-1255.Jiang RR,Yang T,Xu GH,et al.Research progress of scraping 表2 3种网络模型的消融实验结果VGG19网络模型多任务学习模型CBAM训练准确率/%测试准确率/%颜色形状平均值颜色形状平均值-86.7593.9790.3682.7190.2486.48-89.0295.1292.0785.3691.4688.4190.2495.1292.6882.9395.1289.02研究论著RESEARCH WORK16中国医疗设备 2023年第38卷 09期 VOL.38 No.09manifestationJ.Chin J Mod Nurs,2021,27(9):1253-1255.3 陈璐,林楚华,李健敏,等.从痧象论治温热病卫气分证J.四川中医,2016,34(7):40-41.Chen L,Lin CH,Li JM,et al.Study on the application of scraping therapy in treating the Weifen and Qifen syndrome of epidemic febrile diseasesJ.J Sichuan Tradit Chin Med,2016,34(7):40-41.4 韩立博,胡广芹,张新峰,等.基于痧象的脏腑功能失调预警方法J.北京生物医学工程,2021,40(3):233-238.Han LB,Hu GQ,Zhang XF,et al.The early warning method of visceral dysfunction based on Sha XiangJ.Beijing Biomed Eng,2021,40(3):233-238.5 王绍博,王琪琪,焦增涛,等.基于可解释性机器学习算法的开颅手术患者重症监护室住院时间预测模型J.中国医疗设备,2022,37(5):23-28.Wang SB,Wang QQ,Jiao ZT,et al.Prediction model of length of stay in intensive care unit for patients undergoing craniotomy based on interpretable machine learning,China Med Devices,2022,37(5):23-28.6 Simonyan K,Zisserman A.Very deep convolutional networks for large-scale image recognitionJ/OL.arXiv,20142023-02-07.DOI:10.48550/arXiv.1409.1556.7 王长宏,薛均来.家庭刮痧边学边用M.吉林:吉林科学技术出版社,2014.8 陈玉丙.养生专家的刮痧笔记M.吉林:吉林科学技术出版社,2013.9 熊丰,何迪,刘玉杰,等.基于改进VGG19卷积神经网络的肺炎图像分类(特邀)J.光子学报,2021,50(10):337-345.Xiong F,He D,Liu YJ,et al.Classification of pneumonia images based on improved VGG19 convolutional neural network(invited)J.Acta Photon Sin,2021,50(10):337-345.10 浦剑.多任务学习算法研究D.上海:复旦大学,2013.Pu J.Research on multitask learning algorithmsD.Shanghai:Fudan University,2013.11 田苗,林岚,张柏雯,等.深度学习在神经影像中的应用研究J.中国医疗设备,2016,31(12):4-9.Tian M,Lin L,Zhang BW,et al.Study on the application of deep learning in neuroimagingJ.China Med Devices,2016,31(12):4-9.12 邓卓,苏秉华,张凯.深度学习算法在乳腺肿瘤诊断中的应用研究J.中国医疗设备,2020,35(9):60-64.Deng Z,Su BH,Zhang K.Application of deep learning algorithms in diagnosis of breast cancerJ.China Med Devices,2020,35(9):60-64.13 陈朝一,许波,吴英,等.医学图像处理中的注意力机制研究综述J.计算机工程与应用,2022,58(5):23-33.Chen CY,Xu B,Wu Y,et al.Overview of research on attention mechanism in medical image processingJ.Comput Eng Appl,2022,58(5):23-33.14 张宸嘉,朱磊,俞璐.卷积神经网络中的注意力机制综述J.计算机工程与应用,2021,57(20):64-72.Zhang CJ,Zhu L,Yu L.Review of attention mechanism in convolutional neural networksJ.Comput Eng Appl,2021,57(20):64-72.15 任欢,王旭光.注意力机制综述J.计算机应用,2021,41(S1):1-6.Ren H,Wang XG.Review of attention mechanismJ.J Comput Appl,2021,41(S1):1-6.16 张直政.神经网络的注意力机制研究D.合肥:中国科学技术大学,2021.Zhang ZZ.Research on attention mechanism for neural networksD.Hefei:University of Science and Technology of China,2021.17 Woo S,Park J,Lee JY,et al.CBAM:Convolutional block attention moduleA.Proceedings of the European Conference on Computer Vision(ECCV)C.2018:3-19.18 秦姣华,黄家华,向旭宇,等.基于卷积神经网络和注意力机制的图像检索J.电讯技术,2021,61(3):304-310.Qin JH,Huang JH,Xiang XY,et al.Image retrieval based on convolutional neural network and attention mechanismJ.Telecommun Eng,2021,61(3):304-310.19 Wang SH,Zhou Q,Yang M,et al.ADVIAN:alzheimers disease VGG-inspired attention network based on convolutional block attention module and multiple way data augmentationJ.Front Aging Neurosci,2021,13:687456.20 杨双,王敬东,姜宜君,等.结合SoftPool的VGG19与CapsNet相级联的表情识别模型研究J.半导体光电,2021,42(6):897-903.Yang S,Wang JD,Jiang YJ,et al.Research on expression recognition model cascading with VGG19 and CapsNet of SoftPoolJ.Semicond Optoelectron,2021,42(6):897-903.21 Awan MJ,Masood OA,Mohammed MA.Image-based malware classification using VGG19 network and spatial convolutional attentionJ.Electronics,2021,10(19):2444.22 武文强,张新峰,孙艳玲,等.基于颜色与纹理的痤疮痧象证型自动分类初探J.北京生物医学工程,2014,33(6):565-569.Wu WQ,Zhang XF,Sun YL,et al.Preliminary study of automatic classification for Sha image based on color and textureJ.Beijing Biomed Eng,2014,33(6):565-569.本文编辑 盛伟C