基于人工智能的舌象辅助诊断系统.pdf

2 1 0 2 0 2 3年8期2 0 2 3年第4 5卷第8期基于人工智能的舌象辅助诊断系统陈涌铨 萧 彤 陈 萱 王 蕾 刘 欣收稿时间:2 0 2 3-0 6-0 6基金项目:广东省科技创新战略专项资金“攀登计划”2 0 2 2年度一般项目:舍象 服务设计视角下的舌象辅助诊断系统设计(p d j h 2 0 2 2 b 0 5 4 6)作者简介:陈涌铨(2 0 0 0-),本科生,研究方向为图像处理;刘欣(1 9 8 6-),博士,讲师,从事图像处理技术应用研究及教学工作,E-m a i l:l i u x i n f o s u.e d u.c n(通信作者)。(佛山科学技术学院 广东 佛山5 2 8 0 0 0)摘 要 舌象诊断是中医诊断中必不可少的方法之一,其蕴含丰富的健康信息,可成为中医智能诊疗的关键落足点。文中基于用户使用逻辑开发应用程序,融合了人工智能技术提取舌象影像特征,根据中医舌诊规范和临床指南进行了智能分析;再利用分析结果与信息化平台融合,开发了信息化、智能化的舌象辅助诊断系统。关键词:中医舌诊;人工智能;舌象辅助诊断系统中图法分类号 T P 1 8 3T o n g u e I m a g eA i d e dD i a g n o s i sS y s t e mB a s e do nA r t i t i c a l I n t e l l i g e n c eCHE NY o n g q u a n,X I AOT o n g,CHE NX u a n,WAN GL e i a n dL I UX i n(F o s h a nU n i v e r s i t y,F o s h a n,G u a n g d o n g5 2 8 0 0 0,C h i n a)A b s t r a c t T o n g u e i m a g ed i a g n o s i s i so n eo f t h ee s s e n t i a lm e t h o d s i nT CMd i a g n o s i s.I tc o n t a i n sr i c hh e a l t hi n f o r m a t i o na n dc a nb e c o m e t h ek e yf o o t h o l do f i n t e l l i g e n td i a g n o s i sa n dt r e a t m e n to fT CM.B a s e do nt h eu s e rsu s e l o g i c t od e v e l o pt h ea p p l i c a t i o np r o g r a m,t h i sp a p e r i n t e g r a t e st h ea r t i f i c i a l i n t e l l i g e n c et e c h n o l o g yt oe x t r a c t t h et o n g u e i m a g ef e a t u r e s,a n dr e a l i z e s t h e i n t e l l i g e n t a n a l y s i s a c c o r d i n g t o t h eT CMt o n g u ed i a g n o s i s s p e c i f i c a t i o n s a n dc l i n i c a l g u i d e l i n e s;T h e n,b yi n t e g r a t i n gt h ea n a l y s i s r e s u l t sw i t ht h e i n f o r m a t i o np l a t f o r m,a n i n f o r m a t i o na n d i n t e l l i g e n t t o n g u e i m a g ea i d e dd i a g n o s i ss y s t e mi sd e v e l o p e d.K e y w o r d s T CMt o n g u ed i a g n o s i s,A r t i f i c i a l i n t e l l i g e n c e,T o n g u ed i a g n o s i ss y s t e m0 引言互联网技术的发展为社区健康管理提供了技术可行性。然而,现代医学影像技术专业性强,技术要求高,设备价格昂贵,难以下沉至社区健康。相比之下,传统中医学的望闻问切,可以便捷地辨别患者的基本情况。舌诊是望中的重要组成部分,其在以深度学习为代表的A I智能化的研究中被广泛运用,已有大量研究采用图像识别技术实现了舌诊数字化。尽管图像处理技术已得到广泛研究,但是在解决社区健康管理的问题上,目前相关产品还存在用户体验较弱,产品以功能为中心,系统环境封闭,缺少拓展接口提供增值服务等问题。因此,本设计将以服务用户为中心开发系统U I界面,提供流畅的人机交互,为实现社区健康管理、健康预警以及中医数字化实践提供数据支持。1 产品概括舌象辅助诊断系统主要通过摄像头采集患者的舌象。将采集到的用户舌象智能分析结果进行存储记录,实现长期健康情况跟踪,并依据中医诊断理论对用户进行就医预警。用户健康数据将同步至医疗平台作为医生问诊的参考,以准确了解用户的健康状态,提高用户就诊效率;同时,可以提供用户舌象数据的客观分析,判断患者是否需要立刻前往医院进行诊断,减少用户在医院的等待时间。2 舌图像识别客观诊断原理2.1 舌诊原理舌头是由肌肉、血管和经络构成的肌性器官,这三者与脏腑之间有着紧密的联系。舌头的状态能够反映出五脏六腑的生理功能和病理情况,揭示身体的健康状况、疾病程度、病因和预后。在中医诊断中,舌诊是重要的望诊手段之一,可以通过观察舌头的状态了解身体生理功能和病理变化,并基于此进行个体化的治疗。2.2 机器视觉和中医医学影像分析原理中医舌诊是中医诊断的重要环节之一,其通过观察舌体的颜色和形态变化来感知患者疾病。机器视觉是人工智2 0 2 3年8期2 1 1 能的一个分支,它的目的是让计算机能够“看”,并理解看到的内容。它通过模仿人类视觉系统,使用数字图像处理技术和模式识别算法来实现这一目标。机器视觉在智能舌诊中可以用来识别和分析舌头的图像。通过检测舌头的形状、颜色和其他特征,医生可以进行远程检查,并为患者提供诊断建议。这种方法可以节省时间和经费,同时也可以提高诊断的准确性1。2.3 A P P设计逻辑作为一款面向大众用户的舌象辅助诊断A P P,其侧重点在于用户行为逻辑和使用体验。以用户行为逻辑为优先,分析A P P核心行为点,优化信息架构,同时进行界面视觉设计,为用户提供一款良好使用体验的A P P。3 图像处理与系统交互设计3.1 机器视觉和中医医学影像分析3.1.1 数据基本情况为确保所呈现的处理方法以及扩充舌像数据库,本文通过 中医舌诊彩色图谱 收集到6 5张不同状态的医学舌图像(大小为3 0 0*3 0 0像素);借用B i o H i t团队运用舌头图像采集设备采集拍摄下的3 0 0张医学舌图像(大小为7 6 8*5 7 6像素);通过发布问卷调查的形式征集到1 2 0张有效舌图像(大小为4 5 0*4 5 0像素)。3.1.2 图像预处理(1)直方图均衡化为提高图像质量,本文利用了基于直方图统计的方法,通过灰度变换将一幅图像转换为另一幅具有均衡直方图,将原图像中少像素的灰度分配到其他的灰度中,以达到像素相对集中的状态。(2)图像去噪在实际的舌象拍摄过程中,收集到的图像都会有噪声的存在,为了减少噪声对图像质量的影响,在对图像进行操作前要去除噪声。中值滤波是一种非线性滤波器,其作用原理主要是计算出每个像素点附件的所有像素点灰度的平均值来替换该点的灰度值。3.1.3 舌象分析(1)舌体分割舌体分割是从拍摄到的舌头图像中将舌头准确提取出来的过程。本系统采用G r a bC u t算法对舌体进行分割,利用图像中的纹理(颜色)信息和边界(反差)信息区分前景和背景区域,实现舌体区域分割效果。(2)舌质与舌苔分离在诊断过程中,舌质与舌苔均具有其独特的意义,因此在以上舌体分割提取出舌头图像后,还需要将舌质与舌苔进行分离。可以根据李文斌等提出的优化后的K-m e a n s聚类方法分离舌质与舌苔,其做法是把图像从R G B颜色空间转化为单通道的灰度图。把所有单通道图像进行两两组合。之后,观察像素直方图找出最合适的双通道组合图作为K-m e a n s聚类的初始中心点。最后,按照初始中心点把所有组合图像进行聚类,将他们分为两类并记录下每个类别像素点对应的位置信息,根据记录的位置信息还原出R G B颜色空间中效果最好的组合,从而得到舌苔和舌质。(3)特征提取将收集到的舌质与舌苔颜色对应的R G B数据转化到X Y Z空间,再由X Y Z空间转换到C I E L A B,得到对应点的L*(明度)、a*(红绿)、b*(黄蓝)值,然后通过肉眼观察出不同舌色的色域分布规律,并用数值拟合的方法将舌色归类。考虑到在C I E L A B三维空间分类界线求取的复杂性,根据舌色样本点在C I E L A B空间的分布情况以及舌色样本点与中医舌色类别的对应关系,选择了L*-a*平面和a*-b*平面进行简化。通过对相邻类型舌色边缘点的拟合得到边界曲线。最后,根据色域分布规律将各种的典型特征色提取出来。(4)疾病类型和症型定型化在舌质方面主要分为淡红舌、淡白舌、枯白舌、红绛舌、青紫舌五大类,其中淡红色舌体颜色白中透红代表着心血充足与气血调和,属于正常人的表征;淡白舌较正常舌色浅淡,白色偏多且红色偏少代表着气血两虚、阳虚;枯白舌舌色淡白,全无血色且无光泽代表着精血亏耗,全身营养极度虚损;红绛舌呈现深红或暗红色,为主热症的表现;青紫舌全舌呈均匀青色或紫色,或在舌色中泛现青紫色代表着主气血运转不畅,血瘀。在舌苔方面主要分为白苔、薄白苔、薄黄苔、灰黑腻润苔四大类,其中白苔呈正常白色常见于正常人同时也主表寒症;薄白苔苔薄色白,透过白苔可以看到舌体多见于正常人或表证初期阶段病情轻浅;薄黄苔舌苔薄呈现均匀淡黄色或微黄色,为邪热轻的表现,多见于风热表证或风寒化热入里;灰黑腻润苔白腻苔上出现部分灰黑色,舌质淡嫩、湿润,为阳虚寒湿,痰饮内停的征象2。3.2 舌象辅助诊断系统的交互设计分析3.2.1 核心行为点核心行为点可分为3点:首要核心行为点、过程核心行为点、结果核心行为点。(1)首要核心行为点当用户打开A P P时,第一眼看到的界面便是首页,首页包括的内容便有首要核心行为点。用户获得诊断结果首要的一步就是拍摄舌象。因此,首页要放置拍摄按钮,且拍摄按钮要为整个页面最突出的部分,以引导用户进行拍摄,拍摄以后才能引出下一个步骤。(2)过程核心行为点从拍摄到获得结果的流程中会存在一个过程,即系统如何获取一个清晰的舌象。进入拍摄界面以后,界面应该有清晰的指引来引导用户进行拍摄或上传舌象照片。(3)结果核心行为点用户最主要的结果行为点就是查看诊断结果和科学建议。在进行舌象拍摄后,通过数据模型分析,即可获得结移动信息2 1 2 2 0 2 3年8期果。结果页面应该包括用户舌象诊断结果以及专家的科学建议,这是用户完成以上任务后的一个结果反馈,也是健康管理必须要包含的一个结果反馈3。3.2.2 信息架构可以构建信息框架来为舌象诊断A P P的用户获得良好的使用体验。(1)导航栏舌象诊断A P P的导航栏指页面顶部或侧边区域的一排水平导航按钮,它链接着站点或软件内的各个页面。对于这款A P P来说,导航栏的最重要功能是引导用户使用拍照功能,只有这样才能推进后续步骤。此外,导航栏还可以设置“日历”这一功能,帮助用户进行每日的健康监控和打卡记录。同时,导航栏中的“我的”选项也很重要,方便用户进行账户管理和保护个人信息。综上,舌象辅助诊断A P P的导航栏包括“拍照”、“日历”和“我的”3个选项。(2)核心功能舌象辅助诊断A P P的核心功能就是通过拍照得到诊断结果和科学建议,因此从点击“拍照”按钮开始的步骤就是整个使用流程的核心步骤。具体步骤如图1所示。图1 A p p流程图(3)标签标签栏可看为次要按键,隐藏在导航栏的按键中。“我的”按键中包含的信息有账号信息、我的随诊、我的用药、我的预约、我的设置等。“日历”按键中包含的信息有日期、查看诊断结果等。3.2.3 界面视觉设计舌象辅助诊断A P P的首页使用全局放大布局,并在中心放置“拍照”按钮,导航栏使用比较圆滑的倒角,整体界面采用绿色主题色,配以清爽、放松、舒适的浅色色彩组合(A F C F C 2,F C F C F C,E 8 E 4 D E)和简约的圆角图标设计,更容易引导用户进行操作4。4 结语中医舌诊信息的标准化、客观化是舌象辅助诊断系统规范化应用的前提和基础,利用现代化信息技术,进行中医病证诊断的数据化和智能化是中医发展的必然趋势。本文通过对现有舌象诊断的技术进行比对与分析,探索出较为完整的高效的舌象辅助诊断系统。未来,需要强化中医理论在舌诊信息处理中的指导作用,将舌诊结果与其他诊断信息相结合,以实现全面、客观的舌诊分析,提高其临床实用性。同时,还需进一步完善舌象辅助诊断系统的建设,以提高其分析能力和临床应用价值。参考文献1张康.舌 图 像 自 动 分 割 算 法 的 研 究 D.南 昌:南 昌 大 学,2 0 0 9.2王爱民,赵忠旭,沈兰荪.基于矢量P r e w i t t算子的多尺度彩色图象边缘检测方法J.中国图象图形学报,1 9 9 9,4(1 2):1 0 2 4-1 0 2 8.3孙晓琳,庞春颖.一种改进s n a k e模型的中医舌体分割方法J.长春理工大学学报(自然科学版),2 0 1 3(5):1 5 4-1 5 6.4李文斌,李瑞华.一种优化K-m e a n s聚类的舌苔舌质分离方法J.河北工业科技,2 0 2 0,3 7(5):3 0 0-3 0 8.移动信息