人工智能在正畸正颌联合治疗的应用及展望.pdf

Stomatology(8):747-751747第43卷第8 期2023年8 月口腔医学人工智能在正畸正颌联合治疗的应用及展望杨振泽，林军摘要正畸正颌联合治疗作为针对骨性牙颌面畸形的主要治疗手段，要求正畸、外科、耳鼻咽喉、整形美容等多学科的参与，并且追求高精度、高标准以及最大限度功能修复。正畸调整与外科手术的局限性在于手术方案设计层面会出现两学科不协调的情况，而人工智能在正颌外科领域的渗透恰能填补这一缺陷，保证了其效率化、精准化。现对人工智能在正畸正颌联合治疗中的最新应用做以总结，并对其未来发展作出展望。关键词正畸正颌联合治疗；人工智能；多学科联合治疗中图分类号R783.5文献标识码 A文章编号1003-9872(2023)08-0747-05doi10.13591/ki.kqyx.2023.08.015Application and prospect of artificial intelligence in orthodontic and orthognathic combined treatmentYANG Zhenze,LIN Jun.(Orthodontics of Department,the First Afiliated Hospital,College of Medicine,Zhejiang University,Hangzhou310000,China)Abstract:Orthodontic-orthognathic combined treatment,as the main treatment method for maxillofacial deformities,requires the col-laboration of orthodontic,surgery,otorhinolaryngology,plastic surgery and other disciplines,and pursuits high precision,high stand-ards and maximum functional repair.The limitations of orthodontic adjustment and surgery often lead to incompatibility between them insurgical plan design.The penetration of artificial intelligence in orthognathic surgery can exactly address this flaw,ensuring its efficien-cy and precision.This article mainly describes the latest application and potential development trend of artificial intelligence in ortho-dontic and orthognathic combined treatment.Keywords:orthodontic and orthognathic combined treatment;artificial intelligence;multidisciplinary combined treatment近年来面部美学成为热潮，正畸正颌联合治疗作为现代医疗手段愈演愈烈1-2 。目前虽有三维数字化软件如Dolphin等参与，但在大数据背景下仍存在耗时过长、人工错误率高等弊端3-4。自2 0 0 6年起，深度学习体系结构的建立使得人工智能在几乎每个应用领域都取得了卓越的成功5。其由输人层和输出层之间的若干层组成，允许存在具有分层结构的非线性信息处理单元的多个阶段，用于特征学习和模块分类6 。基于此，在医学图像诊断、数据分类中,高精度预测的相关研究层出不穷7-9。人工智能与正颌外科的交融日趋高涨，鉴于精准设计对于软硬组织的美学重要性10 ，本文就人工智能在正畸正颌联合治疗过程中的术前诊断、正颌方案设计、机器人辅助手术、术后软组织预测作一综述。1全全自动术前诊断1.1X线头影测量自动化定点基金项目：国家自然科学基金（8 197 0 97 8）作者单位：浙江大学医学院附属第一医院口腔正畸科，浙江杭州(310000)通信作者：林军E-mail:对于错畸形患者，存在正畸掩饰或去代偿手术治疗这两种方法，而方案的选择最直观取决于X线头影测量标志点等影像学资料的分析。传统模式下的人工定点存在误差较大及耗时较长等问题，针对全自动定点软件的需求不断增高11。2 0 2 0 年，Wang等12 提出了一个利用贝叶斯卷积神经网络用于定点侧位图中不确定性区域的新型算法模型。通过卷积神经网络（CNN）模型迭代计算协同贝叶斯推理，可以在考虑标志点不确定性的情况下得出识别地标的置信区域（95%），并显著提高区域内精度。鉴于估计位置的不确定性和置信区域，临床医生应确定标志点的结果是否可靠，并作出更准确诊断。经过大量X线影像数据集的训练，此算法模型呈现出（1.531.7 4）mm的平均误差以及在2、3、4mm内实现了8 2.11%、92.2 8%和95.95%的成功检测率。相较于2 0 15年ISBI挑战的算法集12】,其对下颌角点的检测误差几近减少了一半。X线头影测量定点算法模型的不断优化使得临床分析诊断的依据更为可靠，且缩短了测量时间。2021年，Yao等13 提出了具有全局检测模块和局部748：杨振泽，等.人智能在止畸止联疗的应用及展望修改模块的全自动头影测量定点系统。训练的步骤模型为将头影侧位影像输人全局模块，以获得界标位置的初始估计，然后使用局部修改模块进行调整，以提高准确性。此系统将精确定点37 个标志点,同时将2 mm误差控制在了97.3%，1.5mm误差在89.19%，同样相较于ISBI挑战算法集12 ，此算法精度更高，更有利于辅助临床诊断。1.2骨骼分类的计算机模拟对于患者主诉要求强烈且无社会心理问题前提下的错验畸形，通过正畸掩饰性治疗无法使患者达到理想的咬合、功能、形态相协调。而基于X线头影测量全自动定点，Yu等14 提出了基于人工智能的头影测量自动分类。该研究以ANB角及Wits分析用于评估骨骼的矢状向及垂直向关系，旨在通过卷积神经网络实现端到端的全自动化诊断。其将所拥有的58 90 张侧位图通过旋转或平移5 10 增大数据集至5万，构建了具有改进Denset的多模式卷积神经网络的诊断算法模型。该模型有4个密集块，允许特征重用，以有效地使用数据中的信息并减少参数数量，将X线影像和患者数据（性别、加权层）的特征融合到模型，以便于利用患者信息进行分析。结论显示，异常垂直向关系的识别较正常垂直向关系的准确率高，矢状向关系的诊断也有近90%的正确率。2多维度数字化正颌方案设计在实际临床诊疗过程中，在综合评估患者的美观需求以及突、气道等情况后，需要在术前正畸前确定颌骨骨块大致的移动方案。得益于3D可视化正颌外科方案设计，医生可以大致预估术后的骨组织软组织面貌，并为术前正畸提供引导指示。其流程（图1）如下：诊断数据的收集；光学扫描牙列模型与CBCT牙列硬组织匹配对准；3dMDface面部扫描与CBCT软组织匹配对准；截骨线数字化模拟；骨块虚拟移动，数字化匹配终末咬合；3D板打印导出15。而在此流程中，数字化模拟逐级递加的误差易使目标位偏离。例如CBCT三维成像的牙列模型与光学扫描牙列模型匹配不一致，易致颌骨定位时偏差，而人工智能在此过程的参与将精度提升了一个层次,有效降低了误差所致的目标位偏差16 CBCT数据收软组织模型匹牙列模型匹配集导入配3D验板导出骨块移动设计/截骨线设计咬合数字化模拟T图1正颌设计流程Fig.1The process of orthognathic design2.13D重建模型全自动定点目前通过头影测量只能评判矢状向与垂直向关系，而对于冠状向关系失调为主的患者，如偏颌患者,需要通过CBCT三维模型重建来评定17 。偏颌患者在数字化模拟中校对面中线与上下牙中线时，同时需要评估额部中线与下颌中线的关系，此时额点定位的重要性不言而喻18 。在近年来文献所提及的头影侧位片标志点自动定点中，此技术可以把误差控制在2 mm以内13,并在不断趋于成熟。但三维模型全自动定点的研究尚不足。人为定点存在主观误差、中线不确定性等问题19，全自动化3D骨组织软组织标志点定点辅助诊断技术或可为此流程提供参考。最近，空间配置网络（SCN）联同CNN被提出，作为一种热力图回归方法，其集成了用于三维定位的空间配置模块。SCN在手部X线照片、侧位头影和脊椎CT扫描的数据集上展示的解剖标志定位结果已达临床需求，但此算法尚未在颅颌面CT扫描7492023年8 月第43卷第8 期口腔医学数据集上进行评估2 0 。由于高分辨率头部CT超出目前图像处理单元的容量，Dot等2 1 提出6 个SCN用于处理CT模块。其方法如下：SCN1训练低分辨率CT中的33个标志点，另外将高标志点区域分为5个高分辨率CT模块分别给SCN2SCN6用于识别训练，通过SCN1的粗略定位和SCN2SCN6的精细定位并预测界标的置信度。在无异常值情况下，此模型表现出2 mm内误差90.4%的准确率，并与全自动化头影测量图标志点匹配中，96.7%的骨骼测量和8 3.8%的齿槽测量显示误差 2 mm/2此外,在2 0 2 2 年,罗恩2 2 提出人工智能三维自动定点相关算法模型。基于人类颅骨、牙列的相似性，该模型利用点云配准和微分几何学的方法，实现由粗到精的自动识别和自动配准三维定点过程。其流程如下：首先定义基准颅骨模型并定位颅颌面外科标志点,通过替换牙列的目标颅骨模型与基准颅骨模型进行不重叠点云和重叠点云的自动匹配，使用微积分几何获得坐标系点的精确位置，并根据坐标点摆正颅骨模型后，通过迭代最近点算法获得剩余标志点的位置区域，再借助微积分几何获得精确位置。此法目前相对精确率尚未通过统计学检验分析，但经过不断优化算法模型及定点效率，已经初步开发出骨自动定点测量软件2.2截骨线自动设计虚拟截骨线设计时需考虑到重要解剖结构以及骨块移动对术后面型的影响2 3。例如,额成型截骨线位于两侧额孔水平处往下约5mm，避让额神经同时考虑截骨平面与下颌平面的角度。截骨线与下颌平面的倾斜角度失调往往会在骨块移动时影响面下1/3高度1。人为截骨线误差易致术中血管神经束压迫损伤，以及影响术后软组织美学定位的偏差。Qiu等2 4 基于卷积神经网络算法能够识别特征点并进行聚类分割，设计了一款AI截骨软件。其原理主要是深度学习云模型中的特征点，并添加聚类分割算法实现AI分割。随后将190 0 个3D头部CT用于训练集并将396 个用于验证集，通过大数据的训练提高精度缩短时间。该研究在截骨线距离下颌管最短距离方面表现为（3.90 8 0.36 1）mm，安全度指数可观，提供了较好的手术导航。若将此软件应用于额成型截骨线设计中，将便于手术医生术中颊神经准确定位，降低术后下唇麻木风险，同时辅助预测额部骨块前移时面下部高度的变化，提供更为精准的容貌外观2.3牙列模型数字化匹配当下三维虚拟咬合关系确定需要在光学扫描牙列模型基础上进行匹配校正，商用软件如Dolphin在进行CBCT牙列模型与光学扫描牙列模型匹配重合时，需要手动配准及计算机自动配准双重验证3。Chung等2 5 提出一种在CBCT图像和光学扫描牙列模型之间执行全自动配准的新方法。为了建立一种稳定的自动配准方法，其将深度姿态回归神经网络应用于缩小域（即二维图像）。随后，使用最优聚类执行精细配准。多数替换系统实现全局最优变换，而每个簇尝试优化局部变换参数。经相关专家确定，其利用扫描模型上10 个标志点的欧几里得距离来评估配准的准确性。实验表明,基于界标距离测量的该方法的配准精度比现有的性能最好的方法高33.0 9%。此研究的主要意义有两个方面：采用轻量级神经网络，这表明神经网络在提取容易获得的姿势线索方面的适用性；引入基于聚类的最佳配准方法，可以避免匹配过程中的金属伪影。在数字化设计中,匹配CBCT牙列模型与光学扫描牙列模型存在一定的精准度要求,并且在后期确定咬合关系生成三维打印验板时，其临床耗时及精准度要求更高。此研究结果若应用在半虚拟法3 咬合关系确定中，将更有效避免因板本身存在的误差导致术中上颌骨块双重定位2 6 的不一致和块择。2.4全自动骨块最优化移动三维虚拟骨块的移动需结合患者个性化要求、软组织面貌、咬合关系等相关标准综合评定，存在很强的主观性。例如由于骨块移动距离的限制，为达成良好面型可能需要在正畸术前去代偿时牺牲，故方案设计需考虑多层面因素。AI相较于人脑在大数据处理,多维度分析更具优势2 7 。罗恩2 2 利用骨块移动时一些相对客观的标准，基于人工蜂群最优算法，在迭代运算中寻找最优参数，实现骨块在三维层面的最优化移动方案，完成了自动化正颌方案设计。该算法模型表现出较为理想的智能手术方案,在临床指导具有一定的参考价值。未来在此基础可将个性化特征列人考虑范畴，实现最优化正颌方案设计。3高精度机器人辅助手术近年来，快速原型技术（rapid prototyping）的参与可将虚拟手术设计准确地转移到实际手术中2 7 。此时高精度三维打印导板更需高精度机器人辅助手术来与之适配。以成型为例，目前正颌外科手术中难以避免术中截骨线与截骨导板中截骨线的偏差，易致骨块对称性欠佳，手术强度增加。在骨科领750.杨振泽，等.人工智能在正畸正颌领联合治疗的应用及展望域，基于人工智能介导的机器人辅助手术已有相关应用2 8 。而颅颌面外科手术的关键步骤主要是对骨块的钻孔、研磨、切割等，当钻孔、切削具有一定程度的自动化时，可以降低切割过程重复调整造成的偏差、局部不对称、神经损伤等并发症，提高手术精度。Lin等2 9 设计了一款具备力反馈系统、增强现实导航系统、自动钻孔控制系统等的额成型辅助手术机器人,为该领域先例。而Sun等30 在下颌角辅助切削中使用了具有独立软件和便携式控制板的商用工业机器人，同样展现出在自动钻孔过程中稳定不移位的特性，机器人辅助手术是一种基于人一机器人合作的良好方法，此研究可以通过精确定位，自动钻孔引导精确的截骨线。只要外科医生将机器人手臂放置在相应的钻孔位置，根据导航系统的引导，机器人可以自动钻孔和后退，减少外科医生的工作量。钻孔过程后，根据术前钻孔计划使用实际截骨线有利于手术指导。当然，目前的研究在视觉引导层面略显不足,在LefortI型截骨术及下颌骨矢状劈开术涉及面深部重要解剖结构时需要进一步的交互辅助来解决判断的深度感知问题。自动化切削为当下研究热点，若此技术可应用于临床，可避免不均匀切削导致的骨性包边问题，将很大程度上解决手术骨块后退或旋转过大时的难题。并且，正颌术式在智能化背景下存在进一步改进可能。4术后软组织美学预测近年来，正颌手术出现了美学优先原则逐渐取代以往咬合优先原则的趋势。术后面貌预测对于正颌方案设计具有重大影响。日前使用Dolphin软件程序测量LeFortI截骨术和（或）下颌矢状劈开截骨术后精确预测三维软组织变化的能力的研究显示，准确性有限，尤其是在上唇和鼻底31-32基于此,Tanikawa等33 提出了利用深度学习和基于界标的几何形态测量方法（GMM），开发人工智能系统用于正颌外科术后三维面部形态。其原理如下：GMM使用同源地标，可定义为生物样本上特定标志点，并可在物种之间直接进行比较。通过形态学可以系统地映射，通常在“形态空间”中，使用这些地标显示形状。GMM依赖于地标坐标数据的叠加，将个体放置在公共形态空间中，由深度学习使用相同数量的输人，从而构建三维软组织面貌。研究结果表明该系统误差为（0.8 90.30）mm。在鼻翼、部、嘴角和下唇中观察到最大误差。1mm误差的成功率为7 4%，而 2 mm误差的成功率为10 0%，但在横向和垂直变化似乎难以预测关于术后软组织预测的相关研究中表明，软组织的三维模拟不是基于位移比，而是基于称为近似模型的算法，该算法基于施加的力来预测软组织位移。最广泛使用的近似模型是基于软组织生物力学特性的有限元模型（FEM）、基于变形的数学近似的多层质量-弹簧模型（MSM）和结合前两种方法优点的质量张量模型。但现在看来机器学习模型更为精确地预测了术后的面貌，可作为良好的医患沟通工具。在日后不断优化算法模型，可以将面部动态功能运动纳人范畴，借助新型立体摄影测量技术，获得动态4D模型，预测术后微笑貌变化。5结语相较于传统模式，数字化正颌外科设计已然有了巨大进步，而今人工智能在医学领域的渗透也将正颌外科带人新的领域。基于目前研究，人工智能或能从以下方面对正畸正颌联合治疗过程进行改善：个性化诊断设计，优化人工蜂群算法模型，输人层考虑患者主观意愿，鼻部、颧部、眶部等软组织差异及手术干预等，智能输出最优化正颌设计方案；4D 动态术后模拟，基于现有数字化软件如Zebris对动态数据的获取分析，深度学习模型可考虑面部动态特征点学习，从而获得4D动态术后模拟34；混合现实技术应用35,结合人工智能与混合现实技术,辅助术中解剖结构定位及骨块移动校对,改进正颌术式，提高手术效率。综上，人工智能在正畸正颌联合治疗中大有前景，我们对其未来发展拭目以待。参考文献1FarhadB.Naini.正颌外科学原则、策略和实践M.上海：上海科学技术出版社，2 0 2 1：390-393.2McNamara L,MeNamara JA Jr,Ackerman MB,et al.Hard-andsoft-tissue contributions to the esthetics of the posed smile in grow-ing patients seeking orthodontic treatment J.Am J Orthod Dento-fac Orthop,2008,133(4):491-499.3SwennenGRJ.3D数字化正颌外科设计与治疗M.西安：世界图书出版公司，2 0 18：2 17-2 2 0.4Shaheen E,Sun Y,Jacobs R,et al.Three-dimensional printed fi-nal occlusal splint for orthognathic surgery:Design and validationJ.Int J Oral Maxillofac Surg,2017,46(1):67-71.5Erickson BJ.Basic artificial intelligence techniques:Machinelearning and deep learning J.Radiol Clin North Am,2021,59(6):933-940.6Hang JY,Zhang ML.Collaborative learning of label semantics anddeep label-specific features for multi-label classificationJ.IEEE丹）（本文编辑：曹7512023年8 月第43卷第8 期口腔医学Trans Pattern Anal Mach Intell,2021,PP:2021Dec20.7Park SH,Han K.Methodologicguide for evaluating clinical per-formance and effect of artificial intelligence technology for medicaldiagnosis and prediction J.Radiology,2018,286(3):800-809.8London AJ.Artificial intelligence and black-box medical decisions:Accuracy versus explainabilityJ.Hastings Cent Rep,2019,49(1):15-21.9Jin L,Shi F,Chun QP,et al.Artificial intelligence neuropatholo-gist for glioma classification using deep learning on hematoxylinand eosin stained slide images and molecular markersJ.Neuro-oncology,2021,23(1):44-52.10】王思维，叶嘉慧，刘云松，等.数字化虚拟仿真设计在口腔美学修复中的应用和研究进展J.中华口腔医学杂志，2 0 2 2，57(1):101106.11 Bulatova G,Kusnoto B,Grace V,et al.Assessment of automaticcephalometric landmark identification using artificial intelligenceJ.Orthod Craniofac Res,2021,24(Suppl 2):37-42.12 Wang CW,Huang CT,Lee JH,et al.A benchmark for comparisonof dental radiography analysis algorithms J.Med Image Anal,2016,31:63-76.13 Yao J,Zeng W,He T,et al.Automatic localization of cephalomet-ric landmarks based on convolutional neural network J.Am JOrthod Dentofacial Orthop,2022,161(3):e250-e259.14 Yu HJ,Cho SR,Kim MJ,et al.Automated skeletal classificationwith lateral cephalometry based on artificial intelligence J.JDent Res,2020,99(3):249-256.15 Elnagar MH,Aronovich S,Kusnoto B.Digital workflow for com-bined orthodontics and orthognathic surgery J.Oral MaxillofacSurg Clin North Am,2020,32(1):1-14.16 Xiao DQ,Lian CF,Deng H,et al.Estimating reference bonyshape models for orthognathic surgical planning using 3D point-cloud deep learningJ.IEEE J Biomed Health Inform,2021,25(8):2958-2966.17 Fan Y,Beare R,Matthews H,et al.Marker-based watershed trans-form method for fully automatic mandibular segmentation from CBCTimagesJ.Dentomaxillofac Radiol,2019,48(2):20180261.18 Ajmera DH,Hsung RTC,Singh P,et al.Three-dimensional as-sessment of facial asymmetry in Class II subjects.Part 1:A retro-spective study evaluating postsurgical outcomes J.Clin Oral In-vestig,2022,26(7):4947-4966.19 Zheng X,Wang L,Zhang B,et al.Accuracy of two midsagittalPlanes in three-dimensional analysis and their measurement in pa-tients with skeletal mandibular deviation:A comparative study J.Br J Oral Maxillofac Surg,2018,56(7):600-606.20 Payer C,Stern D,Bischof H,et al.Integrating spatial configura-tion into heatmap regression based CNNs for landmark localizationJ.Med Image Anal,2019,54:207-219.21 Dot G,Schouman T,Chang S,et al.Automatic 3-dimensionalcephalometric landmarking via deep learning J.J Dent Res,2022,101(11):1380-1387.22罗恩.人工智能正颌外科的探索与临床初步应用J.国际口腔医学杂志，2 0 2 2，49(2）：12 5-131.23 Weiss RO 2nd,Ong AA,Reddy LV,et al.Orthognathic surgery-LeFort I osteotomyJ.Facial Plast Surg,2021,37(6):703-708.24 Qiu XH,Han WQ,Dai L,et al.Assessment of an artificial intelli-gence mandibular osteotomy design system:A retrospective studyJ.Aesthetic Plast Surg,2022,46(3):1303-1313.25 Chung M,Lee JY,Song W,et al.Automatic registration betweendental cone-beam CT and scanned surface via deep pose regressionneural networks and clustered similaritiesJ.IEEE Trans MedImaging,2020,39(12):3900-3909.【2 6 万竹青，沈国芳.正颌手术上颌骨精确定位技术的进展J.口腔医学，2 0 18,38(10)：934-937.27 Badai J,Bu Q,Zhang L.Review of artificial intelligence applica-tions and algorithms for brain organoid research J.InterdiscipSci,2020,12(4):383-394.28 Suarez-Ahedo C,Gui CC,Martin TJ,et al.Robotic-arm assistedtotal hip arthroplasty results in smaller acetabular cup size in rela-tion to the femoral head size:A matched-pair controlled study J.Hip Int,2017,27(2):147-152.29 Lin L,Xu C,Shi YY,et al.Preliminary clinical experience of ro-bot-assisted surgery in treatment with genioplasty J.Sci Rep,2021,11(1):6365.30 Sun MZ,Chai YH,Chai G,et al.Fully automatic robot-assistedsurgery for mandibular angle split osteotomy J.J Craniofac Surg,2020,31(2):336-339.31 Elshebiny T,Morcos S,Mohammad A,et al.Accuracy of three-dimensional soft tissue prediction in orthognathic cases usingdolphin three-dimensional softwareJ.J Craniofac Surg,2019,30(2):525-528.32 Resnick CM,Dang RR,Glick SJ,et al.Accuracy of three-dimen-sional soft tissue prediction for Le Fort I osteotomy using Dolphin3D sofware:A pilot studyJ.Int J Oral Maxillofac Surg,2017,46(3):289-295.33 Tanikawa C,Yamashiro T.Development of novel artificial intelli-gence systems to predict facial morphology after orthognathicsurgery and orthodontic treatment in Japanese patients J.SciRep,2021,11(1):15853.34胡婷姿，杨海萍，肖沛，等.Zebris下颌运动分析系统的应用与研究现状J.口腔医学，2 0 2 1，41（12）：112 9-1133.35 Venkata HS,Alsadoon A,Prasad PWC,et al.A novel mixed re-ality in breast and constructive jaw surgical tele-presence J.Comput Methods Programs Biomed,2019,177:253-268.（修回日期：2 0 2 2-11-2 1）