基于机器学习的超声造影分析综述.pdf

ISSN 10049037，CODEN SCYCE4Journal of Data Acquisition and Processing Vol.38，No.4，Jul.2023，pp.741-758DOI：10.16337/j.10049037.2023.04.001 2023 by Journal of Data Acquisition and Processinghttp：/Email：sjcj Tel/Fax：[phone]基于机器学习的超声造影分析综述万鹏1，刘晗2，赵俊勇1，薛海燕2，刘春蕊2，邵伟1，孔文韬2，张道强1（1.南京航空航天大学计算机科学与技术学院，南京 211106；2.南京鼓楼医院超声诊断科，南京 210008）摘要：超声造影（Contrastenhanced ultrasound，CEUS）通过外周静脉注入超声造影剂，显著增强来自肿瘤微血管的血流信号，便于临床医生以实时、动态的方式评估肿瘤血管生成、周边浸润等，广泛应用于多器官病变诊断、预后评估和治疗方案规划等方面。近年来，以深度学习为代表的机器学习方法快速发展，为动态超声造影智能分析带来新的机遇。深度学习方法很大程度上拓宽了超声造影临床应用范围，提高了其诊疗效能。但与常规超声影像类似，超声造影仍然存在斑点噪声、呼吸运动干扰和标准化程度低等问题，使得动态灌注时间、空间信息挖掘面临挑战。本文系统性回顾了近年来超声造影智能分析相关工作，涵盖良恶性鉴别、恶性分级、疗效预测和诊疗方案选择等方面应用，总结了当前影像组学及深度学习方法在超声造影分析领域的最新进展，并指出当前研究的局限性和未来发展方向。关键词：超声造影；深度学习；影像组学；疾病诊断中图分类号：TP391 文献标志码：AContrastEnhanced Ultrasound Analysis Based on Machine Learning:A SurveyWAN Peng1，LIU Han2，ZHAO Junyong1，XUE Haiyan2，LIU Chunrui2，SHAO Wei1，KONG Wentao2，ZHANG Daoqiang1(1.College of Computer Science and Technology,Nanjing University of Aeronautics&Astronautics,Nanjing 211106,China;2.Department of Ultrasound,Nanjing Drum Tower Hospital,Nanjing 210008,China)Abstract：Contrastenhanced ultrasound（CEUS）is a powerful diagnostic tool that enhances blood flow signals from tumor microvessels through the peripheral venous injection of ultrasound contrast agents.This enables clinical physicians to dynamically evaluate tumor angiogenesis in realtime.CEUS imaging is widely used for the diagnosis，postoperative evaluation，and treatment planning of multiple organs.In recent years，deep learning techniques have made considerable progress，offering new opportunities for the intelligent analysis of dynamic CEUS.Deep learning methods have widened the scope of clinical applications largely，improving its efficacy of diagnosis and treatment.However，similar to the traditional ultrasound imaging，CEUS is faced with the challenges of interference from speckle noise，respiratory motion，and low standardization，making the analysis of spatialtemporal information of dynamic perfusion become difficult.This paper systematically reviews recent research on the intelligent analysis of CEUS，covering clinical applications such as benignmalignant differentiation，malignant grading，therapeutic prediction，and the selection of diagnosis and treatment plans.We summarize the latest advances of radiomic and deep learning methods in the area of CEUS imaging analysis，and highlight the limitations of 基金项目：国家自然科学基金（62136004，62276130）；江苏省重点研发计划（BE2022842）。收稿日期：20230522；修订日期：20230621数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.4,2023current research and future directions for development.Key words:contrastenhanced ultrasound(CEUS);deep learning;radiomics;disease diagnosis引 言医学超声（Medical ultrasound）是一种利用超声波成像的影像技术，广泛应用于临床疾病筛查、病变诊断、预后评估和手术导航中。与临床常见的计算机断层扫描（Computer tomography，CT）和磁共振成像（Magnetic resonance imaging，MRI）相比，超声影像能够以实时、动态扫描的方式显示人体各器官组织，具有安全性高、可操作性强、成本低、无辐射危害和易于携带等优势，在大规模疾病筛查和长期监护等方面具有不可替代的地位，成为胎儿健康情况检查1、甲状腺/乳腺结节检测23、肝脏疾病4和心脏疾病诊断5等领域首选的影像检查。在临床诊疗中，血管生成是肿瘤生长、侵袭的基础，是评估肿瘤恶性程度、转移复发可能性的重要依据67。由于人体血细胞的回声信号远低于周围组织，常规超声难以捕捉血流信号，显示其空间分布及血流状态的变化。彩色多普勒超声利用多普勒技术，以彩色编码方式实时显示血管解剖结构、血流方向、速度等信息，辅助临床医生观察病变组织的血供特征8。然而常规彩超只能显示 0.5 mm 以上的大血管，对肿瘤内部及周边微小血管内血流信号敏感性较低，难以观察其微循环灌注模式。为了提高超声成像对微血管血流的敏感性，超声造影（Contrastenhanced ultrasound，CEUS），又称对比增强超声，如图 1所示，通过外周静脉注入超声造影剂（六氟化硫SF6），显著增强来自微血管血流的背向散射信号并抑制组织回声，极大地提高了图像信噪比910。由于超声造影剂直径只有 5 m，低于人体红细胞直径，超声造影图像分辨率显著提高，使得常规彩超下难以发现或无法明确诊断的病灶得以鉴别。与其他对比增强影像，如计算机断层造影（Contrastenhanced computer tomography，CECT）相比，超声造影在具有传统超声无辐射、实时动态成像优势的同时，能够勾画出肿瘤滋养血管的形态，显示其空间分布及走向。临床诊断主要依靠医师持续观察病变组织及周边实质的造影增强模式，以肝癌诊疗为例，利用肿瘤与正常实质间血供差异，超声造影能够敏感地显示癌灶的大小、浸润范围和形态，在评估肝癌恶性程度9、定位消融范围、确认复发癌12等方面具有重要临床价值。如图 2所示，超声造影分析包括定性和定量两种方式（如表 1所示）：（1）定性评估动态灌注过程中造影增强形态、增强方向及消退程度等特征；图 1超声造影成像原理11Fig.1Imaging principle of CEUS11742万鹏 等：基于机器学习的超声造影分析综述（2）定量分析病灶内及周边灌注强度随时间变化模式，包括峰值强度、曲线下面积、达峰时间和平均渡越时间等1314。灌注曲线即感兴趣区域内平均时间强度曲线（Time intensity curve，TIC），经灌注模型（如 Logarithmic 或 Gammavariate 函数）拟合消除可能的扰动15。其中，定性评估依赖医师临床经验，主观性强，存在观察者内/间差异，可重复性有限；定量灌注参数虽然能够表征肿瘤血供模式，但丢失了空间信息，难以直观刻画肿瘤内部异质增强模式。此外，该方式依赖人工选取的感兴趣区域（Region of interest，ROI），同样存在主观局限性。由成像原理可知，造影空间分布特征及其动态增强模式均与肿瘤及周边组织血管生成、细胞分布及坏死情况相关。如胆管细胞癌造影往往表现为周边不均匀高增强，是因为其周边癌细胞分布，中心组织为纤维间质。当前，临床分析主要依赖诊断经验或回顾性统计分析，总结归纳不同肿瘤分型典型的增强模式，推断其组织病理形态。事实上，该假设与影像组学基本一致，量化造影增强特征将进一步提高其临床效能1617。近年来，以深度学习为代表的机器学习方法为影像组学带来新的机遇，以卷积神经网络（Convolutional neural network，CNN）18、递归神经网络（Recurrent neural network，RNN）19和 Transformer20为代表的深度网络能够以数据驱动的方式表征造影增强模式，挖掘与病灶组织学相关联的灌注特征，如肿瘤血管生成、组织血供和肿瘤微环境等，对指导临床疾病诊疗具有重要指导意义。在此背景下，本文首次回顾了机器学习方法在超声造影智能分析中的应用，总结最新进展、当前研究的局限性及后续潜在发展方向。其中，第 1章介绍超声造影预处理、分析主要任务，包括运动校正、病灶识别、灌注可视化和分类等；第 2 章介绍当前结合机器学习的超声造影智能分析在临床中的最新应图 2临床超声造影定性/定量分析Fig.2Qualitative/quantitative assessment of clinical CEUS表 1临床超声造影定性/定量评估方式Table 1Qualitative/quantitative evaluation method of clinical CEUS评估方式定性评估定量评估观察内容不同阶段造影增强模式：增强程度，增强均匀性，血管构筑形态，消退程度，增强方向等基于时间强度曲线（TIC）的动能参数分析：峰值强度，达峰时间，曲线下面积，平均渡越时间，完全消退时间优势保留空间信息，直观刻画微血管空间分布量化肿瘤灌注过程，便于统计分析局限性主观性强可重复性差敏感性低丢失空间信息，ROI选取主观743数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.4,2023用，涵盖良恶性鉴别、恶性分级、疗效预测和治疗方案选择等；最后，第 3章面向深度学习方法讨论了当前超声造影灌注模式分析研究的局限性、挑战及后续可能的发展方向；第 4章为全文总结。全文结构如图 3所示。1 影像分析任务 呼吸运动校正是动态超声造影定量分析的首要步骤，尤其是在腹部肝脏超声造影分析中。周期性器官运动将使感兴趣区域内的超声信号混叠周边组织回声，以临床常见灌注曲线分析为例，呼吸运动造成灌注峰值、达峰时间等参数估计偏差，影响临床定量评估。其次，病灶自动检测、识别是影像组学分析的必要步骤。部分工作尝试挑选关键帧进行标注，然而，肿瘤内部新生血管分布不均匀、且存在浸润性生长特性，单一增强模式难以有效鉴别病灶和周边组织的边界。为了更加直观地评估异质增强模式，灌注参量成像是目前广泛应用的可视化方法之一，它能通过提取像素级灌注参数以表征不同组织血流灌注差异。然而单个参量视图只能反映单一维度灌注信息，如曲线下面积视图仅反映了血供容量差异，因此需要新的灌注可视化方法以全面表征异质增强模式，为后续挖掘与肿瘤病理相关联的灌注特征提供基础。最后，灌注影像分类是实现临床疾病辅助诊断、患者分层及预后评估等应用的必要途径，如图 4所示，一系列机器学习方法，如多视图融合、动态因子分析、结构化支持向量机、深度置信网络图 3超声造影智能分析综述结构Fig.3Review framework of CEUS intelligent analysis图 4基于灌注曲线相似性度量的病灶识别21Fig.4Lesion recognition based on similarity measure of perfusion curves21744万鹏 等：基于机器学习的超声造影分析综述和三维卷积神经网络等，被相关研究应用于特定临床任务。1.1运动校正为了抑制呼吸运动带来的干扰，当前研究可分为基于图像配准2223、呼吸门控2425及混合型呼吸补偿方法2627，如表 2概述。其中，图像配准算法通过估计二维仿射变换或非刚性形变场，直接对齐超声造影序列。相关研究大多集中在基于特征点的配准算法（Pointbased registration，PBRT），其校正性能取决于特征点对造影增强纹理、亮度和对比度等变化是否敏感。Bakas等28比较了 19种基于特征点的配准算法，指出紧凑实时图像描述符（Compact and realtime descriptors，CARD）在对齐肝脏超声造影序列任务中具有最优性能。该类型方法可视为病灶跟踪算法，基于初始病灶轮廓和帧间形变场跟踪病灶位置变化，完全依赖超声造影模态本身。实际上，超声造影反映了组织血供的变化，而高对比度解剖结构，如肝包膜、大血管等特征更多地保留在常规灰阶超声视图中。利用临床双幅成像技术，更多研究尝试从灰阶超声中估计病灶运动信息，并同步校正超声造影视图。由于两两配准超声图像存在计算成本高、耗时长和易受噪声干扰等缺点，同时保留足够的关键帧并不会影响灌注影像分析，相关学者提出呼吸门控算法2425，通过估计患者呼吸运动曲线并提取特定相位超声子序列，恢复无运动干扰的灌注曲线。门控算法的本质是从高维动态图像中提取对应位置信息的低维分量，相关算法包括主成分分析30、非负矩阵分解31和独立成分分析32。但由于呼吸相关的不确定因素较多，如患者心率、情绪和咳嗽等，相同呼吸相位超声序列未必对应相同的病灶位置，且目标可能处于平面外（Outofplane）。Wang等30提出同时评估呼吸曲线的幅度和相位信息，但该方法需要为每个受试者指定筛选阈值。进一步，相关学者提出混合型补偿算法，即将呼吸门控和图像配准算法结合，通过配准进一步校正表 2肝脏超声造影运动校正方法比较Table 2Comparison of motion correction method of liver CEUS运动校正方式图像配准呼吸门控图像聚类混合型算法基于像素相似性的配准算法29：互信息相似性度量；基于特征点的配准算法28：SURF，SIFT，HOG，CARD基于降维的呼吸曲线估计：PCA30，NMF31，ICA32基于图像相似性的聚类算法33：谱聚类，稀疏子空间聚类多阶段校正方法：呼吸曲线估计和图像配准27，图像配准和参考帧挑选34，运动特征估计和图像聚类35优势适用于跨模态图像配准噪声、亮度、尺度不敏感计算成本低对不规则呼吸运动、平面外运动不敏感对不规则呼吸运动、平面外运动不敏感局限性噪声敏感计算成本高信息冗余计算成本高耗时长信息冗余对不规则呼吸运动、平面外运动（Outofplane motion）校正性能差依赖图像相似性度量多阶段校正复杂度高745数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.4,2023同一相位超声子序列36。Zhang等34提出了一种基于配准相似性测度的半自动化帧选择法。首先全局配准常规超声序列，然后在呼吸周期内保留与模板帧相似的灌注时刻，该方法可以理解为一种优化的挑帧策略。类似地，部分研究尝试了基于图像聚类的校正算法，包括谱聚类和稀疏子空间聚类等33。本文作者在早期工作中提出了基于运动估计的呼吸补偿方法35，结合连续最优传输算法对常规灰阶超声图像中解剖结构灰度和位置联合建模，通过最优匹配映射估计运动信息，最后结合聚类算法挑选出具有相同位置的超声子序列。1.2病灶识别在常规超声造影检查中，超声医师需要反复观察动态灌注过程，分析病变组织及周边实质造影增强特征。无论是定性观察增强形态，还是定量分析灌注曲线，临床医师都需要手动勾勒病变区域轮廓以持续评估血流灌注变化。然而，手工勾画病变区域高度依赖医师的专业积累，不同医师勾画存在主观差异，即使是同一名医师，其不同时刻的观察也可能存在差异，临床评估客观性有限。为了减少观察者间/内的差异性，一系列自动或半自动分割方法应用于 CEUS 成像中的病变区域识别21，3738。不同于传统二维或三维病灶识别任务，超声造影病灶分割是利用局部组织的动态灌注差异鉴别病变和正常组织。早期研究将该任务简化为基于最优帧的二维分割任务，并设计了一系列最优帧自动鉴别算法。理论上，该帧能够在最大程度上显示病灶轮廓，经验上为初始灌注至达峰的某个时刻。为了实现最优帧自动鉴别，Bakas等39分别提出了基于增强速率、增强扩散和邻域增强扩散的鉴别方法，其基本假设为造影增强速率达到峰值时，造影帧内组织对比度最高。为了消除可能的运动干扰，Bakas等采用滑动滤波器平滑灌注强度曲线，提高算法可靠性。由于平均增强水平可能丢失空间信息，在基于增强扩散的方法中，采用标准差（Standard deviation，SD）和四分位数范围（Interquartile range，IQR）作为量化“对比度”的新指标，通过分析其随时间变化模式自动鉴别最优帧。最后，基于邻域增强扩散的算法将统计特征分析拓展至邻域，寻找对应的增强模式。然而，基于最优帧的病灶分割方法不可避免地丢失了动态灌注信息，单个造影帧难以保证有效鉴别病变和正常实质边界。在临床实践中，超声医师通过比较不同组织增强程度随时间变化模式实现病变区域定位。例如，肝脏恶性肿瘤通常由肝动脉供血，相对于门静脉血供为主的肝实质，通常表现为动脉期高增强和门静脉期“显著”消退趋势。Paire等40提出了基于自组织映射的 TIC 聚类方法应用于肝造影分割。自组织映射（Selforganizing mapping，SOM）网络是一种竞争学习型的无监督神经网络，能将高维输入数据映射到低维空间，同时保持输入数据在高维空间的拓扑结构。考虑到像素 TIC 更易受到成像噪声的影响，Paire等选择在图像块级 TIC上进行分组预测。如图 4所示，Bakas等21将局部 TIC的二维坐标信息融入 TIC 特征表示，然后结合期望最大化（Expectation maximization，EM）优化算法与高斯混合模型（Gaussian mixture model，GMM）41对 TIC特征向量进行聚类，将具有类似增强模式的图像块分组。随着深度学习在医学影像分割任务中的广泛应用，相关研究开始设计端到端的深度分割网络。Meng等42提出 CEUSegNet模型应用于颈部淋巴结和乳腺病灶识别，该模型通过跨模态注意力模块融合常规灰阶和造影增强视图特征，联合双模态视图识别病灶区域。但该模型仅考虑单个造影帧增强特征，忽视了动态灌注模式中包含的有效信息。将超声造影看成视频数据，研究人员尝试将视频理解领域最新成果引入动态超声造影视频分析。其中，三维卷积神经网络（3D CNN）是最为广泛应用的基础模型，Feng等43利用 3D CNN 提取图像块级增强时空特征用于前列腺病灶识别。相比以整个造影序列作为模型输入，该模型以更低的内存消耗完成病灶识别任务。笔者提出的 CEUSNet模型44以连续造影帧为输入，沿通道拼接，基于卷积操作提取动态增强信息应用于甲状腺和乳腺结节分割任务，网络结构如图 5所示。746万鹏 等：基于机器学习的超声造影分析综述1.3灌注可视化灌注参量成像（Perfusion parametric imaging，PPI）是目前临床上广泛应用的灌注可视化方法之一，以彩色编码（热力图）直观展示像素级灌注参数空间分布模式。常见的 PPI视图包括初始到达时间（Time arrival，TA）、灌注峰值（Peak value，PV）、平均渡越时间（Mean transit time，MTT）和曲线下面积（Area under curve，AUC）等。这些参量视图从不同层面反映了病灶及周边实质血供的差异，比如初始到达时间视图直观展示了增强开始阶段血管构筑形态。与区域平均 TIC 曲线相比，PPI视图保留了超声造影空间信息，为临床提供更丰富的诊断信息。除了辅助疾病诊断，PPI成像还被应用于运动校正算法性能评估，观察校正后的图像能够更好地保留灌注细节27。目前，PPI视图分析大多依赖主观评估，结合机器学习算法的增强模式分析有待进一步挖掘。造影超声弥散成像（Contrast ultrasound dispersion imaging，CUDI）是另一种常见的灌注可视化方法，利用病变和正常组织微血管结构和功能上的差异进行成像，从而辅助病灶的识别与定位45；其成像基本原理是度量单像素 TIC 与其周边 TICs相似性，并通过热力图展示局部灌注平滑程度。一种简单的方式是直接比较局部 TIC 参数差异；另一种方式是计算灌注曲线差异，如光谱相干度（Spectral coherence），时间相关度（Temporal correlation），互信息（Mutual information），弥散系数（Dispersion coefficient），平方相关系数（Squared correlation coefficient）等4649。如图 6所示，与 PPI成像类似，CUDI成像准确性取决于像素级 TIC 提取。通常单像素 TIC 曲线经灌注模型平滑拟合或低通滤波处理后，能进一步消除噪声干扰。为了提高灌注模型对灌注异质性表征能力，Rizzo等50改进灌注模型 Gammavariate函数，在变分贝叶斯框架下融入血流灌注先验估计灌注参数。1.4灌注分类影像组学的发展为动态超声造影定量评估提供了新的范式。通过提取不同时相造影增强形态特征和基于灌注曲线的功能特征，挖掘与肿瘤病理相关联的影像特征（如图 7所示），从而辅助临床疾病诊图 5 基于深度学习的超声造影病灶识别网络结构比较Fig.5 Comparison of network structures for CEUS lesion recognition based on deep learning747数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.4,2023断、手术方案选择和预后评估。在影像组学分析综述中，Theek等16分析了基于像素强度、形状、纹理与小波的结构特征、基于血管密度、最大直径与血管分支个数的形态特征和基于 TIC 动能参数的功能特征在肿瘤分类，分期和预后评估中的作用。在 3种小鼠移植肿瘤鉴别中，通过对特征进行聚类、选择，结合支持向量机（Support vector machine，SVM），分类器达到了 82.1%的分类精度。具有诊断价值的特征包括像素强度中值、灰度共生矩阵（Gray level cooccurrence matrix，GLCM）和血管网络长度等。考虑灌注影像的多相位特征，相关研究将动态造影增强模式分析转化为多视图学习问题。如 Guo等5152结合典型相关分析（Canonical correlation analysis，CCA）和多核学习分类器（Multiple kernel learning，MKL）融合肝造影中动脉相，门脉相和延迟相增强特征进行肝病变良恶性鉴别。后续研究中，引入常规灰阶视图和深度表征学习技术进一步提升了肿瘤分型预测的可靠性5356。进一步，Liang 等57提出结构化支持向量机改进模型，在时间和空间维度上联合搜索具有诊断价值的感兴趣区域，并通过集成的方式进行预测。相比传统分析，该模型能够提供其预测依据，即与诊断相关的局部灌注区域。近年来，以深度学习为代表的机器学习方法进一步推动了超声影像组学的发展。以深度置信网络（Deep belief network，DBN）、卷积网络（CNN）、递归网络（RNN）和 Transformer 为代表的深度模型开始应用于超声造影增强形态表征及动态演化模式挖掘，期望以数据驱动的方式进一步提高超声造影临床诊疗效能。表 3和图 8列举出了主流机器学习方法在超声造影时间、空间信息融合中的应用。临床应用包括良恶性鉴别、分级和预后预测等。例如，Azizi 等58在超声造影前列腺癌检测任务中，首次引图 6造影超声弥散成像45Fig.6CEUS dispersion imaging45图 7超声造影影像组学分析框架Fig.7Radiomic analysis framework of CEUS748万鹏 等：基于机器学习的超声造影分析综述入递归神经网络鉴别前列腺癌灶和正常组织的灌注模式，不同于传统人工定义的灌注参数分析，RNN模型从海量灌注曲线中自动挖掘病灶相关联的增强特征；Wu 等59将深度学习和动态结构因子分析（Factor analysis）60相结合，利用三层深度置信网络提取分别对应肝动脉和门脉的因子曲线，提取特征进行良恶性鉴别。该模型为典型的端到端学习框架，融合了因子曲线学习、特征提取和分类器构建。更多结合深度学习的 CEUS影像分析工作将在下文逐一介绍。表 3灌注时间空间信息融合方法比较Table 3 Comparison of perfusion spatialtemporal information fusion methods灌注时间信息融合方法方法类别平均灌注曲线分析像素级灌注曲线分析因子曲线灌注空间信息融合方法方法类别影像组学多视图融合结构化分类器研究方法时间参数统计分析14结合传统机器学习的分类算法61多参量视图分析（PPI）造影超声弥散成像（CUDI）4549基于因子分析的动静脉血供分解60基于深度学习的动态结构因子分析59研究方法基于造影增强结构特征、血管形态特征和TIC功能特征的分类器构建61基于 Surf特征构建视觉词包模型62基于 CCA和 MKL的多视图融合基于深度 CCA的多视图特征融合51结构化 SVM 隐模型57优势预测结果具有可解释性可重复性强保留空间信息模型具有可解释性、因子图保留灌注空间信息优势多模态特征融合多灌注阶段增强模式充分融合自动搜索鉴别性 ROI、模型预测依据透明局限性依赖手工特征设计模型预测性能有限对器官运动干扰敏感因子求解存在不确定性、依赖参数初始化局限性依赖手工特征提取依赖手工特征提取模型推断复杂度高图 8超声造影分析方法Fig.8Methods of CEUS analysis749数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.4,20232 典型临床应用 结合以上超声造影影像分析任务，下文将详细介绍动态超声造影智能分析技术的临床应用，具体包括良恶性鉴别、恶性分级、疗效预测和治疗方案选择等。总的来说，深度学习方法已成为超声造影临床应用边界不断拓宽的主要驱动力，从术前良恶性鉴别、分型诊断逐渐延伸至预后复发转移评估及手术方案选择。2.1良恶性鉴别临床实践中，超声造影被广泛应用于疾病筛查与病变良恶性鉴别，包括甲状腺结节、乳腺和肝部位病变等。本质上，动态造影序列记录了感兴趣区域造影剂浓度（即血供）随时间变化情况。临床统计分析大多基于区域 TIC 灌注参数展开，Kondo 等61将机器学习算法引入 TIC 参数分析，在肝脏超声造影中分别选取肿瘤中心 ROI、边界 ROI和周边实质 ROI，共提取 28维参数特征表征动态增强模式，结合多类别 SVM 分类器鉴别肝病变良恶性和转移性肝癌，其中良恶性鉴别敏感性和特异性分别达到 94%和87.1%。结合肝脏动脉和门静脉双血供先验，Lueck 等60最早提出采用因子分解法提取因子曲线分别表征动静脉血供随时间变化模式。该方法假设观察到的局部组织 TIC 由来自动脉和门静脉的血供混叠得到，设置因子系数为 2，对原 TIC 曲线变化模式进行解耦，相对应的因子图反映了动静脉血供的空间分布模式差异，具有较强的临床解释性。考虑到肿瘤区域血供以动脉为主，正常组织以门静脉为主，后续工作对因子系数增加稀疏约束，从而增强不同组织血供特征差异性63。Wu等59将因子分析法拓展至深度模型，利用 3层深度置信网络（Deep belief network，DBN）学习因子曲线并构建分类器实现局灶性肝病变良恶性鉴别。由成像原理可知，造影剂空间分布与组织血供差异相关，反映了肿瘤组织分布、血管生成及坏死等情况。例如在肝细胞癌诊断中，均匀高增强模式可以推断瘤内以癌细胞为主，而低增强区域可能是以间质细胞或坏死组织为主。为了有效表征肿瘤异质增强模式，相关研究采用手工或深度特征表示不同灌注时相造影增强形态，并通过集成或多视图融合的方式构建预测模型。典型工作包括 Guo等51提出的典型相关分析（Canonical correlation analysis，CCA）和多核学习（Multikernel learning，MKL）框架，融合来自动脉期、门静脉期和延迟期的典型造影增强形态特征鉴别肝病变良恶性。该框架利用 CCA两两融合 3个灌注相位增强纹理特征，并将生成的 6个视图特征送入多核学习分类器。为了融合病灶结构特征，后续研究增加了常规灰阶超声作为额外的视图53。最新研究基于共享标签信息将不同灌注时相增强特征迁移至灰阶超声视图，提升原单模态分类器预测性能5455。然而，多视图学习框架依赖人工选取的关键帧和感兴趣区域勾画，为了进一步减少人工干预，Liang等57提出了结构化支持向量机改进模型（Structural SVM），该模型以交替优化的方式训练分类器和搜索鉴别性 ROI。在预测阶段，模型在输出类别概率的同时，提供与模型预测相关联的局部灌注区域及其决策重要性，很大程度上提升了模型可解释性。Hu等64基于 574例局灶性肝病变（Focal liver lesions，FLLs）造影数据构建良恶性鉴别模型，该研究比较了 AI模型和具有不同诊断经验的临床医师诊断结果，并提出一种新的 AI辅助诊断策略抑制观察者差异带来的影响。由于 AI模型的良性预测可靠性较高，当临床专家和 AI模型预测不一致时，诊断系统将建议专家重新评估患者信息。Yang等65结合常规灰阶超声和超声造影数据，采用双分支网络鉴别乳腺癌类型，其中一个分支采用 ResNet18为骨干网络从常规灰阶超声中提取结构特征，另一个分支采用 R（2+1）D 网络从 CEUS视频中提取造影增强特征，最后采用时间序列回归机制融合双分支特征。2.2恶性分级肿瘤恶性分级有助于区分临床患者恶性病变的发展程度，进一步患者分组将为临床制定个性化诊750万鹏 等：基于机器学习的超声造影分析综述疗方案提供重要指导。在胰腺癌诊疗中，准确、无创地诊断胰腺导管腺癌（Pancreatic ductal adenocarcinoma，PDAC）和慢性胰腺炎（Chronic pancreatitis，CP）可以避免不必要的穿刺和手术，减轻患者负担。Tong等66回顾性分析了来自 3家医院的 558例胰腺病变患者 CEUS图像，基于深度卷积网络开发影像组学模型（Deep learning radiomics，DLR）鉴别 PDAC 和 CP。该研究仅保留单张超声造影帧，将 CEUS视频分析简化为二维图像分析，截取病灶区域进行增强模式分析，在内部和外部验证中 AUC 均达 0.95以上。通过与 5位临床医生比较，发现 DLR模型的敏感性和特异性均更高，在 DLR模型的帮助下，放射科医生的诊断敏感性均进一步提升。此外，由梯度加权类激活映射（Gradientweighted CAM）生成的热力图显示 PDAC和 CP图像具有不同的显著模式，PDAC热力图高亮区域大于 CP热图，而 CP热图的高亮区域主要分布在肿瘤内部的低增强区域，往往与高增强区域相邻。笔者在前期工作中提出了新型层次化时间注意网络（Hierarchical temporal attention network，HiTAN）67应用于甲状腺分型诊断。通过门控循环单元（Gated recurrent unit，GRU）显示建模不同层次诊断任务间依赖关系，并将增强表征学习和层次化结节识别集成到统一的框架中。为了实现动态增强模式演化建模，提出了局部到全局时间聚合（Localtoglobal temporal aggregation，LGTA）算子将全局增强动力学特征嵌入局部关键增强模式，在 336个甲状腺病变中取得了 80.18%的诊断准确率。2.3疗效预测疗效评估常用于预测患者接受某一治疗方案后肿瘤复发、转移等可能性。生存分析是临床疗效预测最常见的方法之一。以肿瘤治疗为例，生存分析主要包括评估患者首次治疗后肿瘤无进展生存时间以及总生存时间。近年来，随着深度学习技术的发展，动态超声造影开始应用于患者生存分析任务，包括首次治疗后患者预后、不同治疗方案预后差异等。Zhao 等68结合卷积神经网络（CNN）和双向长短期记忆网络（BiLSTM）构建深度学习分析模型，基于术前超声造影序列预测热消融术后结直肠癌肝转移的早期复发概率。该研究在预处理阶段将CEUS 视频降采样到 32 帧，包含动脉期和门脉延迟期。基于 2D CNN 提取造影帧增强特征并通过BiLSTM 和注意力机制（Attention）分别融合动脉和门脉延迟期动态灌注信息，最终预测患者两年内是否复发。模型在内部和外部测试队列中分别取得了 72%和 76%的预测精度。进一步，Ma等69采用类似的深度网络模型预测单发肝细胞癌（5 cm）患者热消融术后 5年内的复发概率，结合 Cox风险预测模型，预测患者为早期复发（两年内）或晚期复发（两年后）。另外该研究还分别比较了超声造影、常规灰阶超声、临床资料和混合数据模型性能，其中超声造影模型在早期复发预测任务中取得了 79%的准确度，晚期预测中诊断精度为 68%，混合模型的精度在早期/晚期复发预测任务中分别提升至 81%和77%。结合注意力机制，模型更加关注动脉期 22 至 28 s时刻造影帧和门静脉延迟期 105 至 110 s造影帧。早期肝癌患者的常见治疗方式包括肝移植、手术切除（Surgical resection，SR）和射频消融术（Radiofrequency ablation，RFA）等，然而对于相当一部分进展期肝癌患者，经动脉化疗栓塞（Transarterial chemoembolization，TACE）被推荐为一线治疗方案。临床发现，即使是相同巴塞罗那分期的肝癌患者，对 TACE 治疗反应也存在差异