X射线成像和深度学习的交叉融合.docx

X 射线成像和深度学习的交叉融合

摘要：作为人工智能（artificial intelligence，AI）的主流，深度学习在计算机视觉、图 像多尺度特征提取领域已有所进展。2016 年以来，深度学习方法在计算机断层成像（从积分 特性，如线积分，实现内部结构的图像重建）方面也取得了进步。总体而言，在人工智能领 域，尤其是基于人工智能的成像领域，令人兴奋的前景和挑战并存，包括准确性、鲁棒性、 泛化性、可解释性等一系列问题。基于 2021 年 8 月 2 日 SPIE Optics + Photonics 上的大会 邀请报告，本文介绍 X 射线成像和深度学习的背景，低剂量 CT、稀疏数据 CT、深度影像组学 的代表性成果，讨论对于 X 射线 CT、其他成像模式以及多模态成像而言，数据驱动和模型驱 动方法融合带来的机会，以期显著促进精准医疗的进步。
关键词：深度学习；机器学习；人工智能；生物医学成像；X 射线成像；CT；多模态成像

1 引言
自 1895 年伦琴发现 X 射线以来（ 1901 年获诺贝尔奖），X 射线成像领域一直在稳步发 展。Hounsfield 和 Cormack 在 X 射线断层成像领域方面开拓性的工作（1979 年获诺贝尔奖） 对医学领域而言极为重要。2009 年，伦敦科学博物馆邀请馆长们从馆藏中选出十件最重要 的物品，然后邀请公众从中选出一件最有影响力的发明，X 射线成像获得了 5 万投票中的 9581 票， 排名第一[1] 。如今，X 射线摄影和断层成像技术已经应用于各种场景，成像分辨率和视野大 小跨越 6 个数量级，包括了不同的成像模态，例如衰减、光子计数、相衬、暗场成像，以 及圆轨道、螺旋轨道、机械臂扫描。生物医学成像是其最重要的应用领域。过去几年里， 深度学习在一些领域已经取得了成功，包括生物医学成像，尤其是 X 射线断层成像[2-5]。
Kuhn 在他的著作《科学革命的结构》中提出科学的进步是通过范式转移实现的。4 种 基本科学范式分别是：经验科学（描述自然现象）理论科学（归纳和建立模型）、计算 科学（模拟现象和过程）和数据驱动科学（通过深度网络和高性能计算技术从大数据中提 取知识）。 目前，我们正处在第 4 种科学范式阶段，也被称为数据科学、人工智能、机器 学习和深度学习。

让我们首先回顾一下深度学习的概念（图 1）。深度学习是指利用深度人工神经网络 进行机器学习，虽然人工神经网络有很多，但它们的构建模块都是简单的人工神经元。人 工神经元是生物神经元的模型，在人工神经元中，很多输入信号分别被加权和相加，这个 过程是一种内积形式的线性运算。内积通过阈值或非线性激活函数来决定神经元是否应该 被激活，也即它应该取大值还是小值。有多种激活函数，如 Sigmoid S(x)= 1/(1 + e-x)， 值域为（0,1），以及 ReLU R(x)= max(0,x)。前馈网络是一种常见的网络结构，其中有输 入层、输出层以及两者之间的隐藏层。输入向量被逐层处理（一层的输出作为下一层的输 入），最后输出层给出结果。除了前馈网络，还有许多其他类型的结构可以使用。粗略来 说，深度网络包含许多隐藏层，便于多尺度分析和知识表达（图 1）。

…
Forward computaion
1
2
3
4
5
6
7
8
Output: 1
x1 x2
xn
Input
y

Label: 5

Output
Backward Correction
Error: 4
0
Linear w1
w2

wn
Inner
Product
Nonlinear

9

图 1 深度学习的基本思想。神经网络由相互连接的神经元组成，每个神经元先执行线性
计算（内积），再执行非线性运算（阈值化，如 ReLU）。神经元之间的权重参数被随 机初始化，并通过使用训练数据迭代更新以期损失函数最小化（例如上图迭代中显 示为“4 ”的绝对误差），最终输出正确答案（在本例中为“5 ”）
图 1 中的前馈网络只包含一个隐藏层，但它在数字识别方面已经做得很好了（给定一 个手写数字的图像，网络可以识别它）。输入是一个矢量化的数字图像，输出层是所谓的 “独热编码 ”，即有且只有一个元素将被激发到高于其他元素值的状态，且这个被激活的 元素/神经元就代表输入数字的值（在独热编码中，每个数字被分配给唯一的神经元）。最 初，网络的参数是随机初始化的。对于给定的输入图像，可以计算隐含层的输出结果以及 网络的输出向量。通常，这个输出不太可能和我们想要的结果完全匹配，但我们可以通过 反向传播方式的梯度下降法调整当前的权重参数，以减小误差。如果有许多隐藏层，上述 前向计算和反向传播过程也是类似的。
目前，已经有很多流行的深度学习平台，例如 TensorFlow、Torch、Caffe、Keras 和 MatLab。在这些平台上，可以轻松地定义、训练、测试和部署网络结构，也就是说，在许 多任务中使用深度学习技术并不困难。但需要注意的是，深度学习的理论仍在发展中，许 多基本问题仍有待回答。从大局来看，深度学习涉及到新颖的算法设计、复杂的非凸优化 问题，以及各种独特的挑战，例如鲁棒性、泛化性、不确定性、可解释性、正则化、隐私 性、公平性等等。
本文将专注于 X 射线成像和深度学习的交叉融合，这个领域有巨大的协同效应和无数 的机会。一方面，深度学习在增强 X 射线成像性能方面具有显著的潜力；另一方面，X 射 线成像为深度学习的研究和应用提供了有趣的可能性。下一节将借助文献分析描述深度断 层成像技术，并以 X 射线成像尤其是计算机断层成像（computed tomography，CT）为重点， 介绍具有代表性的、有前景的深度成像成果。本文第 3 节将讨论当前深度学习领域与断 层成像相关的一些挑战，主要是深度重建的不稳定性，以及深度影像组学中训练后的网

络应用于分布外数据集时缺少泛化能力的难题。最后，我们提出一些研究方向，包括结合数 据驱动和基于规则的机器学习，以及深度学习框架下各种高性价比的成像系统的集成。
2 深度成像的背景
X 射线摄影和 CT 作为主要的医学成像模式承担了大多数的临床检查任务。医学影像、 人工智能和深度学习是公众高度关注的重要课题。“谷歌趋势 ”搜索显示，公众对医学成 像的关注百分比在过去十年中一直相当稳定。相比之下，人工智能和深度学习在过去几年 间迅速吸引了越来越多的关注，特别是 2016 年对深度学习的关注已经超过了对医学成像的 关注（图 2）。
100%

Artificial intelligence
Deep learning
Note Medical imaging

Jan. 1, 2009 Sept. 1, 2015
图 2 人们对医学成像的关注维持不变，但对人工智能及其主流方法“深度学习 ”
的关注出现了激增。2016 年，对深度学习的关注超过了医学成像

2016 年，我们写了一篇关于深度学习断层成像的前瞻性文章[6] ，这是人工智能和机器 学习一个新的前沿。深度学习已经广泛应用于计算机视觉和图像分析，它可以处理现有图 像并提取特征。而在基于深度学习的断层成像中，我们从积分或谐波系数等各种类型的外 部测量数据出发，生成多维结构图像。简而言之，计算机视觉和图像分析是从图像到特征， 而深度断层成像是从特征到图像。基于这一观点，我们于 2016 年申请了第一个深度断层成 像的发明专利，并于 2021[7]年获得授权。此外，我们在 2019 年出版了第一本介绍该新兴领 域的书籍[8]。
传统的图像重建算法只有两类：解析算法和迭代算法。前者是基于解析解，后者是基 于迭代的模型优化解。在新兴的基于深度学习的算法中，首先迭代地训练一个深度网络， 然后将训练后的网络以前馈方式得到一个类似解析重建的解。 目前，深度成像已成为断 层 成 像研 究 的 主 流 。 2021 年 7 月 18 日 ，在 Scopus 数据 库 使 用 TITLE-ABS-KEY 规 则 A =（deep learning AND medical AND image AND reconstruct*）检索可得到 944 份出版 物，使用规则 B = A AND（X-ray OR CT OR computed tomography）检索可得到 373 份出版 物，也就是说，在所有的深度断层成像论文中，近 40％与 X 射线成像或 CT 有关。
图 3 是在Scopus上使用规则 B 检索到的书目数据的快速分析。可以看出，深度 X 射线成 像和 CT 已经广泛覆盖了一系列的深度网络和临床任务，而深度重建的研究主要集中在低剂量 CT 和稀疏数据重建上。此外，许多深度学习技术已被用于分割、检测、分类和减少伪影。
在上述文献筛选的基础上，介绍一下我们最近的研究，包括基于深度学习的低剂量 CT 后处理、稀疏数据重建和深度放射组学方面的研究实例。当然，世界各地的同行也在这些 课题和其他课题上取得了优秀的成果，相关更多细节，请参阅综述文章[2-5]。
第 1 个例子是低剂量 CT 去噪。X 射线 CT 是肺癌筛查的首选方法，另外在进行任何重

大手术之前，经常使用CT 完成多种任务的检查。然而，X 射线辐射可能诱发癌症和遗传损 伤。因此，尽量减少辐射剂量是十分必要的，但是在 CT 扫描中，剂量的减少会降低图像信 噪比与图像质量。我们与麻省总医院合作，设计了一个模块化的自适应处理深度网络，训 练循环中还包括放射科医生，可以对去噪强度进行优化[9] ，如图 4 所示。我们的双盲研究 表明：对于主要供应商的 CT 机，深度算法优于或可与商用的低剂量 CT 迭代算法媲美[9]。

VOSviewer

Module

Module

Module

Module

图 3 使用 TITLE-ABS-KEY 规则 = （deep learning AND medical AND image AND reconstruct*）AND（X-ray OR CT OR computed tomography）在 Scopus 进 行检索的可视化结果

Module

LDCT Depth = 1 Depth = 2 Depth = 3 Depth = 4 Depth = 5
图 4 模块化的深度去噪网络是在有放射科医生参与的闭环模式下训练的[9] 。该网络生成不同程
度的去噪图像，供放射科医生根据具体诊断任务决定最佳程度
第 2 个例子是稀疏数据断层成像。具体来说，在 C 型臂 CT、未来的静态 CT 或机器人 CT 系统中，只有有限数量的投影。如果不使用深度重建，现有的算法可以通过稀疏性提升 （例如 total variation（TV）最小化）在多于 100 个投影的情况下取得不错的结果。通 过深度重建，可以针对应用领域的图像综合先验信息，在投影数据大量减少的情况下获得 前所未有的图像质量。我们最近设计了一个深度重建网络“ split unrolled grid-like

alternative reconstruction ”， 简 称 为 SUGAR[10] 。在 SUGAR 网络中，我们从多个相 互连接的角度进行深度学习。首先，学习从 稀疏正弦图重建一个低分辨率的实际图像， 然后使用上采样的低分辨率图像和正弦图来 估计高分辨率图像。并且，我们进一步基于 split Bregman 方法迭代优化当前图像。对 于极具挑战性的、只有 36 个投影的情况，

TV

SUGAR recon

Full scan FBP

图 5 我们最近设计的 SUGAR 网络针对相当稀
疏的数据重建出很有潜力的初步结果[10]

SUGAR 网络相比 TV 最小化方法以及现有的深度重建网络（详见文献 [10]）重建出令人激动 的初步结果（图 5）。
虽然低剂量 CT 主要用于肺癌筛查，我们还与麻省总医院合作分析了低剂量 CT 图像用 以评估心血管疾病风险[11] 。我们的深度学习模型处理了大量低剂量 CT 图像，获得了与放射 科医生基于心电门控心脏 CT 报告相当的 ROC 曲线。也就是说，可以对低剂量 CT 图像进行 深度分析，同时进行肺癌和心血管疾病风险的双重筛查。
虽然以上 3 个例子都是关于 X 射线 CT 的，但其他模态深度断层成像的结果也是非常有希 望的，包括 MRI、核医学成像、超声、光学成像等。详情请查阅文献如综述文章[5]。
除了医学成像，深度成像在其他成像领域也带来了机遇。一个非常有趣的例子是，在 同步辐射强束流照射下，一个如蛋白质分子的生物样本可以被立即击碎并发出散射波。如 何从单发照射实现物体三维结构的重建，对生物研究和药物设计至关重要。已经有论文从 采集的球面波前上的二维信息进行三维重建[12-14] 。我们用多色辐射光源[14]代替了单色光源 在这一方面做了一些工作。最近，AlphaFold 网络以一个蛋白质序列为输入，重建这个蛋 白质的三维结构[15] 。事实上，AlphaFold 网络代表了关于待重建蛋白质的最先进的生物先 验信息。沿着这个思路，我们可以将深度重建和基于 Alphafold 的先验知识结合起来。如图 6 所示，在散射数据定义的解空间、稀疏图像空间和 AlphaFold 先验信息空间的交集处实现 优异的图像重建。
Space of nonunique
solutions Space of prior
knowledge

Scatter data

Intersection to find most reasonable solutions
AlphaFold

Sequence

图 6 利用深度学习对如蛋白质分子的非晶体目标进行基于AlphaFold 的 X 射线断层成像。由
于超高分辨率所需的强辐射会立即摧毁目标，因此对于断层成像重建而言，只能采集到 单次发射的散射波前数据，这是极具挑战性的极稀疏数据成像任务

3 应用面临的挑战
在上一节中，我们介绍了基于深度学习的断层成像技术中鼓舞人心的一面，现在我们 介绍另一面，也就是现实世界成像应用中的挑战。
首先，深层网络的不稳定性（也称为脆弱性或脆性）是一个主要的问题[16] 。图 7 是一 个示例，中间图像是有意设计的细微噪声图像，它被添加到左边的数字图像“4 ”中，形成了 右边的数字图像“4 ”。对于人眼来说，左右图像差别不大，但是我们训练的分类网络很容 易被欺骗，将右侧图像误分类为高置信度的数字“2 ”，而将左侧图像正确分类为“4 ”。
美国科学院院刊 PNAS 发表了一篇具有里程碑意义的论文，研究图像重建中深度学习的 不稳定性[17] 。在该研究中，描述了用于 CT 和 MRI 重建的深度重建网络的 3 种不稳定性。 这 3 种不稳定性包括： ① 扰动产生的强伪影； ② 微小特征检测不到； ③ 增加的数据降低 了重建质量。这些不稳定性被认为是由于缺乏内核意识而“难以克服 ”，但压缩感知算法

是稳定的因为具有内核意识[17] 。前两种不稳定性是第Ⅰ类和第Ⅱ类错误：误报和漏报。第 Ⅲ 种类型的不稳定性在某种程度上类似于一个“过载 ”的问题（超重是不好的），也就是

说，更多的数据会使一个经受过训练、用来 处理一定数据量的网络困惑，导致该网络的 性能比没有这些额外数据的时候更差，当然 这一点有些违反直觉。
如何解决上述不稳定问题？在我们前瞻 性文章中给出了一个一般性的回答[6] ，其核 心思想是集成互补算法，如基于模型的压缩 迭代或压缩感知类算法，可以和深度网络结 合在一起，实现图像重建的协同，例如，深 度网络可以进一步改进最大似然法图像重建


0.0 Color scale 1.0
图 7 对抗性攻击使训练好的深度网络处于高
度危险之中。虽然原始数字图像（左） 被深度分类器正确分类，但是我们能设 计一个微小的对抗噪声（中）并添加到 原始图像中，形成视觉上差不多的图像 （右），让该图像被同一分类器错误分类

算法。同时，我们也有一个具体的答案来解决 PNAS 论文[17]中提出的问题，即解析、压缩、 迭代深度网络（ analytic，compressive，iterative deep network，ACID 网络），它将 解析重建、压缩感知、迭代优化和深度学习结合在一起，实现精确稳定的图像重建[18]。
让我们用图8 简要解释 ACID 算法框架。首先，利用一个重建网络 Φ , 将原始测量数据 正弦图或 k 空间数据集）重建为初始图像，该图像反映了从大数据（CT 或MRI数据）中 提取的较强的图像先验知识，这个初始图像受到误差和不稳定性的影响。然后，利用基于 压缩感知的稀疏性提升模块 Θ 对当前图像进行优化，输出稀疏化后的图像。此外，基于这 张稀疏图像，可以利用系统模型 A 估计测量数据，并用估计数据与实测数据进行比较，计 算出作为观测误差的残差数据，指示当前图像是否需要校正。任何显著的残差都被同一个 深度重建网络 Φ 进一步处理，生成一个增量图像, 在当前图像基础上更新图像。然后，压 缩传感模块 Θ 再次对更新后的图像进行处理，如此反复以逐步改进当前图像。
Original data Initial image

Image increment
图 8 解析、压缩、深度迭代（ACID）网络的总体思想示意图，用于整合解析重建、稀疏性提
升、迭代优化和深度学习的优势
此外，我们分析了 ACID 网络的收敛性[18] 。我们的分析需要假设有界误差范数（BEN） 性质，基本上，BEN 性质意味着深度重建的误差小于 L2 范数意义上的真值 。该性质是 Lipschitz 连续性的一种特殊情况，可以作为一个简单的模型来证明混合图像重建的可行 性。假设 BEN 性质是有效的，ACID 网络的收敛性变得非常清晰。初始深度重建网络的输出 并不完美，但其误差分量小于真值。误差部分有可观测部分和不可观测部分，由于可观测

部分的存在，预测数据集与实际数据集的值并不相同，它们的差异或者说数据残差可用来 减少可观测误差分量。鉴于 BEN 性质，在 ACID 迭代之后，可观测误差分量将减少，这种基 于残差的迭代优化可以重复。在极限情况下，最终重建中的可观测误差将以指数速度被消 除，仅有不可观测误差保留。需要强调的是，如果深度网络设计得当，用大量且多样化的 数据训练得很好，且输入不超出假定的分布范围，则输出图像的不可观测误差通常很小， 这也是很多深度重建研究的结果。换句话说，ACID 型深度重建方法就是在数据驱动解空 间、稀疏解空间和观测数据解空间的交集处寻找最优解，这个想法和前面提到的利用 AlphaFold 来帮助重建蛋白质分子的三维结构是一样的。
除了不稳定性问题之外，泛化能力在深度网络的应用中也很重要，这实际上也是与深 度网络的不稳定性有关。最近发表在《自然医学》上一篇关于医疗AI 设备如何通过 FDA 评 估方面的论文有一些有趣的发现[19] 。在一个关于分布外数据集潜在问题的著名案例研究中， 一个用于检测气胸的AI模型分别被 3 个公开的大数据集单独训练。当该深度网络被其中任 意一个数据集训练，然后使用另外两个数据集测试时，该深度模型的准确率都下降了约 10％[19] 。 目前，我们正在积极研究这个问题。
4 若干研究方向
基于深度学习的断层成像研究势头强劲，如引言部分所述，有很多有前途的研究方向， 包括鲁棒性、泛化性、不确定性、可解释性、正则化、隐私性、公平性等。
4.1 将人工神经元扩展到多种形式
在众多的研究方向中，对于人工智能、特别是基于深度学习的成像，我们强调可解释 性是一个重要的方向。一个深度网络通常被认为是一个黑盒子， 目前正在进行广泛的研究 使黑盒子透明，即让盒子变“灰 ”或变“ 白”[20] 。这些解释方法大多是探索性的[21-23] ，例如， 可以探寻如果没有给定的训练样本，网络预测将如何变化？这将有助于识别哪些样本能对 网络的预测提供有用信息。再比如, 可以探寻网络中重要的数据处理路径是什么？类激活 映射是一个另外例子，它显示了与分类结果相关的特征。我们还可以将网络训练过程建模 为不同方程形式的动态系统，或在极端条件如非常宽和/或非常深的网络层[22]的情况下进行 网络训练建模。
这里不评论网络解释的代表性方法，只介绍一些我们探索的结果。 目前，几乎所有的 深度网络都使用我们之前描述过的、依赖于线性运算（内积）的人工神经元。有趣的是， 在生物学中有许多类型的神经元，它们具有不同的形式和功能，因此，我们可以通过引入 新型人工神经元在细胞层面创新深层网络。具体来说，我们提出将传统人工神经元中的内 积替换为二次运算，即对相同的输入向量的两个不同内积相乘，然后再加上该输入向量的 一个二次函数[24-25] ，这种修改将使传统神经元的参数数量从 n 增加到 3n 。考虑二维逻辑函 数情况，可以帮助理解这一设计的基本原理。众所周知，传统的神经元无法实现与或门。 作为对比，上述二次神经元可以实现一个双曲函数从而直接实现与或门。事实上，二次神 经元可以用于实现任何二维逻辑函数，沿着这个思路，我们相信也可以设计其他种类的人 工神经元用以提升深度学习的性能。辛顿的“胶囊 ”构想与此类似，因为胶囊可以被视为

一个复杂的神经计算单元。
根据德摩根定律，非（P 或 Q）=（非 P）且（非 Q）。受到这种对偶性的启发，我们系统地 分析了 ReLU 网络族，证明了无论是分类任务还是回归任务，ReLU 网络的宽度和深度都是 拟等价的。也就是说，对于给定的网络复杂性，我们可以有一个宽的网络，一个深的网络， 以及在宽网络和深网络之间的许多网络变体，所有这些都可以执行本质上相同的分类或回 归任务。如果感兴趣，请阅读我们的论文[27] ，了解数学上的细节，包括几个定理和证明。
4.2 连接主义与符号主义的融合
由于我们的二次神经元是连续的而不是二值的，我们倾向于把它们看作广义模糊逻辑 门。因此，一个深层二次神经网络只不过是一个深层模糊逻辑系统[24] 。在一个案例研究中， 我们介绍了如图 9 所示的数字识别网络，二次神经元的大小表示其相对重要性，而其颜色 显示了模糊逻辑操作的类型，例如通过谱分析[24]确定其双曲或抛物类形。模糊逻辑系统本 质上是一个基于规则的系统，也就是说，在某种意义上我们可以用数据驱动的方式获得一 个基于规则的系统。要想成为一个理想的基于规则的系统，在很多情况下，需要将一个由 众多参数组成的深层模糊逻辑网络压缩或转换成一个相对紧凑的知识图谱，使其具有稀疏 性或规则性。这个想法应该是将连接主义和符号主义联系起来的一种方式，如果是这样，这将 为深度神经网络提供一个很好的解释（图9）。我们相信，在未来几年[28-29]里，知识图谱领域 是极其重要的，如果能够开发出很好的算法，将数据驱动和基于规则的学习结合起来，并进行 多任务学习、半监督和无监督学习，那就离通用人工智能或强人工智能又近了一大步。

SoftMax layer
Quadratic hidden layers
Conventional layers


Knowledge graph

图 9 结合数据驱动和基于规则的方法，运用知识图谱技术进行深度模糊逻辑解释和知识提取

4.3 经济高效的断层成像多模态融合
强 AI 系统的行为应该更像人类。上个月，一种可以同时处理图像、文本和音频文件的 深度全感知系统问世了[30] 。这是通过基于标记的嵌入、多任务学习和图像-文本-音频多模 态表示的多粒度集成来实现的，该系统获得了非常令人鼓舞的结果[30] 。这项出色的全感知 工作让我们想起了我们早期的全模态成像方案 omni-tomography[31] ，该方案提出实现断层 成像的多模态大融合，包括 CT、MRI、PET/SPECT，通过这种融合，多模态系统集成到一个 机器框架中，同时收集多种数据。因此，时空相关性可以被完美地捕获，互补信息也可以 协同地用于心脏和癌症成像[32] 。然而，考虑到单个成像系统的体积和硬件集成的物理限制， 这种 omni-tomography 成像仪器在几年前是很有挑战性且相当昂贵的。

由于医学影像和深度学习技术的快速发展，现在情况有了很大的不同。NanoX 和其他 公司报告了低成本的、用于断层成像的 X 射线成像仪，Hyperfine 是一种低场强、移动式 MRI扫描仪的品牌名称。此外，光子计数探测器可以记录 X 射线和 γ 射线信号，从而可能统 一 CT 和 SPECT。因此，在深度学习框架下，将这些高性价比的成像仪器集成到一个高性价 比的 omni-tomography 系统中是可行的（图 10）。这可能是医学成像的下一个亮点，其特 点是便携性、现场医护，可用自动驾驶汽车乘载并随时随地提供成像服务，这将对不发达 国家和偏远地区特别有帮助。

X-ray source

Robotic Arms
.
Photo-counting Detector for
X-ray/γ-ray Detection
Portable
X-ray/γ-ray Imager
Low-field MRI Scanner




Cost-effective Omni-tomography
Imager for Point-of-care

图 10 构建性价比高的便携移动式混合成像仪器是可行的,方便现场医护

4.4 结论
在图 11 中，左图展现了医学成像和放射治疗的当前发展，右图展示了全模态成像 omni-tomography 和图像引导治疗的未来，我们相信，更紧密的多模态成像融合会以一种 更经济有效的方式演进。我们可以设想医疗成像的范式转变：从医院/诊所/中心主导变成 去中心化的、智能化的集成服务。一种未来的可能性是“基于自动驾驶汽车的便宜的断 层成像和分析机器人（auto-driving vehicle-based affordable tomograpgdhy-analytics robots，AVATAR）”[33] ，这将成为在自然灾害现场、恐怖袭击后和战场附近最受欢迎的机 器人。此外，AVATAR 在常规医疗成像（如癌症筛查）方面也很有优势，因为它显著降低了 潜在成本，且具有全自动化的特点，极大地提高了便利性。

PET-MRI
PET-CT
SPECT-CT
PET/SPECT
PET-MRI
PET-CT
SPECT-CT
PET/SPECT
Omni-tomography:
PET-CT-MRI
CT-LINAC
MRI-LINAC
CT MRI
CT-MRI
CT-LINAC
MRI-LINAC
CT
MRI
CT-MRI-LINAC
LINAC
LINAC

图 11 在深度学习框架下更紧密更经济地融合成像模式和开发合成仪器

铁路/公交车站在交通史上取得了里程碑式的成就，但很快就被私家车超过了。今天， Uber 类型的出租车服务变得流行起来， 自动驾驶汽车也即将来临。类似地，我们经常去超 市/购物中心购物，但流行的趋势正向网上购物和送货上门转变，新冠疫情进一步加速了这 一趋势。不久前，我们去电影院和剧院娱乐，然后，我们建造了家庭影院，现在，我们很 多时间都用智能手机看电视。许多人相信区块链技术将给社会带来革命性的变化，甚至代 替银行。继“信息网 ”之后，“物联网 ”正在迅速发展，而“服务网 ” 应该是下一个浪潮。 信息、产品和服务的个性化和优化使用需要分散、互联和人工智能，特别是深度学习技术， 以便提高生活质量。我们有幸得到许多面向未来影像服务的研究机会。

VOSviewer

图 12 使用 Scopus TITLE-ABS-KEY 规则 = （"deep learning" AND medical AND image AND reconstruct*）AND（X-ray OR CT OR "computed tomography"）获得的，关 于 X 射线成像和深度学习的交叉研究的全球景观
在科幻小说《泰坦妖女》中，库尔特·冯内古特写道：“很久以前……有些生物一点也 不像机器。这些可怜的生物痴迷于一种想法，即存在的一切都必须有一个目的，每次他们 发现自己似乎有一个目的，……这些生物就会制造一台机器服务于它。” 显而易见，长寿 和幸福是我们的目标，我们正在努力创造一个更光明的未来。如图 12 所示，X 射线成像与 深度学习的交叉融合是全球性的努力，这也意味着信息交流和国际合作。
参考文献
[1] KERMELIOTIST.X-rayvotedtopmoderndiscovery[EB/OL].CableNewsNetwork, (2009-01-01).https://
[2] WANG G, YE J C, DE MAN B. Deep learning for tomographic image reconstruction[J]. Nature Machine Intelligence, 2020, 2(12): 737-748.
[3] LELL M M, KACHELEß M. Recent and upcoming technological developments in computed tomography: High speed, low dose, deep learning, multienergy[J]. Investigative Radiology, 2020, 55(1): 8-19.
[4] MAIER A, SYBEN C, LASSER T, et al. A gentle introduction to deep learning in medical image processing[J]. Journal of Medical Physics, 2018, 29(2): 86-101.
[5] SAHINER B, PEZESHK A, HADJIISKI L M, et al. Deep learning in medical imaging and radiation therapy[J]. Medical Physics, 2019, 46(1): e1-e36. DOI:10.1002/mp.13264.
[6] WANG G. A perspective on deep imaging[J]. IEEE Access 4, 2016: 8914-8924.
[7] WANG G, CONG W X, YANG Q S. Tomographic image reconstruction via machine learning: US 10,970,887 B2[P].(2016-06-24)[2021-04-06].