基于半监督多头网络的腰椎CT图像分割.pdf

第3 6卷 第2期2023年05月 青 岛 大 学 学 报(自 然 科 学 版)J O U R N A LO FQ I N G D A OU N I V E R S I T Y(N a t u r a l S c i e n c eE d i t i o n)V o l.3 6N o.2M a y2023 文章编号:1 0 0 6 1 0 3 7(2 0 2 3)0 2 0 0 3 6 0 7d o i:1 0.3 9 6 9/j.i s s n.1 0 0 6 1 0 3 7.2 0 2 3.0 2.0 7基于半监督多头网络的腰椎C T图像分割何 越a,杜钦红a,杜钰堃b,杨 环a,西永明b(青岛大学a.计算机科学技术学院,b.附属医院崂山院区脊柱外科,青岛2 6 6 0 7 1)摘要:针对医学图像分割任务中医学数据标注困难以及C T图像强度不均匀问题,提出一种基于半监督的多头分割网络S S MH-N e t。S S MH-N e t网络采用教师学生训练架构,基于相同的分割模型V-N e t,通过指数移动平均算法完成教师与学生模型的交互训练;采用M u l t i-H e a d方法估计模型预测的不确定性信息,指导分割模型在更可靠的目标中学习。在C T s p i n e分割数据集上,S S MH-N e t网络平均分割D i c e系数达到9 5.7 0%,表现出较为优异的分割性能。关键词:椎体分割;半监督学习;注意力模块;V-N e t;m u l t i-h e a d中图分类号:T P 3 9 1.4 1 文献标志码:A收稿日期:2 0 2 2-0 9-1 6基金项目:山东省泰山学者项目(批准号:t s 2 0 1 9 0 9 8 5)资助。通信作者:杨环,女,博士,副教授,主要研究方向为图像/视频处理与分析、视觉感知建模及质量评估、深度学习等。E-m a i l:c a t h y_h u a n-y a n g h o t m a i l.c o m 腰痛是一种常见的脊柱外科疾病,影响约7 0%8 0%的成年人。腰椎病变,如腰椎滑脱、腰椎间盘突出、椎体畸形等,是引起腰痛的主要原因,已成为重大的社会公共卫生问题。计算机断层扫描(C o m p u t e dT o m o g r a p h y,C T)影像能清楚地显示腰骶椎和周围结构,被广泛应用于腰椎疾病的诊断和治疗。三维C T图像腰椎分割是后续临床治疗的必要前提。目前,外科医生通常采用手工分割C T图像的方法,不仅费时费力,而且不同的标注软件导致分割结果差异。面对腰部疾病的多样化以及发病率高等问题,通过医生手动分割椎体图像的方法已无法满足当下的诊疗需求。因此,开发一种C T影像自动定位和分割腰椎部位的智能方法,对于脊柱疾病的计算机辅助诊断和治疗至关重要。近年来,在医学图像计算机辅助诊断中,用于脑肿瘤,肺结节等医学图像的自动分割取得了重大进展1-6。3 DD S N1采用端到端的三维全卷积架构,在网络中引入深度监督并采用条件随机场实现轮廓优化;R I MN e t2利用R e g i o n-t o-i m a g e匹配策略,提高了多模态MR I数据之间的利用率。通过小批量随机禁用模态,将多模态数据输入到模型中,提取的特征通过级联进行融合;2 D-S C N e t4是一种基于C NN的同时分割分类的模型,其中特征提取层由分割网络和分类网络共享。异常椎体和正常椎体在形状和结构上的差异很大,大部分通用的图像分割算法无法实现准确的分割。为了提高椎体分割的精度,构建了许多基于级联结构的模型。S e k u b o y i n a等7提出一种多阶段腰椎分割算法,使用多层感知器提取腰椎的感兴趣区域,然后在感兴趣区域内进行实例分割。迭代椎骨实例分割算法利用移动滑动窗口使其包括完整的椎骨区域,然后对椎骨使用实例分割并保存8。尽管这些方法都依赖卷积神经网络来分割椎体,但依旧保留检测和分割任务,且使用两个网络。L i等9提出一种用于脊椎分割的卷积神经网络,在网络中加入通道注意模块和双重注意模块,使用多尺度卷积块提高网络的预测能力。这些方法在分割椎体部位取得了较好的效果,但是忽略了C T图像中一些软组织和椎体区域灰度类似,因此可能存在错误的将软组织区域分割出来的情况。监督式深度学习常依赖大量用于训练的标记数据集,对于3 D医学图像,获取大量体素级标记数据耗时长且困难。因此,半监督深度学习被广泛应用于医学图像分割,这种方法只需获得少量标记图像和大量未标记图像,并能同时用于网络训练,基于自训练的I n f-N e t1 0网络利用 第2期 何 越等:基于半监督多头网络的腰椎C T图像分割隐式反向注意和显式边缘关注来提高病变区域的检测;D AN1 1和B U S-GAN1 2使用对抗生成网络,使未标记图像的分割与标记图像的分割相似。一致性正则化在计算机视觉和图像处理中起着至关重要的作用,尤其是在半监督学习中。D T C1 3是一种新的双任务一致性半监督框架,用联合预测目标的像素分割图和水平集函数表示,该模型强制像素级分类任务和水平集回归任务之间的任务一致性,可以更好的捕捉几何活动轮廓和距离信息。然而现有的半监督模型未考虑C T影像中边界模糊和强度分布不均匀的情况,导致无法准确的分割椎体的边缘区域和椎体内部区域,并且未标注数据没有标注指导训练,导致模型训练过程中可能对预测结果产生过度自信,使模型的分割结果较差。本文提出基于不确定性估计的半监督多头分割网络(S e m i-S u p e r v i s e dM u l t i-H e a dS e g m e n t a t i o nN e t w o r k,S S MH-N e t),S S MH-N e t模型由两个相同的分割网络分别作为学生和教师网络,通过在分割网络中跳跃连接处加入注意力来关注椎体内部特征。监督学习模型在训练过程中经常对预测分割结果产生过度自信,因此使用M u l t i-H e a d方法估计模型的不确定性,同时设计一致性损失函数,用来最小化学生模型和教师模型在不同扰动下对输入的预测差异。1 不确定性估计引导的半监督多头分割网络1.1 半监督学习网络模型图1 半监督C T图像分割模型S S MH-N e t 为了充分利用未标注的C T图像分割腰椎,S S MH-N e t网络采用经典的教师学生框架,通过预测结果的不确定性信息来指导网络的训练过程。如图1所示,模型包含一个教师网络和一个学生网络,两个网络 共 享S C-VN e t模 型 结 构。S C-VN e t采用V-N e t网络作为基础网络,并在跳跃连接处加入S C注意力模块。教师网络的权重通过使用学生网络权重的指数移动平均(EMA)更新提高模型的稳定性和鲁棒性。对于标记的3 DC T图像,经过学生网络进行监督学习分割,由监督损失Ld i c e+Lc e组合优化,得到预测结果p r e dA。对于未标记的3 DC T图像,期望在不同噪声的扰动下学生网络和教师网络的分割结果(即p r e dA和p r e dB)是一致的。为了提升学生模型的学习能力,采用M u l t i-H e a d算法1 4计算师生模型的输出一致性,学生网络通过Ld i c e+Lc e(监督损失)和Lc o n(无监督一致性损失)的组合进行优化,有效地指导学生网络从教师网络中学习更可靠地目标。1.2 融合S C注意力的学生模型和教师模型图2 S C注意力模块 C T图像中往往存在强度分布不均匀的情况,导致椎体内部模糊,边界不清晰,造成椎体分割精度较低。针对上述问题,本文构建了监督学习模型S C-VN e t。在V-N e t模型的基础上,添加空间及通道(S p a t i a la n dC h a n n e l,S C)注意力模块关注椎体内部特征,通过增强通道特征和融合3 D空间信息提高分割的准确率。S C模块主要结构如图2所示,图中X(大小为CHWD)作为注意力模块的输入特征信息,S C注意力模块由通道注意力模块和空间注意力模块组成1 5。通道注意力模块是利用特征的通道间关系来生成通道注意力图,采用全局平均池化Fa v g()压缩输入特征图的空间维度,使用两个全连接层实现权重值在不同的通道中的流动,并通过非线性激活函数(S i g m o d)1将权重限制到01之间。将学习到的通道权重重构为Mc(大小为C1 11),与注意力模块的输入X使用点乘运算得到Xc h a。为了充分使用3 D空间信息,利用特征的空间关系生成空间注意力。首先输入图像X采用一个大小为111的3 D卷积Fc o n()进行降维操作。经过非线性激活函数(S i g m o d)2激活后,将得到的空间权重Ms(大小为1HWD)与注意力模块的输入X73青 岛 大 学 学 报(自 然 科 学 版)第3 6卷使用点乘运算得到Xs p a。Xc h a,Xs p a和X通过相加生成3 D通道和空间注意力图X。在半监督学习框架中教师模型和学生模型之间的权重通过指数移动平均(EMA)共享1 6。指数移动平均(EMA)是每次梯度更新之后的权值和上一次的权值采用加权平均,而不是每个E p o c h之后再进行信息聚合。EMA改变的是分割网络中所有层的输出,而不仅仅是其中某一层的输出,因此EMA可以得到更好的中间表示。EMA权重的更新公式为 t=t-1+(1-)t(1)其中,t是训练次数;t是教师模型的权重;t是学生模型的权重;为EMA的衰减率,用来控制网络更新速度。与直接使用学生网络的最后参数相比,使用EMA权重通常会产生更准确的网络模型。1.3 多头输出的不确定性估计算法M u l t i-H e a d由于C T图像椎体内部和外部高度相似性,预测分割结果中容易产生假阴性和假阳性区域。若将没有标注的图像输入到教师网络,得到的目标预测可能是不可信的,因此S S MH-N e t模型采用M u l t i-H e a d的方法,指导学生网络从更可靠的目标中学习。为方便计算模型的不确定性,将监督分割网络的单个输出层扩展成M个输出层。简单的说,M u l t i-H e a d有M个类型相同的输出层(1,2,M),但每个输出层都具有不同的权重和初始化,因此每个输出层产生的预测也是不相同的。使用加权损失促进输出层之间的多样性,可以更好地覆盖C T图像的内部和外部区域,有利于捕获推理时的歧义。对于输入图像的每个体素,可以得到一组概率向量。因为预测熵具有固定的范围,可以作为不确定性的度量。在不确定性估计的指导下,设置一个阈值,过滤掉相对不可靠的预测,选择可靠的预测作为学生模型学习的目标mi=1Mtpn u mt(2)u=-imil o gmi(3)其中,pn u mt表示第n u m类在第t次的输出的概率,mi是M个预测的平均值,n u m是类别数,不确定性u大小为HWD,是预测的体素熵。1.4 损失函数组合优化为充分利用3 D空间信息,模型使用3 D影像作为两个分割网络的输入,其中训练集是由U个标记数据和V个未标记数据组成。标记集为Dl=xi,yiUi=1,将未标记的数据集为Du=xiU+Vi=U+1,其中xi是大小为HWD的输入影像,yi0,1HWD是真实标注。对于有标注的图像,学生网络主要受监督损失的指导,以学习分割任务的可靠表示。模型采用D i c e损失Ld i c e和交叉熵损失Lc e的组合作为监督损失Ls u p来分割腰椎Ls u p=Mm=1m Lmd i c e+(1-)Lmc e(4)其中,m(a)=1-,i fa=t r u eM-1,e l s e,a代表M个输出层中预测损失最少的输出层;为设置的权重;m为多个输出层。对于没有标注的图像,可以根据半监督学习中的平滑假设,将输入图像加上不同的噪声生成两个图像,通过学生和教师网络得到对应的分割掩码在理论上是相同的,因此模型可以通过最小化一致性损失建立学生模型预测结果p r e dA和教师模型预测结果p r e dB的约束Lc o n(p r e dA,p r e dB)=vI(uvv a l u e)p r e dB-p r e dA2vI(uvv a l u e)(5)其中,I()为指标函数,阈值在01之间;p r e dA和p r e dB分别是学生模型和教师模型在第v个体素上的预测;uv是第v个体素处的不确定性估计;v a l u e是选择可靠目标的阈值。通过在训练过程中的一致性损失,学生和教师模型都可以从中学习到更可靠的知识,降低模型的不确定性。83 第2期 何 越等:基于半监督多头网络的腰椎C T图像分割2 实验结果和分析2.1 数据集和预处理评估模型所使用的C T s p i n e数据集由3 6个3 DC T成像扫描组成,图像尺寸从5 1 25 1 23 5 0到5 1 25 1 25 1 2(体素)不等,每一个3 D图像都有一个与图像相同大小的腰椎分割掩码。预处理使用-7 0 0,1 3 0 0HU的软组织C T窗口范围,基于随机扩大边缘(1 02 0个体素)的分割掩码裁剪腰椎区域为中心的图像,并将所有图像进行零均值归一化和单位方差处理。实验将3 6次扫描分为3 0次扫描用于训练和6次扫描用于测试。2.2 实验设置实验均采用P y t o r c h开源框架,使用的显卡型号为NV I D I A A 1 0 0G P U;模型采用S G D优化器进行训练,共60 0 0次迭代,EMA衰减率为0.9 9;批量大小为2,每次由1个标记图像和1个未标记图像组成;初始学习率设置为0.0 1,每经过25 0 0次迭代除以1 0;将原始图像随机裁剪为1 2 81 2 89 6作为网络模型的输入,并使用滑动窗口策略获得最终的分割结果;S S MH-N e t将多头输出M设置为4。表1 不同的学生和教师分割网络使用2 0%的标注数据(即6次扫描)在半监督框架中的比较学生和教师网络D i c e(%)J a c c a r d(%)A S Dv o x e l9 5 HDv o x e lH i g h r e s n e t1 98 7.6 78 0.0 61 8.0 43.4 5U-N e t1 88 7.1 27 7.1 85 1.3 21 0.3 7V-N e t1 79 0.1 08 3.1 22 0.8 65.1 3S C-VN e t9 5.7 09 1.8 41 6.6 45.0 62.3 实验结果为了评估半监督框架中学生网络和教师网络所使用的完全监督分割网络的准确性,将所提出的半监督框架使用不同的学生和教师网络在3 D椎体数据集上训练和测试,包括S V-N e t、V-N e t1 7、U-N e t1 8和H i g h r e s n e t1 94种网络。在3 0次训练扫描中,使用2 0%的数据(即6次扫描)作为标注数据,其余2 4次扫描作为未标注数据。其他所使用的实验参数设置完全一致。实验结果见表1,S S MH-N e t模型中使用不同的学生和教师网络的分割精度对比,学生和教师网络使用加入S C注意力的V-N e t网络 在半监督框架中 取得9 5.7 0%的分割精度,优于其他对比模型。为了验证S S MH-N e t模型的有效性,将S S MH-N e t模型与其他半监督分割 模 型 进 行 比 较,包 括S A S S-n e t2 0、D T C1 3、MC-N e t2 1和S C C2 2。实验时,所有模型都采用2 0%的标记数据和8 0%的未标记数据,结果见表2,可知,S S MH-N e t模型分割精度较高。由于S S MH-N e t仅仅在监督网络S C-VN e t的输出层上进行了扩展,相比较其他半监督分割模型,在计算量少的前提下依然获得较好的分割效果。表2 S S MH-N e t与其他半监督方法使用2 0%的标注数据(即6次扫描)在C T s p i n e数据集上进行定量比较模型D i c e(%)J a c c a r d(%)A S Dv o x e l9 5 HDv o x e lF l o p sGM a cS A S S n e t2 09 0.2 28 3.6 32 8.0 29.1 09 8.1 0 9D T C1 39 1.3 18 4.0 71 9.6 64.4 67 3.9 5MC-N e t2 17 1.5 05 9.2 17 0.5 22 0.2 21 4 9.1 3S C C2 29 1.5 48 5.6 42 7.2 47.1 91 4 3.7 6S S MH-N e t9 5.7 09 1.8 41 6.6 45.0 67 4.1 8图3为D T C、S A S S n e t、MC-N e t、S C C和S S MH-N e t模型的分割可视化结果,其他模型在多个椎体连接部分产生粘连,特别是S A S S-N e t。S S MH-N e t模型在没有任何形状约束下,依然得到更好的分割结果,具有更少的孤立区域,并且有效地分割一些具有挑战性的区域,见图3中标记部分,说明S S MH-N e t模型优于其他网络。93青 岛 大 学 学 报(自 然 科 学 版)第3 6卷图3 比较不同的半监督网络模型的两个分割结果(a)G r o u n dT r u t h;(b)S A S S N e t;(c)D T C;(d)MC-N e t;(e)S C C;(f)S S MH-N e t为了验证S S MH-N e t模型的鲁棒性,在2 0 1 8年心房分割挑战赛的基准数据集(L A)上评估该性能。数据集包括1 0 0个用于训练的MR成像扫描,各向同性分辨率为0.6 2 50.6 2 50.6 2 5mm。模型使用8 0个样本用于训练,其余2 0个样本用于测试,S S MH-N e t模型与其他方法在同一验证集上的比较结果见表3。可知,S S MH-N e t模型在大部分评价指标上优于其他模型。表3 S S MH-N e t与其他半监督方法在L A数据集上的定量比较模型D i c e(%)J a c c a r d(%)A S Dv o x e l9 5 HDv o x e lS A S S n e t2 08 9.1 68 0.6 08.9 52.2 6D T C1 38 9.5 28 1.2 27.0 71.9 6MC-N e t2 19 0.1 28 2.1 28.0 71.9 9S C C2 28 9.8 18 1.6 47.1 51.8 2S S MH-N e t9 0.3 38 2.4 37.2 22.1 6使用两种比较流行的半监督设置(1 0%和2 0%的 标 注 数 据)观 察 所 提S S MH-N e t模型的数据利用情况,评估结果见表4。可以看出,同样使用1 0%的标注数据,S S MH-N e t模型利用9 0%的未标注数据比S C-VN e t模型分割所得到的D i c e结果高5.8 2%;在2 0%的标记数据中,S S MH-N e t比S C-VN e t的D i c e结果高3.6 7%,表明S S MH-N e t模型能更加有效地利用未标记数据来提升模型的分割性能。V-N e t和U-N e t监督模型使用全部标注数据分割精度分别为9 6.4 8%和9 6.1 8%,仅仅比使用少量标注数据的S S MH-N e t高0.7 8%和0.4 8%,表明S S MH-N e t在临床应用中有更广阔的潜力。表4 在标注比例不同的数据集中分割精度对比模型L a b e l e dU n l a b e l e dD i c e(%)J a c c a r d(%)A S Dv o x e l9 5 HDv o x e lS C-VN e t308 8.4 28 1.2 02 6.7 78.2 1S S MH-N e t32 79 4.2 48 9.7 51 2.3 42.7 8S C-VN e t609 2.0 38 7.1 42.5 01.3 1S S MH-N e t62 49 5.7 09 1.8 41 6.6 45.0 6S C-VN e t3 009 6.8 08 3.8 41.5 61.4 2V-N e t1 73 009 6.4 89 3.2 31 2.6 62.6 73 DU-N e t1 83 009 6.2 29 2.7 21.9 40.8 43 结论本文提出一种应用于腰椎C T分割领域的S S MH-N e t模型,采用基于不确定性估计的半监督深度学习框架,通过对相同输入的图像加入不同的扰动,以达到学生和教师模型分割一致性的目的,最终实现在较少标注数据的同时提高分割精度的效果。S S MH-N e t模型采用了M u l t i-H e a d方法,通过探索每个目标的不确04 第2期 何 越等:基于半监督多头网络的腰椎C T图像分割定性信息计算一致性损失,以此提高分割目标的质量。在标注规模相同的数据集下,与主流分割模型相比,S S MH-N e t模型表现出较为优异的分割效果,能够减轻医学图像数据标注,在分割精度上具有较大的临床价值。参考文献1Q ID,HAOC,YU EMJ,e t a l.3 Dd e e p l y s u p e r v i s e dn e t w o r k f o r a u t o m a t i c l i v e r s e g m e n t a t i o n f r o mC Tv o l u m e sC/I n t e r n a t i o n a l C o n-f e r e n c eo nM e d i c a l I m a g eC o m p u t i n ga n dC o m p u t e r-a s s i s t e dI n t e r v e n t i o n.S p r i n g e r,2 0 1 6:1 4 9-1 5 7.2D A SP,P A LC,A C HA R Y YA A,e ta l.D e e pn e u r a ln e t w o r kf o ra u t o m a t e ds i m u l t a n e o u s i n t e r v e r t e b r a ld i s c(I V D s)i d e n t i f i c a t i o na n ds e g m e n t a t i o no fm u l t i-m o d a lMRi m a g e sJ.C o m p u t e rM e t h o d sa n dP r o g r a m s i nB i o m e d i c i n e,2 0 2 1,2 0 5:1 0 6 0 7 4.3D O L ZJ,D E S R O S I E R SC,B E NAY E DI.I V D-N e t:I n t e r v e r t e b r a ld i s c l o c a l i z a t i o na n ds e g m e n t a t i o ni nMR Iw i t ham u l t i-m o d a lUN e tC/I n t e r n a t i o n a lW o r k s h o pa n dC h a l l e n g eo nC o m p u t a t i o n a lM e t h o d s a n dC l i n i c a lA p p l i c a t i o n s f o rS p i n e I m a g i n g.S p r i n g e r,2 0 1 8:1 3 0-1 4 3.4GON GZ,KANL.S e g m e n t a t i o na n dc l a s s i f i c a t i o no f r e n a l t u m o r sb a s e do nc o n v o l u t i o n a ln e u r a ln e t w o r kJ.J o u r n a lo fR a d i a t i o nR e-s e a r c ha n dA p p l i e dS c i e n c e s,2 0 2 1,1 4(1):4 1 2-4 2 2.5C U ISG,MAOL,J I AN GJF,e t a l.A u t o m a t i cs e m a n t i c s e g m e n t a t i o no fb r a i ng l i o m a s f r o m MR I i m a g e su s i n gad e e pc a s c a d e dn e u r a ln e t w o r kJ.J o u r n a l o fH e a l t h c a r eE n g i n e e r i n g,2 0 1 8,2 0 1 8.6Z HU W T,L I UCC,F AN W,e t a l.D e e p l u n g:D e e p3 dd u a l p a t hn e t s f o r a u t o m a t e dp u l m o n a r yn o d u l ed e t e c t i o na n dc l a s s i f i c a t i o nC/2 0 1 8I E E E W i n t e rC o n f e r e n c eo nA p p l i c a t i o n so fC o m p u t e rV i s i o n(WA C V).I E E E,2 0 1 8:6 7 3-6 8 1.7S E KU B OY I NA A,VA L E N T I N I T S CH A,K I R S C HK EJS,e ta l.Al o c a l i s a t i o n-s e g m e n t a t i o na p p r o a c hf o rm u l t i-l a b e la n n o t a t i o no fl u m b a rv e r t e b r a eu s i n gd e e pn e t sD B/O L.2 0 2 2-0 8-2 0.h t t p s:/a r x i v.o r g/a b s/1 7 0 3.0 4 3 4 7.8L E S S MANNN,VANG I NN E K E NB,D EJ ONGPA,e t a l.I t e r a t i v e f u l l y c o n v o l u t i o n a l n e u r a l n e t w o r k s f o r a u t o m a t i c v e r t e b r a s e g m e n-t a t i o na n d i d e n t i f i c a t i o nJ.M e d i c a l I m a g eA n a l y s i s,2 0 1 9,5 3:1 4 2-1 5 5.9L IB,L I UC,WUSY,e t a l.V e r t e-B o x:An o v e l c o n v o l u t i o n a l n e u r a l n e t w o r k f o r f u l l ya u t o m a t i c s e g m e n t a t i o no f v e r t e b r a e i nC Ti m a g eJ.T o m o g r a p h y,2 0 2 2,8(1):4 5-5 8.1 0F ANDP,Z HOUT,J IGP,e ta l.I n f-n e t:A u t o m a t i cc o v i d-1 9l u n g i n f e c t i o ns e g m e n t a t i o nf r o mC Ti m a g e sJ.I E E ET r a n s a c t i o n so nM e d i c a l I m a g i n g,2 0 2 0,3 9(8):2 6 2 6-2 6 3 7.1 1Z HAN GY,YAN GL,C HE NJ,e t a l.D e e pa d v e r s a r i a ln e t w o r k s f o rb i o m e d i c a l i m a g es e g m e n t a t i o nu t i l i z i n gu n a n n o t a t e d i m a g e sC/I n t e r n a t i o n a lC o n f e r e n c eo nM e d i c a l I m a g eC o m p u t i n ga n dC o m p u t e r-a s s i s t e dI n t e r v e n t i o n.S p r i n g e r,2 0 1 7:4 0 8-4 1 6.1 2HANLY,HUAN GYZ,D OUHR,e t a l.S e m i-s u p e r v i s e d s e g m e n t a t i o no f l e s i o n f r o mb r e a s t u l t r a s o u n d i m a g e sw i t ha t t e n t i o n a l g e n e r-a t i v ea d v e r s a r i a l n e t w o r kJ.C o m p u t e rM e t h o d sa n dP r o g r a m s i nB i o m e d i c i n e,2 0 2 0,1 8 9:1 0 5 2 7 5.1 3L UOXD,C HE NJN,S ON G T,e ta l.S e m i-s u p e r v i s e dm e d i c a l i m a g es e g m e n t a t i o nt h r o u g hd u a l-t a s kc o n s i s t e n c yC/3 5 t hAAA IC o n f e r e n c eo nA r t i f i c i a l I n t e l l i g e n c e.2 0 2 1:8 8 0 1-8 8 0 9.1 4RU P P R E C HTC,L A I NAI,D I P I E T R OR,e t a l.L e a r n i n g i na nu n c e r t a i nw o r l d:R e p r e s e n t i n ga m b i g u i t yt h r o u g hm u l t i p l eh y p o t h e s e sC/3 0 t hI E E E/C V FC o n f e r e n c eo nC o m p u t e rV i s i o na n dP a t t e r nR e c o g n i t i o n(C V P R).H o n o l u l u,2 0 1 7:3 5 9 1-3 6 0 0.1 5CHE NL,Z HAN GH W,X I AOJ,e t a l.S c a-c n n:S p a t i a l a n d c h a n n e l-w i s e a t t e n t i o n i nc o n v o l u t i o n a l n e t w o r k s f o r i m a g e c a p t i o n i n gC/3 0 t hI E E E/C V FC o n f e r e n c eo nC o m p u t e rV i s i o na n dP a t t e r nR e c o g n i t i o n(C V P R).H o n o l u l u,2 0 1 7:5 6 5 9-5 6 6 7.1 6TA R VAN I N E NA,VA L P O L A H.M e a nt e a c h e r sa r eb e t t e rr o l em o d e l s:W e i g h t-a v e r a g e dc o n s i s t e n c yt a r g e t s i m p r o v es e m i-s u p e r v i s e dd e e p l e a r n i n gr e s u l t sC/3 1 s tA n n u a lC o n f e r e n c eo nN e u r a l I n f o r m a t i o nP r o c e s s i n gS y s t e m s(N I P S).L o n gB e a c h,2 0 1 7.1 7M I L L E T A R IF,NAVA BN,AHMA D ISA.V-n e t:F u l l yc o n v o l u t i o n a ln e u r a ln e t w o r k sf o rv o l u m e t r i cm e d i c a l i m a g es e g m e n t a t i o nC/4 t hI E E EI n t e r n a t i o n a lC o n f e r e n c eo n3 DV i s i o n(3 D V).S t a n f o r d,2 0 1 6:5 6 5-5 7 1.1 8 I C E K,A B D U L KA D I RA,L I E NKAMPS.S,e t a l.3 DU-N e t:l e a r n i n gd e n s ev o l u m e t r i c s e g m e n t a t i o nf r o ms p a r s ea n n o t a t i o nC/I n t e r n a t i o n a lC o n f e r e n c eo nM e d i c a l I m a g eC o m p u t i n ga n dC o m p u t e r-a s s i s t e dI n t e r v e n t i o n.S p r i n g e r,2 0 1 6:4 2 4-4 3 2.1 9YAN GGS,MAN E L AJ,HA P P O L DM,e t a l.H i e r a r c h i c a l d e e ps t e r e om a t c h i n go nh i g h-r e s o l u t i o n i m a g e sC/3 2 t h I E E E/C V FC o n-f e r e n c eo nC o m p u t e rV i s i o na n dP a t t e r nR e c o g n i t i o n(C V P R).2 0 1 9:5 5 1 5-5 5 2 4.2 0L ISL,Z HAN GCY,HEX M.S h a p e-a w a r es e m i-s u p e r v i s e d3 Ds e m a n t i cs e g m e n t a t i o nf o rm e d i c a l i m a g e sC/I n t e r n a t i o n a lC o n f e r-e n c eo nM e d i c a l I m a g eC o