基于特征双融合CenterNet的白细胞检测方法.pdf

2023 08 10计算机应用,Journal of Computer Applications2023,43(8):2602-2610ISSN 10019081CODEN JYIIDUhttp：/基于特征双融合CenterNet的白细胞检测方法刘欢，吴亮红*，张侣，陈亮，周博文，张红强（湖南科技大学 信息与电气工程学院，湖南 湘潭 411201）（通信作者电子邮箱 ）摘要：针对实际检测过程中复杂场景下由白细胞的形态、染色程度差异较大而导致白细胞检测困难的问题，提出一种基于特征双融合CenterNet的白细胞检测方法TFF-CenterNet（Twice-Fusion-Feature CenterNet）。首先，通过特征金字塔网络（FPN）将主干网络特征与反卷积层特征相融合，增强方法的特征提取能力，从而解决白细胞个体差异、染色程度不同等问题；然后，针对白细胞占据图像面积与图像背景面积严重不均衡的问题，改进热力图损失函数来提升对白细胞正样本的关注以提高检测平均精度均值（mAP）；最后，针对白细胞图像目标微小、位置随机、细胞粘连的特点，引入坐标注意力和坐标卷积，提高对白细胞位置信息的关注度和敏感性。对于复杂场景下的白细胞，TFF-CenterNet的mAP达到97.01%，比CenterNet高3.24个百分点；检测速度达到167 frame/s，比CenterNet快42 frame/s。实验结果表明，所提方法在复杂情况下能在提高白细胞检测mAP的同时达到实时性要求，并提升了鲁棒性，可为辅助医疗诊断中白细胞的快速自动检测提供技术支持。关键词：白细胞检测；CenterNet；坐标注意力；特征融合；坐标卷积中图分类号：TP391.4 文献标志码：ALeukocyte detection method based on twice-fusion-feature CenterNetLIU Huan，WU Lianghong*，ZHANG Lyu，CHEN Liang，ZHOU Bowen，ZHANG Hongqiang（School of Information and Electrical Engineering，Hunan University of Science and Technology，Xiangtan Hunan 411201，China）Abstract:Leukocyte detection is difficult due to different shapes and degrees of staining of leukocytes during real detection process in complex scenarios.To solve the problem，a dual feature fusion CenterNet based leukocyte detection method TFF-CenterNet（Twice-Fusion-Feature CenterNet）was proposed.Firstly，the features of the backbone network were fused with the features of deconvolution layers through Feature Pyramid Network（FPN）.In this way，the feature extraction ability of the method was improved to solve the problems of individual differences and different degrees of staining of leukocytes.Then，aiming at the problem of severe imbalance between the image area of leukocytes and the background image area，the heatmap loss function was improved to enhance the focus on positive samples of leukocyte and improve detection mean Average Precision（mAP）.Finally，for the characteristics of the tiny target，random location，and cell adhesion of leukocyte images，coordinate attention and coordinate convolution were introduced to improve the attention and sensitivity of leukocyte location information.For leukocytes in complex scenarios，TFF-CenterNet achieves the mAP of 97.01%and the detection speed of 167 frame/s，which are 3.24 percentage points higher and 42 frame/s faster than those of CenterNet respectively.Experimental results show that the proposed method can improve the mAP of leukocyte detection in complex situations while achieving real-time requirements，and improves the robustness，so that this method can provide technical support for rapid automatic leukocyte detection in complementary medical diagnosis.Key words:leukocyte detection;CenterNet;coordinate attention;feature fusion;coordinate convolution0 引言 医学领域通常通过分析白细胞来识别人体的一些常见疾病1。当身体不适时，在血液细胞涂片图像中，白细胞数量的增加或减少，形态结构如大小、颜色和形状的变化，都反映着人体各种疾病的发生。血细胞分类有人工细胞分类、流式细胞分析仪和图像处理技术三种方法2。人工细胞分类主要用显微镜观察分析血液涂片图像中的白细胞，耗时耗力3，更多依赖专业人员的个人经验，存在一定误差4。流式细胞分析仪可以同时处理大量的细胞，但无法显示白细胞的形态5，得不到白细胞的图像，特殊情况下仍需人工镜检进行复检6。随着计算机图像处理技术与医疗领域的紧密结合，图像处理技术辅助医疗诊断成为一个发展趋势。传统的白细胞图像分割、特征提取和白细胞图像分类等技术在实际应用中存在分割不准确、特征提取困难和白细胞分类精度文章编号：1001-9081（2023）08-2602-09DOI：10.11772/j.issn.1001-9081.2022071009收稿日期：20220711；修回日期：20221118；录用日期：20221130。基金项目：国防基础科研计划项目（JCKY2019403D006）；湖南省自然科学基金资助项目（2021JJ30280）；湖南省科技创新计划项目（2017XK2302）。作者简介：刘欢（1997），女，河南南阳人，硕士研究生，CCF会员，主要研究方向：图像处理；吴亮红（1977），男，湖南宁乡人，教授，博士，主要研究方向：智能计算、计算机视觉；张侣（1997），男，贵州毕节人，硕士，主要研究方向：计算机视觉、图像处理；陈亮（1985），男，湖南邵阳人，讲师，博士，主要研究方向：深度学习、图像识别、计算机视觉；周博文（1983），男，湖南益阳人，高级工程师，博士，主要研究方向：计算机视觉、图像处理；张红强（1979），男，河南新乡人，讲师，博士，主要研究方向：群机器人系统、群体智能、优化与智能控制。第 8 期刘欢等：基于特征双融合CenterNet的白细胞检测方法低等问题。因此，快速自动准确地检测出血液细胞涂片图像中的白细胞指标，对辅助医疗诊断具有重要意义。神经网络是一种抽象的特征提取方法，具有较强的特征学习能力，端到端的学习可以将复杂步骤简单化，避免手工提取特征过程中导致误差的累积，实现检测过程自动化7，在医学图像数据处理中有着广泛的应用。近年来，为提高血液细胞检测效率以辅助医学诊断，显微血液涂片图像中白细胞的自动检测成为一个研究热点8。Zhao等9利用颜色R和B的简单关系得到R-B图像，应用形态学操作删除噪声和完整的细胞核，然后给出一种合并细胞核的算法，帮助从外周血图像中检测白细胞；Nateghi等10使用一些形态学操作和最优 Otsu 阈值对白细胞进行分割；Fan 等11提出了一种端到端的白细胞定位和分割方法LeukocyteMask，以像素到像素的方式自动分割白细胞；刘阳12提出了基于RGB和C-Y颜色空间的白细胞图像分割算法，对4类白细胞进行分割，平均精度为95.58%；Lu等13提出了一种基于 UNet+和 ResNet的深度学习网络 WBCNet用于白细胞的分割，获得了较高的分割准确率。这些基于分割的方法在具有清晰的白细胞结构数据集上是有效的，但对于细胞粘连严重、白细胞图像较小以及杂质污染等情况下的白细胞图像并未进行实验验证。Wang 等14以 SSD（Single Shot MultiBox Detector）和YOLOv3作为检测框架，给出了实验分析证明并考虑各种因素的影响，其中最佳平均检测精度为90.09%；耿磊等15基于Mask R-CNN（Mask Region-Convolutional Neural Network）提出了结合注意力机制多尺度特征融合的白细胞检测方法，对白细胞的平均精度均值（mean Average Precision，mAP）达到了98.25%；陈奕君16提出基于半监督检测的白细胞自动识别方案，在采集的数据集上进行了实验验证；王榆锋等17提出了一种基于YOLO框架的改进目标检测算法YOLO-Att，在公开血细胞数据集（Blood Cell Count and Detection，BCCD）18检测任务中，对白细胞检测的平均精度达到94.51%；王静等19改进YOLOv5的白细胞检测算法，将含有BCCD的混合并扩增后的数据集作为实验对象，平均精度达到99.4%；姚江帆20构建了两种单检测器和一个两级检测器，对BCCD数据集的重构和优化作为实验对象，平均精度达到98.3%。以上对白细胞检测的方法均有较好的检测效果；但这些方法用于训练和测试的数据集都是经过剪切、色彩较为统一以及比较清晰的白细胞图像，对于差距较大的白细胞涂片，检测方法的泛化能力没有得到验证。实际操作过程中，首先得到显微镜下的血液细胞涂片图像，因为个体差异、染色程度、光线等因素的影响，如图 1所示，得到的血液细胞涂片图像色彩和形态差异很大，从中快速准确地检测出白细胞是一项困难的任务。针对复杂血液细胞涂片图像，本文在CenterNet21的基础上改进优化，提出了一种具有良好泛化能力的白细胞检测方法 TFF-CenterNet（Twice-Fusion-Feature CenterNet），能有效提取复杂血液细胞涂片中白细胞图像的位置信息和特征信息，提升白细胞的检测速度和检测精度。1 TFFCenterNet白细胞检测网络 1.1总体框架现有的深度学习目标检测网络可分为有锚框和无锚框两大类。有锚框的方法又分为两阶段检测网络，如区域卷积神经网络（Region Convolutional Neural Network，RCNN）系列22-24和一阶段检测网络，如YOLO（You Only Look Once）25-27系列、SSD 网络28和 RetinaNet29等。CenterNet 作为无锚框目标检测方法的典型代表，使用关键点估计找到目标的中心点，然后直接预测目标在中心处的宽度和高度信息，生成符合目标形状的预测框，整体架构较为简单，不需要提前准备锚框，避免了锚框所引起的大量正负样本不均衡问题，减少了大部分的超参数设计。此外，CenterNet不需要使用非极大值抑制去筛选候选框，减少了网络的整体参数和计算量，与一阶段和二阶段目标检测方法相比，检测速度和精度都有很大程度的提高。文献 21 中表示CenterNet支持Hourglass30、深层聚合（Deep Layer Aggregation，DLA）31和ResNet32三种主干特征提取网络。由于数据集的数量有限，白细胞在血液细胞涂片图像中尺寸微小，对于网络参数量较大的 Hourglass 和 DLA 主干网络，易导致网络过拟合，不适用于本文对白细胞的检测。在ResNet系列网络中，选择结果相对较好的ResNet34作为主干特征提取网络。在此基础上，为了使本文方法更精准地定位和识别目标位置区域、提高网络对白细胞位置信息的敏感性，在主干特征提取网络的第 1 个下采样后加入坐标注意力（Coordinate Attention，CA）33。为了充分提取融合白细胞的特征信息，使用 带 有 注 意 力 模 块 的 特 征 金 字 塔 网 络（Feature Pyramid Network，FPN）34，将自顶而下所得到的多尺寸特征图与解码反卷积过程中所产生相同尺寸的特征图相加，形成经过FPN主干特征首次融合与反卷积层特征再次融合的特征双融合方法，提取更多可利用的白细胞细节特征，提升网络的特征提取能力。其中，在主干特征提取的连续下采样过程中为了减小白细胞细节信息的损失，将空洞空间池化金字塔（Atrous Spatial Pyramid Pooling，ASPP）35模块添加到主干特征提取网络的中段；在 FPN 的横向连接过程中分别通过空间注意力（Spatial Attention，SA）36模块将白细胞的位置信息融入特征融合过程中。此外，通过 SE（Squeeze-and-Excitation）模块37调整FPN产生的3个特征图的通道权重后，与反卷积层中相同尺寸大小的特征图进行相加，避免杂乱信息的干扰而降低检测效果。最后，在FPN的最后一层与反卷积最后一层处同时 使 用 坐 标 卷 积 CoordConv38（如 图 2 中 CoordConv1 和CoordConv2所示），增加两个通道分别记录原始输入的x和y坐标，然后再进行传统卷积，从而使卷积过程可以感知特征图的空间信息。CoordConv与CA注意力模块共同增强网络对白细胞位置信息的关注，从而再次提高检测精度。图2所示为TFF-CenterNet方法的网络框架。图1复杂血液细胞涂片图像样本Fig.1Samples of complex blood cell smear image2603第 43 卷计算机应用1.2注意力模块在输入的血液细胞涂片图像中，白细胞的体积微小、数量少，红细胞、血小板、杂质等背景信息大量存在。背景在经过多层卷积后的层层累积会带来大量无用信息，从而忽视目标白细胞部分关键信息，影响检测精度；因此，本文引入坐标注意力CA，将位置信息加入到通道注意力中，可以同时提取到方向和位置的关键信息，有利于网络学习到白细胞的特征信息，更加准确地检测出目标白细胞的位置，从而在密集预测任务时能明显提升检测方法的性能。如图 3（a）所示，将沿垂直和水平方向的输入特征图通过两个平均池化（Avg Pool）操作后，分为两个单独的方向感知特征图，接着进行拼接和11卷积变换，然后将带有特定方向信息的两个特征图分解为两个中间特征图，通过两个卷积变换使两个中间特征图具有相同的通道数，最后通过乘法将两个具有位置信息的中间特征图作用于输入特征图上。空间注意力 SA 根据特征图的空间维度信息提取特征39，按照每个像素位置的信息分布分配权重40。如图 3（b）所示，先将输入特征在空间维度上分别进行Mean和Max操作，接着分别通过1个卷积核，将经过卷积后的2个结果进行拼接，保证最后得到的特征在空间维度上与输入的特征图一致，最后采用Sigmoid激活函数得到一个新的特征图。SE模块如图3（c）所示，主要是学习通道之间的相关性，让网络更加关注带有重要信息的通道，得到每个通道所对应的权重。将每个权重与输入特征图对应的通道，以此来调整输入特征图各通道的比重，保证重要通道信息可以较为完整地传递。1.3空洞空间池化金字塔下采样容易导致分辨率下降，从而引起目标的部分细节信息丢失。如图 4 所示，ASPP 主要是对于输入的特征图使用不同采样率的空洞卷积41同时进行采样，再将采样的结果拼接在一起，通过 11卷积调整通道数，相当于多个比例捕捉图像的上下文信息42。空洞卷积可以增大感受野，不改变图像输出特征图的尺寸，因此经过不同的空洞卷积核卷积后，拼接后会得到具有不同感受野的特征图。白细胞检测属于小目标检测，需要丰富的上下文信息，使用不同扩张卷积速率的扩张卷积来获得不同感受野的上下文信息，以丰富FPN的特征信息。根据本文所得到的特征图尺寸大小，选择以1、3、5三个不同速率的扩张卷积来实现空洞空间卷积池化金字塔。1.4损失函数的改进CenterNet的损失函数由热力图损失、中心点损失和长宽损失三部分组成。针对白细胞数量少、目标微小且与整个背景图2TFF-CenterNet网络框架Fig.2Network framework of TFF-CenterNet图3注意力模块Fig.3Attention modules图4空洞空间池化金字塔示意图Fig.4Schematic diagram of atrous spatial pyramid pooling2604第 8 期刘欢等：基于特征双融合CenterNet的白细胞检测方法占比差距较大的问题，本文主要对热力图损失函数进行改进。在血液细胞涂片图像中，白细胞数占比极少，红细胞及其他杂质占比较大。为了更好地缓解正负样本占比不均衡的问题，本文对热力图损失进行部分改进。考虑到当Yxyc为其他情况时真实值接近0，而预测值却接近1时的情况下，需要增加该样本的损失。因此，本文采用(Yxyc-Yxyc)2来增加Yxyc为其他情况下的损失。考虑到血液细胞图像中存在大量的负样本，本文在热力图损失函数的正样本损失部分加入超参数，提高对正样本的损失的关注度，并采用1-减少负样本的损失，降低对负样本的关注。改进后的热力图损失函数为Lk：Lk=-1Nxyc()1-Yxycln(Yxyc)，Yxyc=1-1Nxyc()1-()Yxyc-Yxyc2(1-Yxyc)(Yxyc)ln(1-Yxyc)，其他（1）其中：、表示超参数，本文中取=2，=4；也表示超参数，是对正负样本的平衡权重，经实验验证，=0.8时取得最佳实验效果；N表示一张图像中白细胞数；xyc表示热力图上的所有坐标点；Yxyc表示预测值；Yxyc表示标注的真实值。CenterNet 在得到目标中心点之后，再利用宽高损失对CenterNet进行尺寸回归，最终得到完整的目标预测框。宽高损失函数Lsize如式（2）所示：Lsize=1Nk=1N|Spk-sk（2）其中：Spk为白细胞预测尺寸，sk为白细胞真实尺寸，只对正样本的损失值计算。重新调整中心位置，使用偏移量预测部分来调整由步长导致的离散化误差，并利用损失函数来对离散化误差Loff进行调整，Loff定义如下：Loff=1Np|Op-(p R-p)（3）式（3）中：Op表示预测的偏移值，p为图片中目标中心点坐标，R为缩放尺度，p为缩放后中心点的近似整数坐标。综上所述，TFF-CenterNet 的目标背景平衡损失函数L具体计算如式（4）所示：L=Lk+sizeLsize+offLoff（4）在保持中心点损失和长宽损失不变的情况下，参考文献 21 在关于CenterNet的说明，设置size=0.1，off=1。2 实验与结果分析 2.1实验数据集如图 5 所示，本文共涉及 3 个数据集。其中，图 5（a）为BCCD 数据集，一个用于检测血细胞的小规模公共数据集，该数据集里的图像为剪裁放大过的白细胞图像；图 5（b）和（c）为本文所采集的显微镜放大倍数为100倍和40倍下血液涂片图像（Blood Cell Smear Images，BCSI）数据集，来自同一医院不同患者的血液细胞涂片图像，图1给出的复杂白细胞图像样本示例均来自图5（c）所示数据集。训练集加验证集的样本数与测试集样本数之比为7 3，其中训练集与验证集的样本数之比为8 2，具体样本数量如表1所示。BCCD数据集图像背景杂质干扰少、染色程度均匀、白细胞整体结构清晰、图像之间色彩较为统一，对于检测方法来说能够较为完整地提取到白细胞的特征信息，易检测到白细胞的位置。图 5（b）和（c）中的图像由于血液细胞的来源不同、细胞之间存在个体差异、血玻片染色程度不同以及拍摄时的光线等因素的影响，实际通过显微镜拍摄得到的血液细胞涂片图像存在色彩不统一、杂质遮挡、粘连情况严重、白细胞大小差异较大等问题，容易造成白细胞检测任务的漏检和误检问题。具体地，如图5（b）所示，BCSI100拍摄范围较小，细胞体积较大，白细胞的形状特征较为清晰，但仍有杂质混入，一部分图像中的红细胞和白细胞经深度染色后难以区分。如图5（c）所示，BCSI40中的图像的视野范围大、包含的细胞数量较多且体积较小、白细胞的内核结构和形状特征等一些细节特征显示较为模糊以及存在红细胞密集粘连的情况，这些均不利于检测方法对白细胞信息的学习和提取。经上述三种数据集的分析以及考虑到本文的主要研究目标是处于复杂环境下白细胞图像的检测，选取 BCSI40数据集作为本文重点实验对象。2.3.1节、2.3.2节以及2.3.3节的实验设置均是针对BCSI40数据集来验证本文各个改进点对该数据集的可行性和有效性。此外，第 2.3.4 节和第2.3.5节分别对三个数据集进行实验，增加了实验样本的多样性，重点验证本文整体方法的泛化能力以及与其他目标检测方法的检测效果对比。2.2评价指标为了更好地评估检测本文方法对白细胞检测的效果，使用 精 度 P（Precision）、召 回 率 R（Recall）、平 均 精 度 均 值（mAP）、平衡分数F1（F1-score）、检测速度、权重所占内存等性能指标对不同方法的检测效果进行评价。各评价指标具体计算如式（5）所示：表1数据集样本数Tab.1Numbers of samples in datasets数据集BCCDBCSI100BCSI40训练样本数2046171 851验证样本数51154463测试样本数109331991总计样本数3641 0023 305图5血液细胞涂片图像数据集Fig.5Blood cell smear image datasets2605第 43 卷计算机应用P=TPTP+FPR=TPTP+FNVmAP=VAP=01P(R)dRF1=2PRP+R（5）其中：TP 代表白细胞被准确识别为白细胞的数，TN 代表非白细胞正确识别为非白细胞的数，FP代表白细胞被错误识别为非白细胞的数，FN代表非白细胞被错误识别成白细胞的数。P代表网络检测出的目标是真正目标物体的比例，R表示所有真实目标被网络检测出的比例。当以R为横坐标，P 为纵坐标时，即可得到 P-R 曲线。平均精度（Average Precision，AP）即P-R曲线与坐标轴之间围成的面积，mAP代表多类别 AP 的平均值，本文检测对象为单目标，mAP 即为AP，mAP的大小反映了网络对某类别识别的好坏。F1是精确率和召回率的调和平均数，兼顾了P和R的结果。检测速度是指目标检测方法每秒可以处理的图片数，检测速度越快越能实现实时检测。在相同的硬件条件下，检测速度可作为网络推理速度的评价指标。2.3实验验证本文开发平台的 CPU选用 Intel Xeon Gold 5320，GPU选用 RTX A4000，操作系统选用 Ubuntu，实验采用 Python 编程语言，并在深度学习框架为 PyTorch 1.8.0 上进行了网络搭建、训练和测试。实验分为主干特征提取网络对比实验、损失函数超参数取值对比实验、消融实验、多个数据集对比实验和不同检测方法对比实验 5个部分。整个训练过程持续100个 epoch，为了更快达到训练效果，前 50个 epoch训练的batch_size设置为16，学习率为0.001，设置学习衰减率0.1，权重衰减为0.000 5，后50个epoch的学习率为0.000 1。2.3.1主干特征提取网络对比实验由于数据集的数量有限，白细胞在血液细胞涂片图像中尺寸微小，对白细胞检测的实时性有一定要求。在选择主干网络时，首先排除网络参数量较大且易导致网络过拟合的Hourglass和DLA网络。如表2所示，在ResNet系列网络中选取 ResNet18、ResNet34、ResNet50 分别作为 CenterNet 的主干特征提取网络进行实验，分别对比三种主干网络精确度、F1、检测速度和权重所占内存大小。由表 2 可知，ResNet18 的检测速度高于其他两个网络，权重较小适合网络部署，但检测精度最差。ResNet34 和ResNet50 的检测精度相对较高且相近，ResNet34 的速度比ResNet50 快 42 frame/s，权重所占内存比 ResNet50 小 33 MB。综合检测精度和检测速度考虑，本文选择 ResNet34 作为CenterNet的主干网络，并以此为基础改进。2.3.2损失函数超参数选择为了确定改进损失函数中的取值，单独对实验。以0.6为基础，0.1为增加幅度逐个实验比较，表3为具体的实验结果。由表3可知，当为0.6时，各个评价指标都低于改进损失函数的检测效果。在取值从 0.6到 0.8增大的过程中，召回率和检测精度随之提高。当再次增大到0.9时，检测精度开始下降。表 3 中未使用的 mAP 低于为 0.8 时的mAP，但R和F1值较高，由此得出当=0.8时，总体评价指标较优。为更直观显示损失函数改进后的效果，将热力图可视化如图6所示。原始图像大小中由于目标太小不宜观察，将部分目标剪裁后放大显示。图 6（a）中，当多个目标白细胞距离较近时，热力图显示保持原损失函数的网络容易误把聚集的细胞当作一个整体，而损失函数改进后的热力图显示网络可以更准确定位每个正样本白细胞的中心位置并加强关注；图 6（b）中，目标白细胞处于图像边缘，容易出现漏检的情况，改进损失函数后的热力图分别关注到了结构不完整且相邻的白细胞；图 6（c）中，损失函数改进后，增加了对正样本的权重，对白细胞图像的关注范围变大。损失函数改进前后的热力图对比验证了本文对损失函数的改进是有效的。表2主干特征提取网络对比实验Tab.2Comparison experiment of backbone feature extraction network主干网络ResNet18ResNet34ResNet50mAP（IoU=0.5）/%91.3693.6993.77F10.900.920.92检测速度/（frame s-1）192167125权重所占内存/MB5492125表3取值对比实验Tab.3Comparison experiment of value0.60.70.80.9注：“”表示原损失函数，即未使用。P/%97.3495.7893.1595.1597.89R/%83.2692.8894.1192.8184.73mAP（IoU=0.5）/%90.3593.7894.7294.0293.25F10.900.940.940.940.92图6损失函数改进前后的热力图对比Fig.6Comparison of heatmaps before and after improving loss function2606第 8 期刘欢等：基于特征双融合CenterNet的白细胞检测方法2.3.3消融实验为了分析本文的各个改进点对BCSI40数据集的检测效果，本文在同一主干特征提取网络 ResNet34 的基础上进行消融实验并记录对比结果。消融实验中，以通过FPN将主干特征层与反卷积层融合的特征双融合表示为改进点1；以改进后的损失函数表示为改进点2；以在网络前端引入坐标注意力和尾端坐标卷积表示为改进点3。具体实验结果如表4所示。由表4可知，3个改进点单独作用时，检测精度均有一定提升。其中，改进点3对方法的改进效果低于其他两个改进点，改进点1和改进点2的检测精度相差不大，说明特征双融合对白细胞特征的提取效果较好，改进的损失函数提升了方法对白细胞的关注。在2个改进点同时作用的对比实验中，改进点1和改进点2的组合检测精度最好，主要是因为改进点 1使网络在双融合特征下充分提取白细胞的细节信息的同时，改进点 2增强了方法对目标白细胞损失的关注度，使网络加快收敛，检测精度得到提升。当3个改进点同时作用时，方 法 得 到 了 一 个 较 为 全 面 的 改 进，检 测 精 度 达 到97.01%，准确率和召回率均在96.75%以上。以上实验结果表明，每个改进点都相应地提升了检测精度，验证了本文的各个改进方法可行。2.3.4多个数据集检测效果对比为验证本文方法的泛化能力，增强实验样本的多样性，在对不同类型的BCCD数据集、BCSI100数据集和BCSI40数据集上分别进行实验。表 5为本文检测方法在不同数据集上进行训练的具体实验结果对比。结合表5与图7可知，三种数据集的检测精度均在96%以上。其中对BCCD数据集的检测精度最高，得益于该数据集包含的视野较小，观察到的白细胞较为清晰独立，杂质干扰较少。BCSI100 数据集中的图像，白细胞结构清晰，具有较高分辨率，但在投入训练前，需要先将图像尺寸压缩至512512，这会损失白细胞的一些细节信息，导致检测精度低于 BCCD 数据集。BCSI40中的图像即使观察到的血细胞范围更大，包含的细胞数量更多，目标白细胞体积更小，本文方法仍能准确地检出。2.3.5不同检测方法对比实验为了评估本文TFF-CenterNet的整体检测性能，在3个数据集上分别对不同检测方法进行训练、验证和测试，主要对比不同检测方法检测精度相关指标；速度以及权重所占内存的性能指标主要是在 BCSI40数据集下对不同方法进行比较。表6中括号里表示的是每个方法的主干特征提取网络。表4消融实验Tab.4Ablation experiments改进点1改进点2改进点3P/%96.5595.2393.1594.6095.7595.2095.3796.75R/%84.7392.7294.1191.4595.7593.7394.0596.97mAP（IoU=0.5）/%93.2594.5594.7294.0096.0495.0395.3897.01F10.920.930.940.930.960.940.950.96表5不同数据集上的对比实验Tab.5Comparison experiments on different datasets数据集BCCDBCSI100BCSI40P/%98.7096.3795.75R/%98.2696.2296.97mAP（IoU=0.5）/%98.9897.1997.01F10.980.960.96图7不同数据集上的检测效果Fig.7Detection effects on different datasets表6不同方法的白细胞检测结果对比Tab.6Comparison of leukocyte detection results of different methods方法Faster RCNN24SSD（VGG16）28YOLOv4（DarkNet53）26YOLOv5s27RetinaNet（ResNet50）29CenterNet（ResNet50）21CenterNet（Hourglass104）30TFF-CenterNet（ResNet34）P%BCCD98.1296.3498.3797.5398.4497.5698.3498.70BCSI10057.8983.7595.8896.1396.5496.4798.1696.37BCSI4054.5770.3495.2495.5896.2595.8495.9996.75R%BCCD81.5982.5394.9593.4592.5989.2390.3298.26BCSI10079.3483.2494.7595.4793.3992.3496.4596.22BCSI4078.5082.4294.2494.1685.8789.4798.6996.97mAP（IoU=0.5）/%BCCD89.6787.3596.5797.1397.3295.4498.0198.98BCSI10072.1684.2995.3495.8995.3994.7997.5697.19BCSI4068.8076.7795.1095.3194.8993.7797.3697.01F1BCCD0.890.870.960.960.960.950.970.98BCSI1000.710.850.960.960.950.940.960.96BCSI400.640.780.950.950.910.920.960.96检测速度/（frame s-1）182840553612520167权重所占内存/MB108100245140139125730922607第 43 卷计算机应用由表 6 所示，两阶段 Faster RCNN 和 SSD 的检测精度较差，均未达到90%。YOLOv4的检测精度和YOLOv5的平均精度低于本文方法 TFF-CenterNet。RetinaNet对两个数据集的召回率较低，导致平均精度较低。主干网络为 ResNet50 的CenterNet 和 本 文 TFF-CenterNet 的 检 测 速 度 均 达 到100 frame/s以上，但前者在BCSI40数据集上平均精度低于本文方法。以Hourglass104为主干网络的CenterNet在BCSI100数据集和BCSI40数据集中的检测精度最高，但 Hourglass104权重较大占有730 MB内存，不便于移植到硬件设施中；检测速度只有20 frame/s，是本文的1/8，无法实现实时性检测。本文 TFF-CenterNet 的检测精度在 BCCD 数据集，BCSI100数据集和 BCSI40 数据集分别为 98.98%、97.19%和 97.01%。其中，在BCSI40数据集上TFF-CenterNet的mAP比CenterNet高3.24 个百分点，检测速度达到 167 frame/s，比 CenterNet 快42 frame/s，主要是因为无锚框目标检测方法在候选框数量和网络上进行了简化，速率得到了大幅度提升。实验结果表明，本文方法在满足检测精度的同时，满足了实际应用场景中对白细胞自动检测的实时性要求，在检测精度和检测速度上达到了很好的平衡。为了更直观地对比以上几种不同方法，图8给出了部分检测方法对白细胞的检测效果图，其中：圆所圈出的为漏检的白细胞，箭头所指为误检的情况，方框则为相应方法的检测框。此外，图8中包含了几种代表性的图像，其中色变细胞图像和模糊细胞图像中的部分白细胞处于边缘位置，结构不完整；微小细胞图像中，白细胞目标较小且染色程度较深，不易观察；具有高分辨率的放大细胞图像中的白细胞结构清晰。由图 8可知，对于清晰正常的图像，每个网络都能较为准确地检测出白细胞；对于一部分处在边界线上的白细胞，Faster RCNN、RetinaNet、YOLOv5 和 Cen