基于特征重构自愈残差网络的神经元形态分类.pdf

年 月第 卷第 期西 北 工 业 大 学 学 报 ：收稿日期：基金项目：国家自然科学基金（）、广西自然科学基金（，）与广西师范大学重点科研项目（）资助作者简介：何富运（），广西师范大学副教授，主要从事生物图像信息处理与分析研究。：基于特征重构自愈残差网络的神经元形态分类何富运，韦燕，丰芳宇，钱有为（广西师范大学 电子与信息工程学院，广西 桂林）摘 要：针对不同类别神经元之间的形态相似度高、类内区别性大，容易导致神经元分类准确率不高的问题，提出了一种基于特征重构自愈残差网络的神经元形态分类方法。针对传统卷积造成边缘像素弱化和填充策略带来新像素侵蚀特征的问题，在基础网络后端构建特征重构模块来保留重要的中心特征并过滤受损的边缘特征。利用自注意力权重模块和排序正则化损失方法增强对神经元形态特征的关注。自注意力权重模块为每个样本重新分配权重，以此捕获样本重要性进行加权损失；排序正则化模块则将这些权重按降序重新排序，分为高低 组权重，同时通过在 组平均权重之间强制执行边距进行正则化处理。所提方法在大鼠神经元形态数据集上进行实验，实现了较为优良的分类效果，在、和 数据集上进行十二分类的准确率分别达到了，。与其他分类方法相比，所提方法具有更高的神经元形态分类准确率，相较于基础网络，有效地提升了神经元形态分类准确率。关 键 词：神经元形态分类；特征重构；自愈残差网络；自注意力权重；深度学习中图分类号：文献标志码：文章编号：（）大脑的结构和功能十分复杂，其病变通常会导致神经性退行疾病的产生。神经元作为大脑结构的基本单位，其结构和功能包含着很多因素，其中形态特征和电学特性是 个非常重要的因素。神经元形态分类是探索和理解大脑神经功能的基本途径，广泛应用于神经元形态的三维重建、神经功能和结构映射等研究领域。神经元形态与其功能息息相关，因此依据神经元的形态特征对神经元进行分类，非常有助于理解大脑的结构和功能。但神经元具有复杂多样的形态结构，不同类型神经元之间的区别性小，而同类型神经元的子类和结构的区别性大，因而容易导致神经元形态分类准确率不高的问题。传统的神经元形态分类，主要依赖于手动提取特征，不仅费时费力，而且分类准确率不理想。近年来，深度学习在图像分类中表现优异，逐渐成为研究图像分类的主流方法。深度卷积神经网络虽然在神经元形态分类领域展现出不错的前景，但其性能远未达到预期。因为在卷积过程中，若是一味地遵循卷积工作模式，随着网络深度不断加深，将会丢失边缘像素信息，不利于神经元形态特征的提取。等为了解决感知偏差提出填充策略，该策略允许在输入图像的外围使用零填充再开始卷积，这为边缘像素与卷积核交互提供了更多的机会，从而抑制了卷积的感知偏差，增加了边缘信息对特征提取的贡献。同时，填充策略可以防止输入图像在卷积后出现特征收缩现象，在一定程度上提高了卷积神经网络的性能。但在图像处理领域中，每个像素都有它的实际意义，零填充会带来新的数据并将其合并到图像中，大量外来像素会逐层侵蚀特征信息，从而导致神经元分类性能受到影响。为了解决上述问题，本文深入研究卷积神经网络的架构和神经元形态数据，以残差网络（，）为基础网络，提出了一种基于特征重构自愈残差网络（，）用于实现神经元形态分类任务。具体流程为：在基础网络的后端搭建特征重第 期何富运，等：基于特征重构自愈残差网络的神经元形态分类构模块，该模块通过亚像素卷积对特征进行重组，获得更大的特征图。使用大步幅的卷积核对特征图进行二次提取以提高边缘像素的感知频率，从而缓解神经元的形态特征在提取阶段因填充策略而导致的特征被外来像素侵蚀的问题。融合自注意力权重和排序正则化模块，通过自注意力权重模块为每一个样本重新分配权重，排序正则化模块对自注意力权重模块学习到的权重进行降序以此确保学习到有意义的权重，促使网络更加关注神经元几何形态特征和有效地提取神经元形态分类判别性特征，从而获得更加准确的神经元形态分类结果。相关研究工作早期，等根据原始空间几何数据估计神经元形态特征，提出了一种新的基于支持向量机（，）的神经元形态分类方法。等分析了多个维度的神经元图像，并使用结构特征提取技术获取其显著特征，实现了对啮齿动物脑干中的多巴胺能神经元进行自动化分类。等使用 提取形态学特征，并分别将无监督和监督分类技术应用于形态学特征分类。等使用机器学习技术对线粒体形态进行计算图像分析，可以对不同的生理和病理线粒体形态进行准确分类。近年来，深度学习方法成为数字图像处理的主流方法，与传统机器学习方法不同，深度学习可以更深层次地提取神经元的形态特征，并实现自动分类，因此更加受到研究者的青睐。等分别构建了线虫和斑马鱼 种不同物种的神经元数据集，在此基础上提出了局部累加连接深度神经网络的神经元形态分类方法，将神经元的几何形态量化特征作为网络的输入来进行神经元形态分类。文献基于自适应投影算法将三维神经元图像投影成二维图像，并针对该数据提出了双卷积门限循环神经网络模型。文献使用了完整的神经元三维体素数据进行缩放，采用三维卷积神经网络进行神经元几何形态的分类实验。等提出了采用不同类型的深度神经网络模块可以很好地处理不同类型的特征，首先针对神经元图像数据构建了一个卷积神经网络（）模块，然后针对压缩但非结构化的 格式数据构建了一个 模块，最后将这 个模块提取到的特征融合后再进行分类。等对大鼠初级体感皮层（）和初级运动皮层（）中的神经元进行免疫组织化学染色，并借助深度学习算法对 和 免疫信号进行二分类。与上述方法不同的是，本文提出的方法是在解决传统卷积缺陷的基础上进行改进，并通过融合多个子网络模块来关注网络感兴趣的区域，从而达到较好的神经元形态分类性能。本文以 等制作的大鼠神经元形态数据集作为实验基础，分别在 个神经元图像数据集上进行二分类和十二分类实验，以此来验证本文方法的有效性。方 法神经元形态分类算法一般分为预处理、特征提取、神经元特征分类。面对具有复杂多样结构的神经元，对每个像素信息的提取都极为重要。在卷积神经网络中，填充策略可以缓解特征图收缩和卷积过程中存在的感知偏差，但同时会引入新的特征，受 等提出的去白化模块（）消除白化特征的启发，结合神经元形态数据的特点，提出基于特征重构自愈残差网络（）。本节将概述，再详细介绍每个模块的功能。总体框架本文提出的 采用 作为前端基础网络进行特征提取，为了解决卷积填充带来的问题，在基础网络后端构建了特征重构模块，该模块是由亚像素卷积对已提取到的特征图进行重组，获得 个通道的特征图，再进行二次处理得到更加准确和干净的特征，从而更有利于神经元形态分类。同时，为了更好地让网络关注有效的神经元形态特征，使用自注意力权重模块，为每个样本重新分配权重，并在网络训练时引入了排序正则化损失函数。如图 所示，主要由 个模块组成：特征重构模块、自注意力权重模块以及作为辅助的排序正则化模块。特征重构模块将基础网络提取到的特征重新分配并进行二次提取。自注意力权重模块进一步对样本进行权重重新分配，并使用排序正则化模块对权重进行排序，从而促进网络关注到更加有效的神经元形态特征。西 北 工 业 大 学 学 报第 卷图 特征重构自愈残差网络 特征重构模块传统卷积神经网络在卷积过程中会出现感知偏差，即图像边缘像素与卷积核交互的频率少于中间像素与卷积核交互的频率。本文使用 的矩阵来表示图像的像素感知频率，如图 所示，通过步幅为，大小为 的卷积核在 的特征图上进行卷积，图中的数字表示卷积交互的次数，由此可知在卷积核进行卷积的过程中，边缘像素的感知频率要低于中间像素的感知频率。随着网络层数的加深，容易丢失边缘的重要信息，非常不利于神经元形态分类。因此，有研究者提出使用填充策略来缓解边缘信息丢失的问题。而引入填充策略会带来新的问题，如使用零填充策略在卷积过程中零元素伴随卷积操作流入新特征，造成原始特征被侵蚀的问题。图 感知偏差示意图考虑到感知偏差和填充策略侵蚀特征都出现在图像边缘位置，如果能将受侵蚀程度相同的像素聚集在一起，同时保持它们的相对位置分布，再对其进行二次处理，便可缓解在提取过程中出现特征丢失和侵蚀的问题。亚像素卷积可以将通道信息转换为空间信息，同时还可以保存像素之间的相对位置。因此，本文在特征重构模块中首先采用亚像素卷积进行特征重新分配，其具体实施过程如图 所示，将每个特征图相对应的位置像素点聚集以获取更大的特征图，其中相对应位置像素点的聚集称为特征簇。图 特征重新分配示例图为了更好地实现神经元分类，在基础网络的后端，构建特征重构模块以提取更为干净的形态特征，其结构如图 所示。图 特征重构模块通过 提取 个通道的 特征图，使用亚像素卷积对特征图进行重构，得到 个通道的 特征图，其中特征簇大小为。卷积核的大小和步幅都会影响感知偏差，因此通过调整卷积核的大小重新将权重定性分配给不同位置的像素，同时考虑 个通道的相关性，获得重构后的特征图进行特征提取的卷积核必须为单通道且大于特征簇，这样才能增强特征的多样性，确保在特征提取过程中卷积核发挥作用。同时卷积核的步幅设置为，为特征簇大小的一半。特征重构模块的输出第 期何富运，等：基于特征重构自愈残差网络的神经元形态分类将 个通道的特征均值化，分别代表了每个神经元的特征。自注意力权重模块自注意力权重模块（）受启发于文献，通过自注意力权重模块为每个样本学习一个权重，以此捕获对样本的学习，该模块由线 性 全 连 接 层（，）和 函数组成。在预测神经元的样本中，会存在较高或较低的权重，因此，在改进的网络中，引入自注意力权重模块为神经元样本重新分配权重，在神经元形态特征中学习样本权重从而进行损失加权。将 ，作为输入，并输出每个特征权重为（）（）式中：表示第 个样本的权重；表示网络关注 层的参数；为 函数。排序正则化模块由于神经元存在结构的相似性和复杂的多样性，增强网络对神经元形态特征的学习尤为重要。受文献的启发，采用 个简单的损失函数的线性组合来收敛网络训练。首先，对于 个神经元类别，网络输出维向量，通过自注意力权重将输出结果归一化至，之间，设 表示的是第 个分类器，表示第 个样本中被分为 类的概率，则有 （）本文采用对数加权的方法，对于多分类任务，对数加权交叉熵损失函数定义为 （）（）并对自注意力权重模块学习到的注意力权重使用辅助模块即排序正则化模块（），该模块对学习到的注意力权重进行降序排列，然后以一定的比率 权重分为高低 组权重。，（）（）式中：为高组权重的均值，样本数为 ，为低组权重的均值，样本数为 。排序正则化要保证高权重组的均值大于低权重组的均值，并留有一定的裕度，为可学习的参数裕度。在训练过程中，使用多分类交叉熵损失函数和排序正则化损失函数共同优化网络，完成端到端的训练。因此，网络的损失函数表示为 （）式中：表示排序正则化损失函数；表示多分类交叉熵损失函数。实验结果与分析 实验数据集本文实验均在 数据集中的神经元二维图像数据集上进行，其中包含爬虫获得的原始神经元图像（）、软件修复后生成的神经元图像（）和把 对齐后的神经元图像数据（），相关参数如表 所示。表 神经元形态数据集的参数分类类型数据集原始分辨率训练集分辨率训练集数量测试集数量二分类 十二分类 本文分别对这 个神经元形态数据集进行二分类和十二分类实验。二分类的神经元类型包含主神经元（）和中间神经元（），十二分类是由 种主神经元（）、种中间神经元（）、种胶质神经元（）和 种感受体神经元（）的 个子类组成，其中主细胞神经元（）包含、和 西 北 工 业 大 学 学 报第 卷神经 元，中 间 神 经 元（）包 含、和 神经元，胶质神经元（）包含 和 神经元。实验设置本文实验是基于深度学习框架 和解释器 实现的，硬件配置是 、以及 ，加速库为 。由于数据集的数量、分辨率有所差异，在对网络进行训练之前先对数据集进行预处理。将所有输入图像裁剪为，个数据集上的图像批处理大小设置为。训练过程中使用 优化器对损失函数进行优化，初始学习率为，权重衰减系数为，系数为。首先，为了验证本文网络模型的有效性，在选定基础网络模型后，将本文提出的方法分别在 个神经元形态数据集上进行验证，对训练好的模型用测试集进行测试，生成相应的混淆矩阵，并对神经元形态分类效果进行分析。同时也比较了一些经典的分类方法。然后，为了验证各个模块对神经元形态分类的有效性而进行了相应的消融实验。最后，使用分析高维特征的分布情况。基础网络的选取一般应用于图像分类的深度学习网络中最常见的分类模型是 和。因此，在 数据集上进行十二分类任务，验证深度不同网络的神经元形态分类性能，通过评估网络模型的参数量和分类的准确率来确定基础网络，如表 所示。表 基础网络在 数据集上的准确率基础网络参数量 分类准确率 实验中使用到的超参数与本文提出的方法一致，输入图像均调整为 大小，并且均使用交叉熵损失的策略来训练网络。由表 可以看出，系列的整体准确率都优于 系列。因此从模型参数量和准确率这 个角度综合考虑，可以以较少的参数量获得较高的分类准确率，这表明了 网络模型更适合作为神经元形态分类的前端特征提取器。消融实验首先，为了验证特征重构模块设计的合理性，在 数据集上进行对比实验确定特征重构模块的相关参数，具体实施：在整体网络框架（见图）的特征重构模块上将 提取到的特征图重组成大小不同的特征图进行对比实验。如图 所示，分别将基础网络提取到 的特征图重组为，和 进行实验，其中纵坐标为分类准确率，横坐标是特征重组后对应的特征图大小，代表不使用特征重构模块。从折线图中可以看出，特征图被重新组合成 的分类准确率最高，达到了；其次特征图重组成 的准确率为，而另外 个组合的分类效果明显下降，甚至低于未加入特征重构模块的分类效果。实验结果表明，在特征重构模块中，将基础网络提取到的特征重组为 个通道的大特征图适用于神经元形态分类任务。其次，在 数据集上对排序正则化模块的比率和裕度参数进行实验评估。作为高权重样本组的比率，在实验中对 为 进行实验对比，实验结果如图 所示。当比率为 时，分类性能达到最佳，过大，会降低整体网络性能，过小，会减少训练的损失，不利于学习神经元形态特征。同时，评估了用于控制高低 组权重的参数裕度，如图 所示。实验结果表明，裕度值为 时，分类性能较好。通过上述实验，确定了基础网络为，特征重构模块由亚像素卷积重构特征图，获得 个通道的大特征图并使用大卷积核进行二次处理，同时引入自注意力权重模块和排序正则化模块，其中，排序正则化模块将学习到的权重以 的比例分为高权重组和低权重组。表 列出了本文提出网络模型的详细信息。本文以 作为前端特征提取网络，保留了全局平均池化层（）之 前 的 网 络 层（），并 使 用 在 上的预训练权重进行初始化。通过基础网络提取到大小为 的特征图，使用亚像素卷第 期何富运，等：基于特征重构自愈残差网络的神经元形态分类积将特征重新组合，重组后的特征通道由 个通道减少为 个通道，特征图大小增加到，经过此操作获得更大的特征图，利于后续二次特征提取，缓解特征弱化问题。此外，本文还引入了自注意力权重模块，促进网络更好地关注有判别性的神经元形态特征。图 特征图重构实验对比 图 高低权重比率评估 图 可学习的裕度 评估表 网络的详细信息网络类型输出超参数参数数量，无需调整 ，每层 个神经元，个神经元输出 最后，为了评估本文提出网络中各个模块的有效性，以在 数据集上预训练的 为基础网络，在、和 个神经元形态数据集上进行消融实验。具体实施：以 为基础网络，再逐步加入特征重构模块（），自注意力权重模块（）和排序正则化模块（），并在 个数据集上分别进行实验验证，比较最终的分类准确率。其中，每个数据集上都分别进行了二分类和十二分类实验。从表 的消融实验结果上看，分别融合 个模块的网络均能在基础网络上提升神经元形态分类的准确率。在基础网络上引入特征重构模块，结果显示 个数据集上的分类准确率分别提高了，说明特征重构模块能够有效缓解边缘信息丢失的问题。在此基础上，加入自注意力权重模块，使网络能够更加关注到具有判别性的神经元形态特征，神经元识别率得到提升。改进后的网络模型在 个数据集上进行二分类实验，分别达到了，的分类准确率。表 在 个神经元数据集上消融实验的结果（二分类）分类准确率 表 是在 个数据集上分别进行十二分类的消融实验结果。网络将 个模块融合使用，使得神经元形态分类获得更高的分类准确率，在 个数据集上的分类准确率分别为，相比较 于 基 础 网 络，分 别 提 高 了 ，。西 北 工 业 大 学 学 报第 卷表 在 个神经元数据集上消融实验的结果（十二分类）分类准确率 通过消融实验，验证了同时融合 个模块可以解决传统卷积提取边缘特征能力的不足，并增强网络学习的能力，能有效地增强神经元形态特征的表达能力和提升网络的整体性能，从而提高网络对神经元形态类型分类的准确率。不同分类方法性能对比为了探究该方法在神经元形态数据集上的表现能力，将本文提出方法与现有的经典图像分类网络（、和文献）进行对比，分别在 个神经元形态数据集上进行二分类和十二分类实验。此外，等提出不同类型的深度卷积网络可以处理不同格式的神经元形态特征，对于 格式数据提出了 模块，对于神经元二维图像构建卷积神经网络（），并将 个模型集成获取最终的分类结果。而本文只针对神经元二维图像进行研究，为了实验的合理性，实验对比的数据是在神经元二维图像数据集上的分类准确率。表 的数据为本文提出的网络模型与其他分类方法在 个数据集上进行二分类的实验结果。其中 在 数据集上分类准确率达到了，在 数据集上分类的准确率为，在 数据集上取得了 的准确率。对比基础网络，在 个数据集上的分类准确率分别提高了，。与 等使用 方法相比，在 个数据集上的分类准确率分别提高了，。从表中的实验数据可以看出，本文提出的方法在处理神经元二分类任务中获得较高的分类准确率。表 展示了本文提出的网络模型与其他分类方法在 个数据集上进行十二分类的实验结果。与其他分类方法相比较，在神经元形态分类的准确率上有了明显提升，其中在 数据集上分类准确率达到了，在 数据集上分类的准确率为，在 数据集上取得了 的准确率。与基础网络 对比，在 个数据集上的分类准确率分别提高了，。与文献使用的 方法相比，在 个数据集上的分类准确率分别提高了，。表 不同分类方法性能对比结果（二分类）方法分类准确率 文献表 不同分类方法性能对比结果（十二分类）方法分类准确率 文献综上，使用了不同分类方法对神经元分类性能进行比较，证明了本文提出的特征重构自愈残差网络在神经元形态数据集上对神经元类型进行分类的有效性。同时也说明了融合特征重构子模块和自注意力权重子模块能够有效提高网络性能，增强神经元形态特征的表达，从而有效地划分神经元类型。混淆矩阵与训练过程分析为了观察本文提出的特征重构自愈残差网络在神经元形态数据集上的训练过程及模型收敛情况，将训练过程绘制成曲线图以便分析。图 为本文方法在训练和测试过程中的损失曲线图。从图中可以看出，训练集和测试集的损失都能得到很好收敛，在前 个迭代中，两者的损失值均迅速下降，其中测试集的损失值下降到 后趋于平稳。第 期何富运，等：基于特征重构自愈残差网络的神经元形态分类图 训练和测试的损失曲线图 为本文提出方法的分类准确率变化曲线图。从图中可以看出，在整个过程中，训练集和测试集在 个迭代之前准确率均迅速上升，其中测试集的准确率上升到约 趋于平稳。图 训练和测试的准确率曲线 同时，为了观察神经元类型的分类情况，对神经元形态数据集进行混淆矩阵实验。图 是神经元原始二维图像数据集的分类混淆矩阵，图中“”表示主神经元，“”表示中间神经元，对角线上的值表示网络对神经元类型预测准确的概率。对于二分类，主神经元的识别率为，中间神经元的识别率为。十二分类的混淆矩阵如图 所示，其中感受体细胞和金字塔神经元的识别率均为，且大部分的神经元识别率都超过了，说明网络能很好地准确分类原始神经元图像。图 给出了分类 数据集的混淆矩阵，二分类中由于神经元类内形态结构高度相似，主神经元很大概率会被识别成中间神经元。而经过处理的神经元数据，在十二分类中神经元识别效果却没有原始的数据好，如在识别感受体细胞时，有 的概率被预测成了蓝状细胞，证明这 类细胞的形态相似度比较高。图 的二分类混淆矩阵图 混淆矩阵 图 混淆矩阵 根据上述实验结果可以看出，应用特征重构自愈残差网络分类神经元的形态类别，在 数据集上达到了很好的分类效果。而在网络处理 数据集时，面对几何形态差异较小的神经元时分类效果不甚理想。结果可视化与分析卷积神经网络对神经元图像形态分类的性能表现优异，但其无法观察到网络模型提取到的高维特征是否具有可分性。因此需要将高维特征数据进行有效的可视化以更加直观和方便地分析高维特征数据。本文采用（西 北 工 业 大 学 学 报第 卷）算法将数据可视化。是一种非线性降维算法，可以保留数据的局部和全局结构。在高维样本点空间中构建条件概率（）（）（）式中：表示方差。本文将高维数据映射到二维空间，使用条件概率来衡量高维和低维数据点之间的相似性（）（）（）同时使用 散度衡量 个分布之间的差异 （）（）图 展示了对基于 提取到的高维特征进行 分析的示意图，其中“”代表主神经元，“”代表中间神经元。初始化数据向量维数为，将其降维并做可视化处理如图 所示。图中不同神经元的分布区域不同，只有少数中间神经元被错分为主神经元，结果表明 可以有效地检测到神经元的形态特征。图 进行二分类的 可视化图 给出了十二分类神经元的 分布，将不同类型的神经元划分为不同的样本组，意味着神经元类型的分类符合网络学习到的特征。图 进行十二分类的 可视化 结 论针对神经元的形态结构复杂，不同神经元之间的形态特征相似度高，难以实现自动分类的问题，提出了一种基于特征重构自愈残差网络的神经元形态分类方法，可以有效地抑制传统卷积带来的缺陷，防止深度卷积网络过度拟合神经元图像。本文提出的网络先以 为基础网络，提取神经元的形态特征，然后在网络后端构建特征重构模块，使用亚像素卷积对特征图进行重组，并使用大步幅的卷积核二次提取特征，从而缓解特征到侵蚀。同时，使用自注意力权重模块捕获样本权重进行损失加权，并采用排序正则化模块作为辅助模块，确保自注意力权重模块学习到有意义的样本，从而提高分神经元分类准确率。所提出的方法有效地提高了网络对神经元形态特征相关区域的关注度，与基础网络模型和其他经典的分类方法相比，可以有效地提高神经元形态分类的准确率。当然，神经元形态分类方法还有着较大的改进空间，实验中发现仍存在一些问题对神经元形态分类效果具有较大影响，如神经元各类型之间存在高度相似性，尤其是同种类型的不同亚类之间具有高度相似的结构，网络难以从这些样本中学习到细微的差异性特征。在未来的工作中，将进一步考虑神经元的几何形态特性，实现更多的面向神经元分类任务的网络，提高判别性特征的质量，进而更好地完成神经元形态分类任务。参考文献：蔺想红，张玉平，李志强，等 三维神经元几何形态生成算法研究进展 计算机工程，（）：，第 期何富运，等：基于特征重构自愈残差网络的神经元形态分类 ，（）：（），（），（）：，（）：，（）：，（）：，：，（）：，：，：，：，（）：，（）：，（）：，：蔺想红，郑鉴洋，王向文，等 基于深度学习网络的神经元自适应投影分类方法 电子学报，（）：，（）：（），（）：，：，：，：，：，：西 北 工 业 大 学 学 报第 卷 ，（，）：，：；引用格式：何富运，韦燕，丰芳宇，等 基于特征重构自愈残差网络的神经元形态分类 西北工业大学学报，（）：，（）：（）（：），