数据增强和自适应自步学习的深度子空间聚类算法.pdf

第 49卷 第 8期2023年 8月Computer Engineering 计算机工程数据增强和自适应自步学习的深度子空间聚类算法江雨燕1，陶承凤1，李平2（1.安徽工业大学 管理科学与工程学院，安徽 马鞍山 243032；2.南京邮电大学 计算机学院，南京 210023）摘要：深度子空间聚类通过联合执行自表达特征学习和聚类分配而取得了比传统聚类更好的性能。尽管在各种应用中出现了大量的深度子空间聚类算法，但是多数算法都无法学习到精准的面向聚类的特征。针对深度子空间聚类方法在学习聚类的特征表示时不够精准、影响最终聚类性能等问题，提出一种改进的深度子空间聚类算法。通过随机移位和旋转对原样本进行数据增强，交替地使用增强样本来训练和优化自编码器，同时更新样本的集群分配，从而学习到更稳健的特征表示。在微调阶段，损失函数中每个增强样本的目标都是将原样本分配到集群中心，目标计算可能出错，目标错误的样本会误导自编码器网络训练，为此，利用一种无需额外超参数的自适应自步学习算法，在每次迭代中选择最具说服力的样本来提高泛化能力。在 MNIST、USPS、COIL100数据集上进行实验，结果表明，该算法的准确率分别达到 0.931 8、0.893 4、0.723 6，消融实验和敏感性分析结果也验证了算法的有效性。关键词：深度学习；子空间聚类；数据增强；自适应自步学习；编码器开放科学（资源服务）标志码（OSID）：源代码链接：https：/ J.计算机工程，2023，49（8）：96-103，110.英文引用格式：JIANG Y Y，TAO C F，LI P.Deep subspace clustering algorithm with data augmentation and adaptive self-paced learning J.Computer Engineering，2023，49（8）：96-103，110.Deep Subspace Clustering Algorithm with Data Augmentation and Adaptive Self-Paced LearningJIANG Yuyan1，TAO Chengfeng1，LI Ping2（1.School of Management Science and Engineering，Anhui University of Technology，Maanshan 243032，Anhui，China；2.School of Computer Science，Nanjing University of Posts and Telecommunications，Nanjing 210023，China）【Abstract】Deep subspace clustering achieves better performance than traditional clustering by jointly performing self-expressed feature learning and cluster allocation.Despite the emergence of a large number of deep subspace clustering algorithms in various applications，most algorithms are unable to learn accurate clustering-oriented features.In this study，an improved deep subspace clustering algorithm is proposed to address issues such as insufficient accuracy in learning the feature representation of clustering，which affects the final performance of deep subspace clustering methods.Random displacement and rotation are used to enhance the original sample data，whereby the autoencoder is trained and optimized by alternately using enhanced samples while updating the cluster allocation of samples to learn more robust feature representations.In the fine-tuning phase，the goal is for each enhanced sample in the loss function，to allocate the original sample to the cluster center.The target calculation may be wrong，and the sample with the wrong target will mislead the self-encoder network training.Therefore，an adaptive self-paced learning algorithm without additional hyperparameters is used to select the most convincing sample in each iteration to improve generalization ability.Experiments were conducted on the MNIST，USPS，and COIL100 datasets，and the results showed that the accuracy of the algorithm reached 0.931 8，0.893 4，and 0.723 6，respectively.The ablation experiment and sensitivity analysis results also verified the effectiveness of the algorithm.【Key words】deep learning；subspace clustering；data augmentation；adaptive self-paced learning；encoderDOI：10.19678/j.issn.1000-3428.0065405基金项目：国家自然科学基金（62006126）。作者简介：江雨燕（1966），女，教授，主研方向为机器学习、智能计算；陶承凤，硕士研究生；李 平，博士。收稿日期：2022-08-01 修回日期：2022-09-13 Email：人工智能与模式识别文章编号：1000-3428（2023）08-0096-08 文献标志码：A 中图分类号：TP391.41第 49卷 第 8期江雨燕，陶承凤，李平：数据增强和自适应自步学习的深度子空间聚类算法0概述 聚类算法已经在数据挖掘、机器学习等领域得到深入研究。传统的聚类算法 如 K-means1、高斯混合模型（Gaussian Mixture Model，GMM）2、层次聚类3等 通常根据内在相似性对数据进行分组，然而这些特性是为通用目的而设计的，可能不适用于特定的任务。另外的一些聚类算法，包括谱聚类（Spectral Clustering，SC）4和核 K-means1，将数据转换为一个新的特征空间，使得聚类任务变得更加容易，然而这些方法的转换能力通常有限且计算复杂度较高。为解决以上问题，文献 5 提出子空间聚类算法，该类算法能较好地解决高维数据问题，其思想是在相关维中进行搜索局部化。具有代表性的子空间聚 类 算 法 有 稀 疏 子 空 间 聚 类（Sparse Subspace Clustering，SSC）6-7和 低 秩 子 空 间 聚 类（Low Rank Subspace Clustering，LRSC）8等。子空间聚类算法仅对线性数据结构具有良好的处理效果，难以有效处理非线性问题。随 着 深 度 学 习 技 术 的 发 展，深 度 神 经 网 络（Deep Neural Network，DNN）显示出了良好的非线性变换能力，DNN 在预训练阶段通过自编码器获取低维的隐表示，在微调阶段引入无监督学习。现有的深度聚类算法包括深度 K-means聚类1、深度密度聚类9、深度子空间聚类10-11等。现有多数深度聚类算法通过使用由聚类中心和分配而定义的损失函数来调整深度神经网络的参数，其通常根据上次迭代中深度神经网络的输出而得到。但是，在训练过程中，2个簇边界附近的样本可能没有被准确分配到集群中心，这会混淆甚至误导深度神经网络的训练过程，导致泛化性能下降。此外，这些聚类算法也忽略了在有监督的深度学习模型中广泛应用的数据增强技术，而通过该技术可以提高泛化效果。本文提出一种数据增强和自适应自步学习的深度子空间聚类算法 DSC-AS，其由预训练和微调 2个阶段组成。在预训练阶段，通过最小化重建损失来训练一个具有数据增强的自编码器，自编码器可以将数据从相对高维而稀疏的空间转换为低维而紧凑的特征空间，模型使用增强的数据来学习特征表示的平滑性。在微调阶段，通过使用定义为聚类内平方和的聚类损失来调整编码器（特征提取器）。为稳定训练过程，模型采用自适应自步学习的方式，选择“简单”（靠近聚类中心）的样本作为训练集，并逐步添加“较难”（边界附近）的样本。与传统的自步学习不同，自适应自步学习变量不存在超参数，且总是保留边界样本。同时，微调阶段还采用了与预训练阶段相同类型的数据增强技术，以进一步促进特征学习。1相关工作 本文对涉及的相关参数符号进行解释说明，如表 1所示。1.1数据增强深度神经网络很容易导致数据过拟合，这一问题可以通过获取更多的训练数据、限制深度神经网络的能力或提前停止训练来解决。数据增强是扩展训练数据集的一种有效方法，对于一个给定的图像样本，在将它输入网络之前，通过随机旋转、移位、剪切、扭曲等方式进行变换可以获取更多的样本。数据增强技术提前引入先验知识，以适当的方式转换图 像 但 不 会 改 变 其 身 份。数 据 增 强 技 术 现 已 在AlexNet12、ResNet13、CapsNet14等监督模型中得到应用，但是在无监督聚类分析中被忽视。本文将数据增强引入深度子空间聚类算法中，并验证该技术的有效性。1.2自步学习自步学习15-16模拟了人类从简单到复杂的学习过程。例如，给定一些新任务的样本，算法在每次迭代过程中首先倾向于选择简单样本进行学习，随后逐渐选择复杂样本。简单样本可以理解为具有较小损失的样本，复杂样本可以理解为具有较大损失的样本。自步学习算法经过选择样本、调整模型，在调整完模型后再次选择损失相对较小的样本，然后再次调整模型，不断进行这样的迭代。因此，在自步学习中样本的选择并不是随机的，也不是在一次迭代中全部纳入训练过程，而是通过一种由简到难的方式进行选择。在机器学习问题中，损失函数的值作为“简单性”的衡量标准，这一标准是由阈值来控制的。例如，给定训练样本D=（x1，y1），（x2，y2），（xn，yn）和参数为w的学习模型f，传统的机器学习问题表述为：minwi=1nL()fw()xiyi（1）而自步学习的目标是：minwvi=1nviL()fw()xiyi+g(vi)s.t.vi01（2）表 1参数符号说明 Table 1Parameter symbols description符号xixife(xi)gd(fe(xi)e,dzi=fe(xi)siCvi1,2,含义输入数据，xi X(X d m)增强数据，xi X(X d m)编码器部分解码器部分自编码器的学习参数低维隐表示，zi Z(Z l m)分配给zi的集群索引，si01K系数矩阵，C m m训练样本的权重,vi01标量超参数972023年 8月 15日Computer Engineering 计算机工程其中：V=v1v2vnT为各个样本的权重；g(V)被称作自步学习正则化项。、V这 2 个参数可以通过交替搜索策略（Alternating Search Strategy，ASS）进行 优 化。对 于 简 单 的 自 步 学 习，有g(V)=-V V 01，即：minwvi=1nviL()fw()xiyi-vis.t.vi01（3）给定样本权值 V，w值的最小化是一个加权损失最小化问题。当模型参数 w 固定时，最佳 V 具有如下闭式解：vi=1Li 0其他（4）2模型与优化 2.1DSC-AS模型设定一个自编码器模型F()，如图 1 所示，其由编码器部分fe(x)和解码器部分gd(fe(x)组成。对于给定的一个输入xi X(X d m)，将它编码为低维隐表示zi=fe(xi)，其中，zi Z(Z l m)。如果将所有的点zi堆叠到数据矩阵 Z的列中，自表达层属性可以 简 单 地 表 示 为 一 个 等 式，即Z=ZC，其 中，C(C m m)是自表达系数矩阵，在子空间是独立的假设下，通过最小化 C 的某些范数，保证 C 具有块对角结构，即cij=0（如果点 zi和点 zj位于同一个子空间中）。因此，可以利用矩阵 C 来构造谱聚类的近邻矩阵。为实现自表达能力，模型最小化以下损失：L1=1Cp+22Z-ZC2F+1ni=1nxi-gd()fe()xi2Fs.t.diag(C)=0（5）其中：p表示一个任意的矩阵范数。C 上的可选对角约束防止了稀疏性诱导范数的平凡解，如L1范数。2.1.1自适应自步学习算法深度子空间聚类模型的目标是寻找良好的神经网络（特征提取器），使得特征表示zini=1更适合聚类。由于zi=fe(xi)位于一个比xi更低维的特征空间中，而自编码器的训练并不是特定于某一任务的，因此特征点zi并不一定适用于聚类。本文模型通过使用聚类损失来进一步微调编码器，定义近邻矩阵为C=c1c2cK m m，簇数 K 作为先验知识，设si01K表示分配给zi的集群索引，yi=Csi表示zi所属的集群中心，第 j 个簇的中心 用mj d表 示。通 过 以 下 损 失 函 数 来 微 调网络：mines1ni=1nfe()xi-Csi2Fs.t.si01K1Tsi=1（6）其中：si是第 i个样本的簇分配；1T是每个元素均为 1的列向量。模型通过交替更新集群中心 C 和分配s来分离数据点，即逐步调整边界样本，如图 2、图 3所示。图 1数据增强和自适应自步学习的深度子空间聚类算法流程Fig.1Procedure of deep subspace clustering algorithm with data augmentation and adaptive self-paced learning图 2集群中心的随机初始化Fig.2Random initialization of cluster center98第 49卷 第 8期江雨燕，陶承凤，李平：数据增强和自适应自步学习的深度子空间聚类算法但是，目标分配并不能百分百地准确，靠近边界的样本很容易被拉向不正确的簇从而误导自编码器，如图 4所示。因此，通过推导出自适应自步学习算法来实现模型目标，即：minev1ni=1nvife()xi-Csi2F-vis.t.vi01（7）其中：V=v1v2vnT是训练样本的权重；是控制所选样本数量的参数。在传统的自步学习算法中，通常被设置为开始时损失的中位数，然后每隔几次迭代增加步长。由于在训练过程中样本的损失也在减少，因此步长 难以选择。基于以上分析，本文模型根据训练过程中损失的统计数据进行 设置，如下：=(Lt)+tT(Lt)（8）其中：Lt表示第 t 次迭代中的所有损失；()和()分别为损失的平均值和标准差；T 为最大迭代次数，其由深度学习模型决定，不是一个独立的超参数。图 5 所示为在开始时使用虚线圈中的样本来训练编 码 器，即 自 适 应 自 步 学 习 算 法 选 择 样 本 的情景。2.1.2数据增强技术随机旋转、移位、剪切、扭曲等数据增强方法在监督学习中得到广泛应用，本文尝试在无监督学习中应用数据增强技术。将数据增强运用到本文所提算法的 2个阶段，定义映射表示数据增强函数，可以是任意旋转、移位、剪切、扭曲等的组合，数据增强后的样本表示为X=(X)X x1x2xnT。将式（5）中的原样本xi替换为增强样本xi，获得重建损失：L1=1Cp+22Z-ZC2F+1ni=1nxi-gd()fe()xi2Fs.t.diag(C)=0（9）在式（6）和式（7）中，有 3 个参数 e、s、v分别对应于特征学习、聚类分配和可靠的样本选择。因为最终目标是提高聚类性能，所以模型将计算原样本的分配而不是增强样本的分配。当计算出s后，样本xi的目标将是yi=Csi，与有监督深度学习一样，原样本xi应该与对应的增强样本xi共享目标yi。因此，特征学习（更新 e）可以使用增强的数据，模型只在式（7）中使用增强样本。本文所提 DSC-AS算法的目标函数为：L1=1Cp+22Z-ZC2F+1ni=1nxi-gd()fe()xi2F+mins1ni=1nfe()xi-Csi2F+minev1ni=1nvife()xi-Csi2F-vis.t.diag(C)=0vi01 si01K1Tsi=1（10）其中：由式（8）计算得到。2.2算法优化本文算法优化分为以下方面：1）固定 e，更新 s。当 e 在mins1ni=1nfe()xi-Csi2F中固定时，可以图 5自适应自步学习算法的样本选择过程Fig.5Sample selection process of adaptive self-paced learning algorithm图 3K-means的调整结果Fig.3Adjustment results of K-means图 4固定集群中心和决策边界的自编码器Fig.4Self-encoder with fixed cluster center and decision boundary992023年 8月 15日Computer Engineering 计算机工程求解封闭形式的 s：sij=1，j=argminkfe(xi)-ck220其他（11）其中：sij是 s第 i行第 j列的数据；ck是 C 的第 k列，即第 k个簇的中心。2）固定 e、s，更新 v。当 e、s 在minev1ni=1nvife()xi-Csi2F-vi中固定时，可以很容易地得到封闭形式的最优 v：vij=1，fe(xi)-Csi22 0其他（12）其中：由式（8）计算得到。3）固定 v、s，更新 e。当 v、s 固定后，minev1ni=1nvife()xi-Csi2F-vi被简化为：mine1ni=1nvife()xi-Csi2F（13）这与监督学习一致，采用反向传播和 SGD 进行优化。4）停止标准。如果预测的聚类标签在连续 2 次迭代之间的变化小于一个阈值，将停止训练。停止标准是：1-1nijstijst-1ij（14）其中：st-1ij和stij分别表示样本 xi在第 t-1次和第 t次迭代中是否分配给第 j个集群。在本文后续实验中设置=0.001。本文 DSC-AS算法描述如算法 1所示。算法 1 DSC-AS算法输入 数据集 X，增强映射，簇数 K，停止阈值，最大迭代次数 T输出 集群分配 s1.通过最小化1ni=1nx i-gd()fe()x i2F来初始化 e，其中，x i=(xi)2.通过在fe(xi)上使用 K-means 来初始化 M、s，即预先训练好编码器的输出；3.for t=0 to T do；4.通过式（11）更新集群分配 s；5.通过式（12）更新样本权重 v；6.通过优化式（13）来更新网络参数 e；7.if 1-1ni，jsti，jst-1i，j 8.end if9.end for2.3时间复杂度假设自编码器每一层神经元的最大数量为 D，预训练的最大迭代次数为 T1，那么预训练阶段的时间复杂度为 O（T1nD2）；K-means 算法的时间复杂度是 O（T2ndK），其中，T2是最大迭代次数；更新 s、v、e的时间复杂度为O（Tnd+TnD2+TndK）。因此，算法1的总时间复杂度为 O（T1nD2+T2ndK+Tnd+TnD2+TndK）=O （T1+T）nD2+（T2+T）ndK+Tnd，与样本数 n呈线性关系。综上，本文所提 DSC-AS 算法在理论上具有有效性。3实验验证 3.1数据集为验证本文所提算法的有效性，在 MNIST 17、USPS18、COIL10019这 3 种常见数据集上进行实验测试。数据集具体如下：1）MNIST 数据集包括 60 000 个样本的训练集和 10 000个样本的测试集。本文用 10 000个测试样本来进行实验，将这些图像的大小调整为 2828 像素，参数设置如表 2所示。2）USPS数据集包括10个手写数字的类（即09），共 11 000 张图像。本文使用包含 9 298 张手写数字图像的子集进行实验，将这些图像的大小调整为1616像素，参数设置如表 3所示。3）COIL100数据集是在黑色背景的转盘上对每个物体每隔 5拍摄 72 张图像，共包含 100 个受试对象的 7 200 张图像。本文将这些图像大小调整为3232像素，参数设置如表 4所示。3.2实验设置本文实验环境为 Microsoft Windows 10，处理器表 2MNIST数据集的网络参数设置 Table 2Network parameter settings of MNIST dataset层encoder-1encoder-2encoder-3self-expressivedecoder-1decoder-2decoder-3核大小553333333355通道数/个102030302010表 4COIL100数据集的网络参数设置Table 4Network parameter settings of COIL100 dataset层encoder-1self-expressivedecoder-1核大小5555通道数/个5050表 3USPS数据集的网络参数设置Table 3Network parameter settings of USPS dataset层encoder-1encoder-2encoder-3self-expressivedecoder-1decoder-2decoder-3核大小553333333355通道数/个533335100第 49卷 第 8期江雨燕，陶承凤，李平：数据增强和自适应自步学习的深度子空间聚类算法为 英 特 尔 酷 睿 i7，内 存 容 量 为 8 GB，显 卡 配 置 为MVIDIA GeForce 920M。在预训练阶段，自编码器由 8个具有 D-500-500-2 000-10-2 000-500-500-D 尺寸的全连通层组成，其中，D 为输入样本的维数。除输入层、输出层和嵌入层（共 10个神经元）外，所有内部层均被 ReLU20-21激活。使用学习速率为 1.0、动量为 0.9 的 SGD 优化器对自编码器进行 500次端到端训练。在微调过程中，编码器有 4 层，尺寸为 D-500-500-2 000-10，最大迭代次数设置为 T=100。在每次迭代中，均使用初始学习率为 0.000 1 的 Adam22优化器训练编码器，批量大小固定为 256，停止标准中的阈值为=0.001。数据增强的变换函数是随机旋转量为 10、随机位移量为D 10的组合像素（即占输入图像宽度或高度的 10%）。输入的样本被表示为 D 维向量，这些向量将被重塑为D D维矩阵，然后用来旋转和移动矩阵，将变换后的矩阵压缩回 D维向量并提供给自编码器。表 5 所示为上述超参数设置，在同一个数据集上进行 5 次独立实验，取平均值作为最终的实验结果。4结果分析 4.1与其他方法的对比分析本 次 实 验 的 对 比 方 法 包 括 稀 疏 子 空 间 聚 类（Sparse Subspace Clustering，SSC）8、SSC与预训练的卷积自编码器功能相结合的方法（AE+SSC）23-24、深度子空间聚类（Deep Subspace Clustering，DSC）10-11、最大熵子空间聚类（Maximum Entropy Subspace Clustering，MESC）25、超完成的深度子空间聚类（Overcomplete Deep Subspace Clustering，ODSC）26。SSC 通过将每个数据点表示为来自同一子空间的其他数据点的稀疏线性组合来构造子空间的近邻矩阵。AE+SSC 结合了 SSC 和自编码器的优点。深度子空间聚类 DSC-L1是基于 L1正则化的构架，深度子空间聚类 DSC-L2是基于 L2正则化的构架。MESC将所提 ME 正则化方法应用于 DSC 的网络架构中。ODSC 通过融合不完全和过完全的自编码器网络特征 提 取 更 健 壮 的 输 入 数 据 进 行 自 表 达 从 而 完 成聚类。上述几种方法均由原文提供的代码进行实验，为确保实验的公平性，方法的具体参数根据原文设置为最优，记录最优参数下的实验结果如表 6所示，其中，ACC为准确率，NMI为归一化互信息。由表 6 可知：本文方法相比其他深度子空间聚类方法在 3 个数据集上能够取得更好的聚类效果；在 MNIST 数据集上本文方法相比最优方法 ODSC的 ACC 值 提 高 了 9.79 个 百 分 点，NMI 值 提 高 了6.3 个百分点；在 USPS 数据集上，本文方法的 ACC值高于最先进的 MESC、ODSC，分别提高了 5.81 和5.70 个百分点；在 COIL100 数据集上，本文方法的ACC 值 相 比 MESC、ODSC 分 别 提 高 了 2.39 和1.92 个百分点。实验结果表明，本文模型在样本数量越多的数据集上取得的精准度越高，因此，使用随机移位和旋转对原样本进行数据增强，通过交替地使用增强样本来训练和优化自编码器并更新样本的集群分配，能够学习到更稳健的特征。此外，为了稳定网络训练，利用无需额外超参数的自适应自步学习在每次迭代中选择最具说服力的样本，能够较好地提高泛化能力。4.2DSC-AS不同模块的效果分析本节通过消融实验分析 DSC-AS 算法中训练前阶 段 的 数 据 增 强（DA-S1）、微 调 阶 段 的 数 据 增 强（DA-S2）和自适应自步学习（ASL）这 3 个部分的贡献。从 DSC-AS 中删除 DA-S1 或 DA-S2 意味着在式（10）中用xi替换xi，在 DSC-AS中禁用 ASL意味着在式（10）中固定 V=1，移除所有部分视为深度子空间聚类 DSC。表 7所示为不同配置下的 DSC-AS实验结果，其中，/分别表示有/无该模块。从表 7 可以看出：分别 将 DA-S1、DA-S2 和 ASL 中 的 1 个 模 块 添 加 到DSC 中时，性能在多数情况下都会提高，由后 4行的表 6不同方法在 3个数据集上的实验结果对比 Table 6Comparison of experimental results of different methods on three datasets方法SSCAE+SSCDSC-L1DSC-L2MESCODSCDSC-ASMNISTACC0.734 40.736 10.811 10.833 90.931 8NMI0.749 40.751 50.822 60.846 20.909 2USPSACC0.796 50.776 40.835 30.836 40.893 4NMI0.829 50.788 60.863 40.849 00.910 0COIL100ACC0.551 00.603 50.663 80.690 40.699 70.704 40.723 6NMI0.584 10.623 70.672 00.701 50.898 60.711 00.730 0表 5实验中的超参数设置 Table 5Hyperparameter settings in the experiment阶段预训练微调参数神经元优化器训练次数批量大小神经元优化器最大迭代次数 T批量大小阈值数据增强设置500,500,2 000,10,2 000,500,500SGD500256500,500,2 000,10Adam(学习速率为 0.000 1)1002560.001随机旋转量为 10、随机位移量为D 10的组合像素1012023年 8月 15日Computer Engineering 计算机工程结果始终优于前 4 行可以得出 DA-S1 是 DSC-AS 算法中最关键的部分；将这 3个部分中的 2个模块结合在一起时，除了 DA-S2和 ASL 的组合外，在 MNIST、USPS、COIL100 数据集上性能都有一定改进，原因是在预训练阶段由原样本构建的特征空间很容易在微调阶段被神经网络的增强样本破坏；完全引进3个部分，DSC-AS 在所有数据集上均实现了最好的性能。4.3收敛性分析在本次实验中，模型通过迭代记录了目标函数式（10）的损失值变化，结果如图 6 所示。从图 6 可以看出，在 3 个数据集上，随着训练迭代次数的增加，损失值都迅速下降，因此，模型在实验中是收敛的。4.4超参数灵敏度分析本文首先研究超参数在数据增强中的敏感性。在实验中只使用随机旋转和移位，采用（0，10，60）进行旋转，采用（0，1，6）像素进行移位转换；然后在得到的 49个网格上，利用 MNIST数据集运行DSC-AS 算法 2 次并取平均结果。图 7 所示为 DSC-AS 的 ACC 值结果，可以看出：当移动 6 像素和旋转60时，本文模型的性能急剧下降，这是因为在这种情况下会丢失很多信息；在 0，40 的旋转范围和0，4 像素的移动范围内，DSC-AS 性能表现稳定良好。综上得出，DSC-AS算法对大范围内的数据增强所引入的超参数不敏感。在后续实验中均设置旋转为 10，移位为 4像素。接着分析网络结构对聚类性能的影响。编码器模型由 4 个完全连接的层组成，神经元数量分别为500、500、2 000、10。因为输入的数据集均有 10个簇，所以将第 4层设置为 10个神经元。由于计算资源和时间的限制，对于每次实验只改变一层，对于每一层，将神经元的数量更改为 125，250，500，1 000，2 000，4 000 中的一个。DSC-AS算法在MNIST数据集上的精度如图 8所示，从图 8可以看出，无论神经元的数量如何变化，算法精度都能稳定地保持在 0.918，0.931范围内，即DSC-AS算法对网络结构不敏感。表 7不同配置下的 DSC-AS实验结果对比 Table 7Comparison of DSC-AS experimental results under different configurations方法DSCDSC+ASLDSC+DA-S2DSC+DA-S2+ASLDSC+DA-S1DSC+DA-S1+ASLDSC+DA-S1+DA-S2DSC-ASDA-S1DA-S2ASLMNISTACC0.9220.9250.9270.9180.9280.9310.9290.932NMI0.9020.9020.9040.9000.9040.9070.9050.909USPSACC0.8660.8690.8720.8670.8810.8890.8840.893NMI0.8900.8970.9010.8920.9030.9080.9060.910COIL100ACC0.7120.7140.7170.7120.7190.7220.7190.724NMI0.7180.7210.7190.7140.7230.7280.7250.730图 7随机旋转和移位在数据增强中的敏感性Fig.7Sensitivity of random rotation and shifting in data augmentation图 8DSC-AS算法对网络结构的敏感性Fig.8Sensitivity of DSC-AS algorithm to network structure图 6聚类损失变化情况Fig.6Changes of clustering loss102第 49卷 第 8期江雨燕，陶承凤，李平：数据增强和自适应自步学习的深度子空间聚类算法最后讨论停止准则 式（14）的影响。本文模型的停止标准类比于有监督深度神经网络中的停止机制，在训练结束前不需要满足式（14）的要求，将最大迭代次数 T 作为控制何时停止训练的主要参数。图 9、图 10 所示分别为在 MNIST 数据集上进行微调迭代时聚类变化率 即式（14）的左侧 和精度聚类的变化趋势。从中可以看出，在第 100次迭代后，聚类精度和聚类变化率都达到了稳定的水平，而聚类变化率在 0.001后几乎停止下降。因此，将停止阈值=0.001作为收敛条件具有合理性。5结束语 本文提出一种数据增强和自适应自步学习的深度子空间聚类算法 DSC-AS。使用随机移位和旋转对原样本进行数据增强，通过交替地使用增强样本来训练和优化自编码器。引入一种无额外超参数的自适应自步学习算法，其在选择样本的过程中通过逐渐添加简单样本，将集群边界附近的样本排除在训练之外。在 3 个常用基准数据集上进行实验，结果表明，DSC-AS 算法的聚类性能优于 SSC、ODSC等先进的聚类方法，通过消融实验和敏感性分析进一步验证了该算法的有效性。下一步考虑将对抗性学习方法引入深度子空间聚类中，生成对抗自编码器对样本进行更准确的聚类分配，从而提高聚类精度。参考文献 1 谢娟英，王艳娥.最小方差优化初始聚类中心的K-means算法 J.计算机工程，2014，40（8）：205-211，223.XIE J Y，WANG Y E.K-means algorithm based on minimum deviation initialized clustering centersJ.Computer Engineering，2014，40（8）：205-211，223.（in Chinese）2 刘攀登，刘清明.稀疏数据中基于高斯混合模型的位置推荐框架 J.计算机工程，2018，44（1）：62-68.LIU P D，LIU Q M.Location recommendation framework based on Gaussian mixture model in sparse data J.Computer Engineering，2018，44（1）：62-68.（in Chinese）3 DANDRADE R G.U-statistic hierarchical clustering J.Psychometrika，1978，43（1）：59-67.4 葛君伟，杨广欣.基于共享最近邻的密度自适应邻域谱聚类算法 J.计算机工程，2021，47（8）：116-123.GE J W，YANG G X.Spectral clustering algorithm for density adaptive neighborhood based on shared nearest neighbors J.Computer Engineering，2021，47（8）：116-123.（in Chinese）5 VIDAL R.Subspace clustering J.IEEE Signal Processing