基于改进智能优化算法的数据特征选择方法.pdf

传感器与微系统（）年第卷第期：（）基于改进智能优化算法的数据特征选择方法张玉琴，张建亮，冯向东（成都理工大学工程技术学院，四川乐山）摘要：特征选择在人工智能领域是一个困难又重要的问题，为了快速准确地筛选特征，提出一种改进的帝王蝶优化（）算法进行封装特征选择。首先，为了使新产生的个体具有一定种群记忆功能，在迁徙算子中添加种差分变异策略，提高种群个体的信息共享。然后，封装式特征选择算法使用模糊均值（）分类器作为评估器，利用作为搜索策略。实验结果表明：与原帝王蝶优化（）、人工蜂群（）算法和蚱蜢优化算法（）相比，所提算法在多个公开数据集上实现了较高的准确度，显著降低了特征选择规模，且具有较快的收敛速度。关键词：帝王蝶优化；模糊均值；特征选择；收敛速度；分类中图分类号：文献标识码：文章编号：（），（，）：（），（），（），（）（），：（）；（）；引言特征选择是数据挖掘和人工智能领域的一大难题。在数据处理过程中，很多数据集是非常复杂的，且包含了大量冗余和不必要的成分，这可能会在数据分析过程中产生混淆，降低准确性。为此，需要采用特征选择过程的预处理步骤来减少冗余，提高处理效率。特征选择程序一般包含个主要阶段：生成阶段、评估阶段和验证阶段，。由于元启发式算法具有执行效率高、准确性高的特点，广泛用于特征选择的生成阶段。目前，针对特征选择问题的求解，主要使用启发式智能算法。如文献 提出无监督场景下的基于复杂网络节点度中心性的特征选择方法。文献提出了基于蚱蜢优化算法（，）和进化种群动态（，）的封装式特征选择方法。文献 将差分进化算法与森林优化算法结合，引入一种反馈机制，提出差分进化和随机森林优化的混合算法，并将其用于特征选择问题。文献利用遗传算法（，）以多阶段形式解决特征选择问题。相关研究表明，使用和皮尔森（）相关系数的混合方法可以改善特征选择的性能。本文提出了改进的帝王蝶优化（，）算法来求解特征选择问题，结果表收稿日期：基金项目：四川省教育厅自然科学重点项目（，）；成都理工大学工程技术学院基金资助项目（）第期张玉琴，等：基于改进智能优化算法的数据特征选择方法明，所提在分类准确度和选定特征数量（选择规模）方面的性能优于其他方法。其主要创新之处如下：）在迁徙算子中添加差分变异策略，使得种群具有一定的记忆性和信息共享，从而提高了原帝王蝶优化（，）算法的性能；）利用改进后的与封装方法作为特征选择的优化器，并利用模糊均值（，）方法确定所选特征，使得特征选择具有了较好的准确度和降维效果。基于改进的特征选择方法文献 基于北美地区的蝴蝶开发了智能算法，本文对其优化改进，并用于特征选择问题。提出的差分变异策略迁徙算子蝴蝶的迁徙过程一般表示为，其中，为 代的的第个元素，即蝴蝶的位置；，为新一代位置的第个元素。为一个随机数，可计算为 ，为迁徙周期时长。另一方面，若，则新一代位置的第个元素可计算为，（）式中，为在蝴蝶的第代的第个元素。原的缺点是式（）随机选择个体来产生新的个体，造成当前最优解不能记忆整个种群形式，容易造成丢失信息或者陷入局部最优解。为了种群内的合作与竞争，提高求解质量，本文替换式（）为差分变异策略，选取个差分变异策略，其公式为：（）：（）（）：（）：（）（）：（）（）（）式中参数，为来自于父代中个不同个体；为当前最优个体；缩放因子为和，其取值范围均为，这个缩放因子可直接控制差分向量的影响。在迁徙过程中，加入差分变异策略，可以在一定程度上增加种群的记忆性和共享信息，从而提高算法的整体性能。新的迁徙算子如算法所示。算法：迁徙算子 （对于子种群中的所有帝王蝶）（第个帝王蝶中的所有元素）通过均匀分布生成一个随机数 ；，则随机选择子种群中的只帝王蝶（）；利用迁徙公式生成新一代位置的第个元素；随机选择子种群中的只帝王蝶（）；利用式（）生成新一代位置的第个元素；蝴蝶调节算子通过调整值的比率，在 和 的迁徙方向之间实现平衡。若值较大，则意味着选择的 的蝴蝶数量大于 的蝴蝶数量，反之亦然。若生成的小于或等于值，则调整蝴蝶位置。蝴蝶位置的更新可表示为，（）式中 ，为在第 代的第个元素，即蝴蝶的位置；，为在和中在当前代的第个元素。若，则更新为，（）另一方面，若大于，则对新位置进行更新，（）（）式中为蝴蝶的调节率，为第个蝴蝶的步长，通过执行莱维飞行，将其计算为（）（）加权因子的定义如下 （）式中 为蝴蝶的单次最大步长，为当前代。蝴蝶调节算子如算法所示。算法：蝴蝶调节算子 （子种群中的所有帝王蝶）利用式（）计算步长；利用式（）计算加权因子；（第个帝王蝶中的所有元素）通过均匀分布随机生成随机数 通过式（）生成新一代位置的第个元素 随机选择子种群中的只帝王蝶（）；通过式（）生成新一代位置的第个元素 ，（）；传 感 器 与 微 系 统第卷提出的特征选择方法提出的封装式特征选择算法使用作为评估器，同时利用作为搜索策略。分类器确定通过所选特征的准确率，其目标函数为（，）（）式中 为隶属度值；为元素与中心点之间的欧氏距离；为一个模糊化的参数；为聚类的数量；为聚类中心向量集合；为特征矩阵。图为与封装式特征选择技术的应用过程。YN验证子数据集终止准则？FCM 评估多个子数据集原始数据集IMBO搜索图 与封装式特征选择 为平衡准确度和特征数量，本文开发了一个适应度函数，函数标准表示为（），其中，为通过得到的分类误差率，为选择的特征数量，为原始数据集中的特征数量，和分别对应于分类质量和子集长度的重要程度，其中，（）。本文利用适应度函数来确定时间复杂度：（）（），其中，为迭代次数，为解数量，为特征数量。实验与分析数据集与参数选择在提出的方法中，分类器的聚类数量取，在数据库中选取个基准数据集。表给出了数据集的基本信息，利用折交叉验证方法，将每个数据集分为训练集和测试集，将（）份的子样本用于训练和检验，剩下的一份子样本则用于测试。实验基于一些初始测试的结果（能够使本文方法获得最优性能的结果）来设定输入参数。输入参数设置，（最大距离）为，最大迭代次数为，种群大小为，模糊化程度参数为，缩放因子为，缩放因子为。实验在配置为内存 ，英特尔双核处理器，的个人电脑上进行，采用开发平台。表实验中使用的数据集信息序号数据集名称目标数量特征数量 实验结果比较将提出的方法与当前优秀方法进行比较，对比的方法包括原、人工蜂群（）和。根据以下个标准进行比较：分类准确度、特征选择规模、适应度数值。通过取平均准确度和选定特征数量均值来确定分类准确度和特征选择规模，并计算出平均、最大和最小适应度数值。利用适应度公式计算出适应度数值。实验结果比较如表所示。）准确度比较由表所示可以看出，在所有数据集上，本文所提的算法在准确度方面均优于、和。本文算法的平均准确度为 ，对于求解特征选择问题，这是一个相当高的准确度。所提方法取得优异结果得益于搜索策略的本质，通过差分变异的策略，使得种群的记忆性和信息共享更加强大，避免陷入局部最优，从而生成最优的结果。与原始相比，其准确性明显提升，这印证了改进的有效性。）特征规模比较由表可以看出，提出的在降低特征数量方面的性能显著优于其他相比较的算法，在所有数据集中均优于和，在个数据集中优于算法。所提的选定特征均值为 个特征规模，成功选择出能够表达数据集的最小数量特征。还可以看出，当数据集的目标数量较多时，各方法选择出的特征规模明显高于目标数量较少的数据集，这是数据集的固有特性，因此，数据集的特征规模最大。表各方法在不同数据集上的实验结果比较序号数据集准确度 特征规模最差适应度 平均 第期张玉琴，等：基于改进智能优化算法的数据特征选择方法 ）最差适应度由表可发现，在所有数据集上得到了最差适应度均值，其次分别为和。所提算法的适应度数值最小。特征选择的收敛性由图所示看出，随着迭代次数的增加，平均历史最优解逐渐降低，当迭代达到一定次数时，平均历史最优解趋于稳定，达到收敛点。可以看出，除数据集，需要次迭代达到收敛状态，其他数据集上只需次以内，、和数据集只需要少于次迭代。504030201000.1050.1100.1150.120迭代(e)?Zoo 数据集50403020100迭代(d)?WineEW 数据集50403020100迭代(c)?WaveformEW 数据集0.0080.0100.0120.0140.0160.0180.240.250.260.270.28平均历史最优解平均历史最优解平均历史最优解50403020100迭代(b)?BreastEW 数据集平均历史最优解50403020100迭代(a)?Breast?Cancer 数据集平均历史最优解00.0500.0550.0600.0650.0700.0380.0400.0420.0440.0460.048图所提特征选择方法的收敛速度 对于实验中使用的个数据集，所提算法能够快速收敛并高效得到最优解。该结果得益于在求解时能够在全局搜索和局部搜索之间实现较好平衡，避免搜索程序陷入局部最优。收敛速度较快也说明所提算法适用于快速搜索程序的应用。与的求解性能比较以高维问题为例，搜索空间范围为，该问题的求解难度较大。实验中，将和均运行次，取最佳收益值均值作为比较结果，如图所示。可以看出，在一开始的进化阶段就陷入了局部最优，而在迁徙算子中增加了差分变异策略，种群的多样性非常强大，因此最佳收益明显提升，说明改进后的个体收益信息与全局收益信息得到了非常好的保留，求解性能明显提升。结束语为了尽可能准确地表达原始数据集的特征，本文在封装式特征选择模型中使用算法，在评估和验证阶段中3.02.52.01.51.00.506.16.26.36.46.56.66.76.8平均最佳收益/105进化的迭代/10-3MBOIMBO图 与的求解性能比较使用分类器，并将提出的方法应用到个基准数据集，与其他优秀算法进行了性能比较。结果表明，所提在分类准确度和选定特征数量方面的性能优于其他算法。参考文献：，（）：，：（），：李俊卿，李秋佳，石天宇，等基于数据挖掘的风电功率预测特征选择方法电测与仪表，（）：，（）：，（）：林达坤，黄世国，林燕红，等基于差分进化和森林优化混合的特征选择小型微型计算机系统，（）：，（）：，：，：，（）：，（）：贺毅朝，王熙照，李文斌，等基于遗传算法求解折扣 背包问题的研究计算机学报，（）：作者简介：张玉琴（），女，硕士，讲师，主要研究领域为智能优化算法、数据挖掘等。