基于高维聚类的文本大数据挖掘算法仿真.pdf

499第4 0 卷第6 期2023年6 月真机仿计算文章编号：10 0 6-9 34 8(2 0 2 3)0 6-0 4 9 9-0 5基于高维聚类的文本大数据挖掘算法仿真郭红建，陈一飞，梅轶群（南京审计大学信息工程学院，江苏南京2 118 15）摘要：文本数据具有规模大，特征维数高等特点。通常含有大量的穴余、空间维度复杂的数据，导致文本大数据信息挖掘困难。因此，提出一种基于高维聚类算法的文本大数据挖掘方法。采用等距离特征映射算法，将多维数据映射到低维空间。通过相空间重建，提取大数据的关键特征。以平均信息摘作为衡量聚类项目的标准，多次不断更新本文聚类中心，当平均信息为小数值时，利用密度函数确定原始本文聚类中心，实现文本大数据挖掘。实验结果证明，所提方法的F1值在9 5%以上，说明文本大数据的聚类精准度高，不会出现过度挖掘问题。关键词：聚类算法；平均信息摘；降维处理；相空间重建；文本聚类；特征选择中图分类号：TP118文献标识码：BSimulation of Text Big Data Mining AlgorithmBased on High Dimensional ClusteringGUO Hong-jian,CHEN Yi-fei,MEI Yi-qun(School of Information Engineering,Nanjing Audit University,Nanjing Jiangsu 211815,China)ABSTRACT:Text data is characterized by large scale and high feature dimension and usually contains massive re-dundant data with complex spatial dimensions.Based on high-dimensional clustering algorithm,a method of miningthe big data of text was proposed.Firstly,the isometric feature mapping was adopted to map the multidimensional datato low dimensional space.Then,key features of big data were extracted through phase space reconstruction.Secondly,the average information entropy was used as the standard to measure the clustering items.Meanwhile,the clusteringcenter of text was constantly updated many times.When the average information entropy was a small value,the densityfunction was used to determine the original clustering center,so as to realize the text big data mining.Experimentalresults show that the F1 value of the proposed method is more than 95%,indicating that the clustering accuracy of bigdata is high and excessive mining will not occur.KEYWORDS:Clustering algorithm;Averageinformationentropy;Dimension reduction;Phasespacereconstruction;Text clustering;Feature selection1引言当前数据挖掘领域发展迅速，其面临的问题与挑战也越来越多。多媒体时代的到来，全球各地的用户通过多种载体模式交流和获取信息，但是在数据挖掘时经常会碰见高维数据，这些高维数据中包含?余、空间维度复杂的信息，挖掘基金项目：国家自然科学基金项目面上项目（7 2 0 7 4 117）；江苏省高校自然科学研究项目面上项目（2 0 KJB630012）；.江苏省高校人文社会科学研究项目一般项目（2 0 2 1SJA0351）；全国高等院校计算机基础教育研究会2 0 2 2 年立项课题（2 0 2 2-AFCEC-419）收稿日期：2 0 2 2-0 6-2 2其中并获取自己想要的信息较为困难2，导致时间、资金和精力的巨大损失。因此，如何有效地从高维数据中提取到想要的信息成为研究的重点。目前相关学着已经提出了很多经典的文本挖掘方法，例如：黄文秀等人【3提出一种基于改进的k最邻近算法的海量数据挖掘方法。以文本大数据集合为样本集，确定密集样本的分布区域，并对其精准划分，使文本数据分布更加均衡。基于此，利用改进的k最邻近算法对处理后的文本大数据分类，完成文本的挖掘。但是该方法在挖掘文本前，会将数据对象进行相似编码，数据对象需要送代几百次，步骤复杂，运行效率低。牛奉高等人【4 提出一种基于加权网络改进的短文本相似性挖掘方法。首先，在语义网范围内对文本共现频500次实现加权，针对短文本的权重识别效率偏低的问题，计算短文本中每个词语的加权复杂网络综合特征值，并通过聚类处理最终得到文本挖掘结果。但此方法对初始数据点较为敏感，易出现剧烈合并错乱的现象，风险较大，其次，在处理高维数据时，目标函数运算过程中会发生收敛的状况，导致算法结果不精准。为此，提出一种基于高维聚类算法的文本大数据挖掘方法。通过等距离特征映射算法5将多维数据转换到低维空间中，得到全局最小值，降低了空间的维数。并在传统的模糊聚类方法上作出改进，为减少独立数据对聚类中心的影响，从数据类型的隶属性上提高权值系数6；以信息熵作为衡量聚类项目的标准；通过密度函数提取原始聚类中心7，当平均信息达到做小数值时，此时的聚类中心为最佳聚类数，聚类技术的操作有效，精度准确。2大数据降维等距离特征映射算法能够在保证多维数据的几何特征不变条件下，将多维数据转换到低维空间中。通过计算数据节点间距离，保证在最小损失原始信息的同时降低数据维数。构建邻居图、嵌人维层得到全局距离最小值，对于距离相近的两个点，用空间最短距离表示；对于距离较远的两个点，用相邻的空间最长距离表示。第一步建立邻居图G,Y表示输人空间，I,J表示输人空间内的任意两个点，M表示距离的流形，通过一个独立的点连接所有相邻的点。第二步计算邻居图G中最短直径空间距离dc（I,J），推导出流形M里所有相对两点之间的测量距离dm（I,J)。当I,J两点相连时，可以描述为d（I,J)；当I,J两点不相连时，则dc(I,J)=。对于K=（1,2,N)的任意数值,使用minidc(I,J),dc(I,K)+dc(K,J)/来替换输人dc(I,J)。最后用Dc=dc（I,J)数值矩阵描述邻居图G中点对之间的最短距离。第三步嵌人d维，凭借图距离矩阵8 Dc=dc（I,J)，在d维度的空间Y内，空间Y可以最大限度的保证数据流形的几何特征。在Y的坐标向量y：内，通过误差函数9 降低两点之间测量距离的错误率。E=Il(Dc)-(D)Ilz2(1)式中,L代表矩阵模式,将距离转换为内积,D代表Id,（I,J)的矩阵,Dc代表/dc（I,J）的矩阵，基于上述在保证原本数据的几何特性前提下，得到了全局的最小数值，降低了原始高维大数据空间的维数。3关键特征提取编程模型10 是一种并行计算模型，由于降维后数据内会包含一部分用户隐私信息，这部分信息被加密了，很难提取其特征和文本数据挖掘，难以保证挖掘结果的F1值，为此，凭借编程模型中的汇编程序与再生产两个过程，实现对加密大数据关键特征映射估计。汇编程序函数将（密钥中心，估计值）作为输人，通过一系列的处理，将新的（密钥中心，估计值）作为输出，具体操作过程如图1所示：输人汇编模块密钥中心估计值程序分割输人2模块图1映射任务执行过程在生产函数将密钥中心作为输人，经处理后，输出结果最终形成最佳估计值，具体操作过程如图2 所示：输人密钥中心还原输出模块估计值编码格式输人分布式文件系模块统图2导出任务执行过程为更好地提取大数据内关键特征，以便获得最佳文本聚类中心,对其相空间重建11,避免在特征提取时破坏降维后的数据特征。设定19 1,9 2，9为一维空间序列，重建的相空间为：91,92,9MQ=1Q1,Q2,.,Q1=91+6，9 2+,*,9 M+(1+(r-1)e,92(r-1)e,*,4M(r-1)e)（2)r2a+1(3)其中，r代表嵌人维数，代表奇异吸引子的维度，代表时延，当发生r2a+1的情况，就会破坏数据内的几何结构特征。关联维12 可以描述数据在多维空间中稀疏浓密程度。在大数据相空间重新构造的基础上，使用关联维提取相空间矢量，通过两个矢量【13的最高限度分量差计算两个矢量之间的距离，建立公式如下I Q,-Q,I=maxl 8rl Qs-Qjsl(4)其中,8 表示常数。将I,J两点间隔低于正数1的矢量作为关联矢量，在重建空间中发现h点，那么在h组内的占比为关联积分，H表示海维赛德函数，计算出矢量对数。(0,q 1)H(q)=(5)(1,q05011hS,(I)+H(1-I Q,-Q,1)(6)h2.=12关联积分S(I)在发生l=0的状态下与1有关联，描述公式如下lims,(1)(7)1=0式中，C表示为关联维数，基于此可选取合理正数I，近似值为S,(L)C=(8)1在空间内数据样本相对应的关联度低、分布散乱、不集中，不同数据样本点数值与实际数值之间存在大幅度偏差，表示点序列分解的标准差，表示倍频因子,重新组建的空间分布X关系X,=2(9)C在提取的特征样本中，若X，数值较大，说明数据特征样本分布稀疏，关联性低；若X，数值较小，说明数据特征样本分布密集，关联性高。通过重建空间分布关系能够识别不同信息类型特征集合。4文文本大数据挖掘4.1聚类中心密度函数的计算采用密度函数法14 对数据特征样本归一化，,代表密度中心有效半径,f代表=4/i,j代表任意数据样本,N代表样本个数，i代表空间类别，b代表迭代次数，F，代表样本点在空间里的密集程度，样本点密度函数为1F.=1+fx(10)j=1得到样本点密集程度后，提取样本中均方根测量距离的二分之一，计算公式如下1N1T6(11)2VN(N-1)j=1其中，样本点x；的分布越密集，说明F,数值越大，使F,=max（F,i=1,2,N）,计算改进后的初始数据聚类中心的密度函数描述为：1Ft=F(-1)一F(12)1+fllx;-x;I/式中，lx-xI代表数据空间类别i到第k个数据样本点的欧氏距离，k代表数据样本点，F代表第k个数据样本点的聚类中心。聚类的分类越完善，任意数据点在其聚类上的归属感越高，所提方法使用信息熵为衡量聚类数目，迭代中转换聚类中心，更改聚类数，当平均信息熵转换到最小数值，其相对的聚类项目为最有效。u代表在i空间类别的j数据样本的聚类程度,B代表聚类中心数量,最小值的平均信息所对应的聚类数量为最优。平均信息熵的计算公式如下：BNug1b(ug）+(1-u g）1b(u g)(13)j=1i=14.2改进隶属度为了实现最佳聚类结果，基于数据类型隶属度提高权值系数,改进隶属度15可以将聚类中心范围变大，计算公式如下N,=yug+(1-y)u,(14)当y等于1时，表示N,=ug；当u,等于0 时，表示N=0；当i等于1时，表示N，=1。在聚类算法迭代中,隶属度数值降低导致数据对象对聚类中心的影响范围变小。当数值越大，隶属度的上下浮动越低，聚类结果精准清晰；相反，当数值越小，隶属度的上下浮动越高，聚类结果收敛且不精准。4.3文本挖掘为实现文本的最终挖掘，需优化聚类数目以及模糊加权系数的不足，在数据对象本身增加一个隶属权值N，使相应数据中，隶属度高的特征可以提升对聚类挖掘中心的影响程度，隶属度低的特征可以减少对聚类中心的影响程度，算法步骤如下：1)初始化聚类数c=2,对其迭代，当迭代次数为b=0,提取指数权重数值m。2）计算数据的隶属度：=F/2(2(15)m-1k=13)通过对隶属度的改进,降低对聚类中心的影响。4）更新聚类中心：2(N)*,Npb+1j=1(16)Nj=15)如果P-Ph+1I小于选代阈值,可以停止选代，输出聚类中心，完成文本大数据的挖掘。5研究方法性能验证5.1实验环境文本聚类算法的性能受多因素影响，为证明提出聚类算法的文本挖掘有效性。使用自建源代码文件夹检验，此文件夹含有视频数据、声音数据、图像数据、代码模式数据、文本数据。分析每个源程序数据信息，完成大数据问卷的总列表，建立实验软件环境如图3所示。由图3可以得出，此实验软件环境的主体界面含有菜单栏、页面显示、查询列表、关键词语提取。通过输人关键字，可清晰查询到文本聚类算法相对应的功能函数。5.2指标量化测试结果与分析在文本挖掘过程中，选定指标来验证所提方法的挖掘性能。评价挖掘可描述为混淆矩阵，TP表示被挖掘出的文本数据，FP表示被挖掘的非文本数据，FN表示未被挖掘的文本数据，TN表示未被挖掘的非文本数据。502高维聚类算法的文本大数据挖掘平台区文件帮助查看编辑文本地图生成查询列表记录细节数据挖掘FP-CRCMTHRARID3.RARCAT.rarFuz关于FP增值的算FLM-SVM.RAR数据挖撼中的运用该CATS能Kmeanstar数据挖掘方法法，使用C+实1D3算法源码决进行电信汗液数Fuzty-Kmeana支持向量机现。在数据挖掘策树的算法之据挖掘分析类算法源代码非常有效APRION.rarC45r8.TarDPs.7.05.rarDecieiontrar数MyCluateiKM.rar数据挖掘中的关决策树分类算法国内第一个数据据挖掘中效据分数据挖掘中聚类潮代码，数据挖挖掘或数据分析联模型类算法：建文建捆工具包应用软件立决策树算法+实现GpnorinrarCpmiarrarID3+C4.5rarClementine.rarDataMing.rar基于TP数据挖摄用于数据挖掘决基于FP算法，进数据挖掘台湾教数据挖掘导论算算法、改进表风策算法的一个实行长模式的挖橱程，详细讲解法度际例子图3实验的软件环境1)查准率为文本被正确挖掘出的数量与预测文本数据数量的比值，准确率计算公式为TPPrecisionTP+FP(17)2)查全率为文本被正确挖掘出的数量与实际文本数据数量的比值，查全率计算公式为：TPRe call(18)TP+FN3)F，值表示查准率与查全率之间的调和平均值，因为二者里面存在非线性关系，会存在查准率高但查全率低的情况。通过计算得到的F，值越大，代表查准率与查全率之间不一致结果越小，计算过程为TPTP2XTP+FPTP+FNF,=(19)TPTPTP+FPXTP+FN实验选取文献3提出的基于改进的k最邻近算法的海量数据挖掘方法和文献4 提出的基于加权网络改进的短文本相似性挖掘方法作为实验对照组，与所提方法的指标测试结果相比较，三种方法挖掘结果的调和平均指标F，值如图4所示。1.000.980.960.94值三0.9 20.90所提方法0.88改进k最邻近算法0.86改进加权网络方法0.8411202224262830323436实验进行次数/10*次图4不同方法挖掘结果准确率对比图4 中能够看出，基于改进的k最邻近算法的海量数据挖掘方法的F，值在0.9 0 到0.9 4 之间；基于加权网络改进的短文本相似性挖掘方法的F，值虽然波动更为平稳，但是F,值总体较低；所提方法F，值随着实验次数增加出现小幅度的波动，但是可稳定在0.9 6 到1之间，证明所提方法的数据挖掘精准。5.3聚类可视化效果评价将采集的5组实验数据放置在降维后的空间内，深度数据聚类。不同方法的文本聚类结果如图5所示。分析图5可知，由于视频数据集与图像数据集相似度高，文献方法在聚类过程中会出现错分的问题，且使代码模式数据、文本数据聚类中心过近，难以明确挖掘各类数据信息。应用所提方法完成本文聚类处理时，不仅聚类边界清80视频数据文本数据。图像数据60代码模式数据口声音数据O408200-20品-40-60O口-801-80-60-40-20020406080 x轴坐标值（a）原始文本数据集合80视频数据文本数据。图像数据60代码模式数据口声音数据40200-2040口-60-80L-80-60-4020020406080轴坐标值（b）改进k最邻近算法80视频数据文本数据。图像数据60代码模式数据口声音数据40200-2040-60-80-80-60-40-20020406080轴坐标值（c）改进加权网络方法503上接第438 页）80视频数据文本数据0图像数据60代码模式数据口声音数据40200-20-40-60-80L-80-60-40-20020406080 x轴坐标值(d)研究方法图5不同方法的文本数据聚类结果晰，而且相似点的聚类中心距离最远，最大程度避免了后期发生数据挖掘错误的情况。6结论本文将多维数据转换到低维空间后提取数据的关键特征信息，利用改进模糊聚类方法对大数据环境下文本信息挖掘，得到文本数据的特征向量，使用密度函数得到聚类中心，输出最终挖掘结果。通过实验证明了本次研究对文本数据挖掘实际应用具有重要意义。参考文献：1章蓉，陈谊，张梦录，等.高维数据聚类可视分析方法综述J.图学学报,2 0 2 0,41(1)：44-56.2熊菊霞，吴尽昭.异构复杂信息网络敏感数据流动态挖掘J.计算机工程与科学,2 0 2 0,42（4）：6 2 8-6 33.3黄文秀，唐超尘，神显豪，等.改进的k最邻近算法在海量数据挖掘中的应用J.济南大学学报（自然科学版），2 0 2 1,35（1）：24-28.4牛奉高，高旭霞.基于加权网络改进的中文短文本相似性度量模型J.情报学报,2 0 2 1,40（3）：2 7 8-2 8 5.11庞国莉，王小英，潘志安.周期休眠轮询耦合拓扑优化的WSN节点覆盖算法J.计算机工程与设计，2 0 2 0，41（12）：332 0-3326.12王宏志，武莎莎，鲁晓帆，等.基于最优簇头数的环形无线传感器网络分簇算法J.吉林大学学报（理学版），2 0 2 0，58(5):1215-1222.13王彦昆，吴锋.WSN中基于灰狼和乌鸦搜索算法的簇头选择路由方案J.西南师范大学学报（自然科学版），2 0 2 1,46(5):159-163.14任智，周舟，吴本源，等.优化链路状态路由协议的低开销拓扑维护算法J.计算机工程，2 0 2 1,47（9）：12 0-12 7 135.5梁少军，张世荣，孙澜琼。基于最优密度方向的等距映射降维算法J.控制理论与应用,2 0 2 1,38（4）：46 7-47 8.6郭维，彭辉，张瑜.传感器数据融合与单一传感器在同步定位与构图中的对比研究J.计算机应用研究，2 0 2 0,37（6）：18 8 2-1885.7周渊，孟祥群，江登表，等.复杂干扰情况下的结构光条纹中心提取方法J.中国激光，2 0 2 0,47（12）：17 2-18 0.8谢李为，李勇，罗隆福，等.基于距离矩阵与分支系数的配电网故障定位方法J.中国电机工程学报，2 0 2 0,40（7）：2 18 0-2191,2397.9毕铭佐，梁忠民，陈在妮，等.基于信息摘误差异分布模型的洪水概率预报方法J.武汉大学学报（工学版），2 0 2 1,54（1）：58-64.10杜伟健，陈云，支天，等.一种基于常变量异步拷贝的神经网络编程模型J.计算机学报，2 0 2 0,43（4）：58 7-599.11丁明，虞海彪，刘练，等.基于多变量相空间重构和RBF神经网络的光伏功率预测方法J.电子测量与仪器学报，2 0 2 0，34(8):1-7.12周小龙，张耀娟，王尧，等.VMD的AR模型和关联维数在齿轮故障特征提取中的应用J.制造技术与机床,2 0 2 1（1)：91-95.13王超，俞一彪.矢量量化正则变分自编码器做非平行语料语音转换J.信号处理，2 0 2 1,37（7）：1339-1345.14贾象阳，黄先锋，牛文渊，等.顾及噪声密度函数差异的自适应回归算法及其在人工标靶提取中的应用J.测绘学报，2021,50(2):226-234.15黄凰，陈燕燕，朱明，等.基于模糊隶属度的多站点多机协同即时响应调度系统J.农业工程学报，2 0 2 1,37（2 1）：7 1-7 9.作者简介郭红建（197 7-），男（汉族），江苏泰兴人，硕士研究生，副教授，主要研究领域为数据挖掘、大数据审计。陈一飞（197 7-），女（汉族），江苏常州人，博士研究生，副教授，主要研究领域为数据挖掘。梅轶群（197 9-），女（汉族），江苏南京人，硕士研究生，讲师，主要研究领域为运营管理。15谢添，高士顺，赵海涛，等。基于强化学习的定向无线通信网络抗干扰资源调度算法J.电波科学学报，2 0 2 0,35（4）：531-541.作者简介程楠（198 7-）,女（汉族），河南新乡市人，硕士，讲师，主要从事高等代数、线性代数、概率论与数理统计教育。朱国超（198 2-），男（汉族），河南方城县人，硕士，讲师，主要从事计算机网络、数据挖掘研究。