基于粒度神经网络的大数据标签分类算法研究_张倩.pdf

基金项目:2020 年度吉林省教育科学“十三五”规划课题(GH20451);研究成果及吉林省高教学会 2019 年高教科研项目(JGJX2019D457)收稿日期:2021-05-27 修回日期:2021-06-18 第 40 卷 第 4 期计 算 机 仿 真2023 年 4 月 文章编号:1006-9348(2023)04-0286-04基于粒度神经网络的大数据标签分类算法研究张 倩,吴 琼,时庆涛(长春工业大学人文信息学院,吉林 长春 130000)摘要:传统大数据标签分类算法无法实时处理大数据标签的属性特征,导致分类精度偏低、能量开销较大。为解决以上问题,提出基于粒度神经网络的大数据标签分类算法。通过大数据存储库 I/O/接口、USB 接口以及磁盘层三层结构,计算大数据标签矢量长度值,明确标签属性特征。采用数据重排操作结合因子分析法,将属性标签初级分类,在粒度神经网络的基础上,利用主成分分析法提取大数据主特征,得到主成分神经元比例元集。结合标签属性特征初级分类结果,实现对大数据标签的最终分类。仿真验证了所提方法在特征匹配和分类效果方面具有明显的优势,且系统的能量开销较低。关键词:粒度神经网络;大数据标签;主成分分析法;特征匹配;矢量长度值中图分类号:TN912.3 文献标识码:BResearch on Big Data Label Classification AlgorithmBased on Granular Neural NetworkZHANG Qian,WU Qiong,SHI Qing-tao(College of Humanities&Information Engineering,Changchun University of Technology,Changchun Jilin 130000,China)ABSTRACT:Traditional algorithms can not process the attributes of big data tags in real time,leading to low classi-fication accuracy and high energy cost.Therefore,based on granularity neural network,an algorithm to classify bigdata labels was presented.Through I/O/interface of the big data storage library,USB interface and three-layerstructure of disk layer,the vector length of big data label was calculated to clarify the attribute feature of the label.The data rearrangement was combined with factor analysis to preliminarily classify the attribute labels.Based on thegranularity neural network,the principal component analysis(PCA)was used to extract the main features of big dataand thus to obtain the proportion set of principal component neurons.According to the primary classification results oftag attribute features,the final classification for big data tags was achieved.The simulation proves that the proposedmethod has obvious advantages in feature matching and classification,and the energy cost of system is also low.KEYWORDS:Granular neural network;Big data label;Principal component analysis;Feature matching;Vector length1 引言随着信息技术研究的不断深入,人们获取大数据的方式越来越多,成本也越来越低,使得大数据的形式多种多样,来源也无法确定。因此,对大数据标签的分类已经远远超出了现有系统的正常处理极限。不仅如此,对于大数据的标签分类不同于小规模数据分类,其具有大量的的深度知识,信息含量偏高。为此,对于大数据标签如何实现高效分类成为了当前研究热点之一。文献1利用朴素贝叶斯算法,以 Map Reduce 和 ApacheSpark 框架为依据,构建了分布式朴素贝叶斯文本分类模型。在该模型中实现对样本数据集的分类。该算法中将 Map Re-duce 的并行优势运用的非常到位,最终直接在分类结果中找出最大值所对应的文本标签即可。但是在该算法中,文本数据的复杂程度较高且访问量较大,在后续的计算过程中将会浪费大量的时间,因此,不利于大范围推广使用;文献2以深度自动编码器为基础,展开对多标签分类的研究。利用轨迹计算算法对网络中不同节点之间的结构相似性进行研究,682并将最终结果输入到深度自动编码器中;然后对网络中所有节点的领域信息进行联合优化处理,使得网络展现出高度非线性的特性,最后,再利用支持向量机实现对多标签的分类。该算法充分考虑了节点之间的相似性,分类效果比较明显,但是计算量巨大,过程较为繁琐,分类实时性能较低。综合考虑以上算法的优缺点,本文将粒度神经网络引入其中,提出了一种新的大数据标签分类方法。首先,通过对大数据的数据结构以及先验信息进行处理,得到大数据标签的矢量长度值,进而展开对大数据标签的属性特征分析。然后通过大数据信息重排序列,完成对大数据标签的属性分类,由此构建大数据采样序列的拟合模型。将粒度神经网络应用其中,通过设置合理的隐含层节点数以及主要的参数值,使输出结果为理想值。最后通过建立一个无监督学习过程,选取合适的全局适应度与标签属性适应度,实现对大数据标签的分类。2 大数据结构及先验信息处理2.1 大数据的存储模型大数据的存储数据库常以交互信息网络3的形式存在,存储数据库主要由三层构成:I/O 输入/输出、USB 接口和磁盘层,三层模块协同工作,完成对大数据的存储以及交互。在大数据存储库模型中,假设存储数据库的一个分支为Ti=(i=1,2,n),其中,n 表示分支数量,其长度用 Qi(Qi1)来表示,由此可得到带有支持度值的所有存储节点集合。对于主支干节点,只能进行一次支持度计算和集合操作,扫描分支还可得到与之对应的 B 的节点集合B,D B,A,对于大数据存储库中的频繁项集 D,在设置大数据标签特征分类匹配条件时,要充分考虑标签特征的分布函数,其结果对大数据标签的分类尤为重要。大数据标签分布函数计算公式如式(1)所示:F(Gj,i)=w1R(Gj,i)+w2(1-dis(Gj,i)(1)其中,i 表示大数据标签在特征采样过程中所占用的时间序列节点数;w1表示簇头节点所对应的加权权重值 w;w2表示大数据标签分类节点所对应的加权权重值;R(Gj,i)表示大数据标签在存储数据库内递归特征;dis(Gj,i)表示两个大数据标签在存储库内的欧式距离,可用式(2)表示为dis(Gj,i)=x(t0),x(t0+t),x(t0+(K-1)t)(2)式中,x(t0)表示存储库内,对大数据进行采样处理的时间序列;K 为存储数据库内列空间的窗函数。根据式(2)的计算结果以及存储数据库的时间序列模型,可得到大数据标签的时间序列采样如式(3)所示I=x(t0+it),i=0,1,2,N-1(3)其中,N 表示大数据标签的矢量长度。通过上述对大数据存储结构模型的分析,以及对大数据标签的矢量长度值4进行计算,可展开对大数据标签属性特征的划分,进而实现对大数据标签的分类计算。2.2 大数据的标签属性特征划分通过高维相空间重构模型可对存储数据库中的大数据执行信息重排操作,利用因子分析法,对大数据标签时间序列的主成分概率密度置信域进行分析计算,如式(4)所示g(xi,yi|k,2k)=kk=1122kexp-(xi-k)222k(4)式(4)中,k表示在全局渐进稳定的状态下,大数据采样时间序列的矢量值;k表示大数据标签的属性关联系数值。通过 k的值,结合先验排序准则,对大数据标签的特征量构建分布模式 c1=0;c2=2;ck=0(k3)。在分布式模型中,首先,通过自适应聚类算法对大数据进行处理,然后再利用模糊 C 均值聚类算法对大数据标签进行属性特征分析以及聚类算法运算。将初始聚类中心的解设为 X(0),本文将其划分为 A 个部分 X(1),X(2),X(A),即 X(0)=Ni=1X(i)。根据大数据重排后得到的时间序列 y(n)的秩,对大数据标签的属性特征进行归类划分,即可得到大数据标签采样序列的拟合模型,如式(5)所示xn=0+pi=1ixn-i+qj=0jn-1(5)式中,i的均值始终为 0,2表示大数据标签标准正态分布5的方差值,0,1,2,p统称为大数据采样时间序列的关联系数,1,2,q为滑动时间窗口的平均系数值。根据上述计算,即可完成对大数据标签的属性特征划分,结合粒度神经网络,展开对标签分类算法的研究。3 基于粒度神经网络的大数据标签分类算法3.1 粒度神经网络结构粒度神经网络主要由输入层、隐含层和输出层三个层次构成,结构图如图 1 所示。图 1 神经网络结构图782假设,在输入层内随机输入一个 f 组 r 维数据向量?Xl=|x1,x2,x3,xr|,l=1,2,f,当输入层完成运算后,被传送至隐含层内。隐含层内包含了 z 个节点,通过节点作用和特定基函数6的运算,最终由输出层输出结果。将输出结果与大数据标签加权权重值相乘,最终结果即为网络值数 s 维。yh=fj=1whjj(xd),h=1,2,s;d=1,2,r(6)其中,yh表示粒度神经网络中第 h 个节点的输出结果;whj表示隐含层内节点 j 与输出层内节点 d 之间连接的权重值;j(xd)表示隐含层内与第 j 个节点所对应的基函数。通过对式(6)的计算结果可知,在粒度神经网络中,隐含层内的节点信息将会影响到输出层的输出结果,为将影响控制在合理范围内,可以通过设置隐含层内与节点对应的基函数,或者调整网络结构中的一些主要参数值,使得各个节点之间的连接方式发生改变,选择影响最小的连接方式即可。随机给定一个输入值,假设该值可以确保 j(xd)中非零节点个数最少,此时 j(xd)中大部分节点数都是零。在实际的运用中,对于随机给定的输入值,只要对隐含层内非零节点的输出结果进行加权求和计算,即可得到理想数值。3.2 大数据的主特征提取及标签属性计算在对大数据主特征提取的多种方法中,多维标签属性的主成分分析法应用得最为广泛,本文运用该方法进一步研究大数据标签的属性特征,本文对该方法做了部分改进,提出了一种基于粒度神经网络的大数据标签分类方法。通过粒度神经网络实现对大数据聚类中心7的自动更新和标签分类属性识别。在标签分类属性识别过程中,在领域 L 内 t 时刻下对大数据标签的分类进行学习迭代计算,如式(7)所示Pij(t)=Lj(t)-Li(t)kNi(t)Lk(t)-Li(t)(7)选择合适的大数据标签加权权重值进行计算,得到任意k 时刻下大数据的信息流状态为xk=ii=1(?xik?wik)(8)在高维相空间重构模型中,通过关联规则协议8对大数据标签进行属性特征量的提取,再运用主成分分析法对大数据隐含的某些特征进行分析计算,最终结果即为大数据采样时间序列在 tn时刻下的状态信息,如式(9)所示xk=ni=1xikM(9)假设在粒度神经网络中,对于大数据标签的训练样本集中共有 M 个神经元信息,那么在计算大数据标签中含有的主成分以及输出结果时,可通过计算式(10)得到KL=1MM-m-ai=11Mwid(H)(10)其中,H 表示训练次数。通过式(10)的计算,可得到大数据主成分的神经元9比例元集为 wid,利用组合聚类算法,与标签属性特征聚类计算共同作用,实现对大数据标签的模糊分类。3.3 大数据标签分类输出通过上文对大数据主成分进行特征提取10,可结合粒度神经网络,建立一个无监督学习过程,学习迭代式如式(11)所示xu(k+1)=xu(k)+sxo(k)-xu(k)xo(k)-xu(k)|(11)由于大数据标签属性11的全局适应度值低于标签 u 属性的适应度值,因此需要对粒度神经网络的学习范围重新进行调整,使二者满足适应度条件函数。将 rud(k)定义为任意 k 时刻下标签 u 的学习节点在粒度神经网络中的加权系数值,并使其满足条件 0rud(k)rs,由此可得到大数据标签分类的模糊迭代式rud(k+1)=min r2,max 0,rud(k)+nu-|Mu(k)|()(12)其中,表示大数据在全局分类搜索12中的关联特征变量,nu表示学习迭代计算式中的适应度值。当学习迭代次数达到最理想状态时,粒度神经网络对于大数据的分类学习收敛速度达到最优,输出的加权权重值满足式(13)条件wuDKdmaxuoM(13)其中,dmaxuo表示标签 u 与标签 o 之间分类训练的最大欧式距离。利用大数据标签属性检测方法对分类训练产生的误差值进行修正,可得到大数据标签分类结果为xuO=xuS+Kdmaxu(xuL-xuS)(14)其中,K=1/xuL-xuS。由此可见,利用粒度神经网络对大数据标签进行分类权重计算,可有效提高分类全局的收敛性。4 仿真研究为验证本文方法在大数据标签特征匹配、分类效果以及系统运行效率方面是否具有可行性,与文献1、文献2方法展开了对比仿真。仿真平台的硬盘主频为 2.89GHz,系统运行内存为 8GB,仿真软件使用的是比较常用的 Matlab7。大数据样本集来自数据存储库 B400C20D40,覆盖区域为 200200,共有 452365 条大数据信息。通过上述对仿真环境的设定,将三种方法分别应用其中,对大数据标签的分类性能在系统运行效率方面进行对比。大数据的采样频率为 450kHz,以时宽=15s 来计算大数据标签的特征匹配投影值,实验结果如图 2 所示。从图 3 中可知,运用本文方法对大数据标签特征进行匹配,展现出了较优的特征提取性能,随着实验时间的不断推移,本文方法在 20s 处出现了投影匹配值峰值。以此特征匹配结果在后续对大数据标签进行分类时,可起到很好的推动作用。运用本文方法进行特征分类,结果如图 2 所示。从图 3 中可以看出,采用本文方法对大数据标签进行特882图 2 本文方法大数据标签特征匹配投影值图 3 本文方法分类效果征提取后,再进行分类,效果是非常明显的。这样不仅可以有效避开各类数据之间的特征融合和交叉,而且将一些冗余特征信息剔除掉,在一定程度上提高了标签分类的准确性。同时,为了验证本文方法与文献1、文献2方法在系统运行效率上的性能对比,将大数据标签分类的能量开销作为对比依据,展开了仿真,三种方法实验结果如图 4 所示。图 4 三种方法能量开销对比图从图 4 中可以看出,本文方法较其它两种方法相比,所使用的能量开销最低,说明本文方法在确保分类准确性的同时花费的系统开销最小,以此证明了运用粒度神经网络对大数据标签进行分类是非常有效且可行的一种方法。5 结论针对传统方法在对大数据标签分类过程中存在计算开销大、分类效率较差等问题,本文提出新的大数据标签分类算法。首先,计算大数据标签的矢量长度值,确保后续对标签属性的分析更精准。然后,通过主成分分析法对大数据的先验特征以及大数据标签的属性特征进行分析计算。最后将粒度神经网络应用其中,对标签属性的加权权重值加以控制,结合大数据标签属性特征向量,完成对大数据标签的分类。通过搭建仿真平台,将传统方法与本文方法进行对比,验证了本文方法在花费最少系统能量开销的前提下,得到了较高的分类性能和特征匹配值,适合大范围推广使用。参考文献:1 臧艳辉,赵雪章,席运江.Spark 框架下利用分布式 NBC 的大数据文本分类方法J.计算机应用研究,2019,36(12):3705-3708,3712.2 聂煜,廖祥文,魏晶晶,等.基于深度自动编码器的多标签分类研究J.广西师范大学学报(自然科学版),2019,37(1):71-79.3 陈鑫,李伟康,洪宇,等.面向问句复述识别的多卷积自交互匹配方法研究J.中文信息学报,2019,33(10):99-108,118.4 高云龙,吴川,朱明.基于改进卷积神经网络的短文本分类模型J.吉林大学学报(理学版),2020,58(4):923-930.5 朱阳光,刘瑞敏,黄琼桃.基于深度神经网络的弱监督信息细粒度图像识别J.电子测量与仪器学报,2020,34(2):115-122.6 桂江生,麻陈飞,包晓安,等.递归深度混合关注网络的细粒度图像分类方法J.计算机工程,2019,45(5):205-209.7 解冰,朱宏擎.一种基于选择性卷积特征和最大后验高斯混合模型的细粒度图像分类算法J.华东理工大学学报(自然科学版),2019,45(5):789-794.8 黄嘉宝,朱永华,周霁婷,等.基于卷积神经网络的多肉植物细粒度图像分类J.上海大学学报(自然科学版),2020,26(2):283-291.9 马力,王永雄.基于稀疏化双线性卷积神经网络的细粒度图像分类J.模式识别与人工智能,2019,32(4):336-344.10 徐频捷,王诲喆,李策,等.基于脉冲神经网络与移动 GPU 计算的图像分类算法研究与实现J.计算机工程与科学,2020,42(3):397-403.11 刘竞,郭忠文,孙中卫,刘石勇,等.采用分而治之策略的快速多标签支持向量机分类算法研究J.中国海洋大学学报(自然科学版),2020,50(12):160-166.12 王万良,张兆娟,高楠,等.基于人工智能技术的大数据分析方法研究进展J.计算机集成制造系统,2019,25(3):529-547.(下转第 454 页)982在图 8 为上行交通模式识别结果图,在高层住宅小区内,上行高峰主要发生在 5、6 点放学以及下班时间段,另外在 11 点左右也会出现强度较小的上行高峰,此时需要以提升业主乘梯体验为主,将电梯提前停靠基层;图 9 为下行交通模式识别结果图,下行高峰主要发生在 8 点左右的上学以及上班时间段和下午 4 点 30 分左右时间段,此时也需要以减少业主的候梯时间与乘梯时间,可以将电梯停靠在中间楼层和顶层以便调度;可以看出在上行和下行两个模式下识别准确度较高;图 10 为随机层间交通模式识别结果图,在这种模式下,均匀分配电梯,两部停靠基站,另外两部停靠中间站和顶层站,以便更快相应召梯信号;图 11 为空闲模式识别结果图,这种模式多发生在半夜 12 点之后到七点上班之前,人流较为稀少,此时可以将部分电梯投入使用以减少能耗,在这两种交通模式下,识别交通模式与实际的交通模式稍有误差,但影响不大,识别效果也较好。6 总结文章通过对住宅客流特性详细分析,引入深度学习方法,搭建基于 LSTM 的高层住宅电梯群客流模式识别模型。模型通过 LSTM 提取特征值,学习时间序列中的长期依赖关系,并通过 Softmax 进行分类,同时使用 Adam 算法优化神经网络参数。通过实验发现,相较于一些经典的模式识别模型,本文所提模型能够更加准确有效的辨识各种交通模式。参考文献:1 付丽君,周崇.电梯群控系统最优调度仿真J.计算机仿真,2012,29(4):263-267.2 吉训生,王大智,李晓等.面向不等长时间序列的电梯故障早期预测J.小型微型计算机系统,2020,41(4):763-768.3 赵越.电梯群控系统的模式识别与优化介绍J.科学技术创新,2017,(14):26.4 杨广全.电梯交通流分析及电梯群控策略研究D.,上海交通大学,2007.5 万健如,贾祖新,智渊.,ACO-BP 神经网络在电梯交通流预测中的应用J.,传感器与微系统,2015,34(11):153-156,160.6 岳文姣,杨祯山.基于 SOM 的模糊 BP 神经网络技术的电梯交通模式识别J.渤海大学学报(自然科学版),2015,36(4):363-370.7 杨祯山,岳文姣.基于 FCM 聚类模糊神经网络的电梯交通模式识别J.系统仿真学报,2018,30(4):1433-1438,1447.8 宋英华,余武静,吕伟.高层公寓式住宅建筑电梯协同楼梯疏散策略研究J.中国安全生产科学技术,2020,16(6):116-121.9 蒋锐鹏,姑丽加玛丽麦麦提艾力,安丽娜.基于长短期记忆神经网络的手写数字识别J.计算机技术与发展,2020,30(2):94-97.10 Muhammad Ather Iqbal Hussain,Babar Khan,Zhijie Wang,ShenyiDing.WovenFabricPatternRecognitionandClassification Based on Deep Convolutional Neural NetworksJ.Electronics,2020,9(6).11 曲星宇,曾鹏,徐承成,付东东.基于 DropOut 降噪自编码的磨矿系统故障诊断J.控制与决策,2018,33(9):1662-1666.12 李敏,李红娇,陈杰.差分隐私保护下的 Adam 优化算法研究J.计算机应用与软件,2020,37(6):253-258,296.13 宋星,贾红丽,王谦,赵汝东.基于时间序列挖掘的合成旅装备维修保障能力预测J.系统工程与电子技术,2020,42(4):878-886.14 冷建飞,高旭,朱嘉平.多元线性回归统计预测模型的应用J.统计与决策,2016,(7):82-85.15 王霞,董永权,于巧,耿娜.结构化支持向量机研究综述J.计算机工程与应用,2020,56(17):24-32.作者简介顾玲丽(1995-),女(汉族),江苏省南通市人,硕士研究生,主要研究方向为机器学习,建筑智能化技术。董佳琦(1997-),男(汉族),江苏省泰州市人,硕士研究生,主要研究方向为机器学习,建筑智能化技术。许洪华(1968-),男(汉族),吉林德惠人,教授,主要研究领域为工业数据通信与控制网络,智能建筑(通讯作者)。徐 啸(1997-),男(汉族),江苏省泰兴市人,硕士研究生、主要研究领域为机器学习、多路径路由控制等。(上接第 289 页)作者简介张 倩(1982-),女(汉族),吉林长春人,硕士研究生,讲师,研究方向:人工智能与数据挖掘。吴 琼(1977-),女(汉族),辽宁营口人,博士研究生,副教授,研究方向:嵌入式系统和软件工程。时庆涛(1981-),女(汉族),吉林德惠人,硕士研究生,副教授,研究方向:人工智能与应用。454