异构物联网中关联数据一致性规则挖掘模型_许明宇.pdf

基金项目:国家自然科学基金项目(61672369)，江苏高校优势学科建设工程资助项目(PAPD)收稿日期:20201214修回日期:20220310第 40 卷第 2 期计算机仿真2023 年 2 月文章编号:10069348(2023)02042504异构物联网中关联数据一致性规则挖掘模型许明宇*，王宜怀(苏州大学计算机科学与技术学院，江苏 苏州 215000)摘要:数据一致性规则属于数据质量管理的核心规则。因此，以高效、准确挖掘为目的，研究了面向异构物联网，构建了一种关联数据一致性规则挖掘模型。先通过多维数据聚类去除异构物联网中的重复数据，以此来减少后续关联数据一致性规则挖掘过程的耗时;基于内容相关的条件函数依赖关系建立挖掘模型，并将清理后数据导入中，对其中的一致性规则展开挖掘。经仿真测试可知，针对 3 种不同数据量的异构物联网数据，上述模型对在挖掘其一致性规则时的效率与准确性均较高，挖掘耗时最大值仅为 1.27s，规则挖掘结果与实际规则数量一致，充分证明了上述模型的高效性。关键词:异构物联网;关联数据;一致性规则;规则挖掘;条件函数依赖中图分类号:TP391文献标识码:BMining Model of Association Data Consistency ulesin Heterogeneous Internet of ThingsXU Mingyu*，WANG Yihuai(School of Computer Science and Technology，Soochow University，Suzhou Jiangsu 215000，China)ABSTACT:For mining the association data in heterogeneous Internet of things efficiently and accurately，a consis-tency rule mining model of association data based on Internet of things was studied Multidimensional data clusteringwas applied to delete duplicate data in heterogeneous Internet of things，in order to reduce the timeconsumingprocess of subsequent association data consistency rule mining Through the dependency of content related conditionalfunction，the mining model was founded The cleaned data waswere imported into the model，and the consistencyrules were mined According to the simulation test，the above model has high efficiency and accuracy in mining itsconsistency rules for three heterogeneous Internet of Things data with different data volumes The maximum miningtime is only 127s The rule mining results are consistent with the actual number of rules，which fully proves the effi-ciency of the above modelThe simulation results show that the model has high efficiency(low time consumption，127s)and accuracy，and the rule mining results accord with the actual number of rules，which shows that the model isefficientKEYWODS:Heterogeneous internet of things;Associated data;Consistency rule;ule mining;Conditionalfunction dependence1引言因信息产业发展速度加快，大数据技术的应用范围越来越广。在社会个领域的运转中，各式各样的数据以海量式模式快速增长1，2。在这一背景下，数据一致性问题愈发重要。在数据挖掘、数据聚类等相关应用中，数据一致性挖掘必不可少。关联数据一致性规则挖掘的目的在于发现网络关联数据中不同数据在邻近域内的相互依赖关系以及相似性关系，其对于理解数据间的交互作用具有重要意义。然而，目前关于异构物联网中关联数据一致性规则挖掘这一问题有关的研究还有待进一步加强3。为此，本研究构建了异构物联网中关联数据一致性规则挖掘模型。异构物联网信息属于多源异构特性，也存在大量重复数据。因此，本研究在设计一致性规则挖掘过程时，考虑到异构物联网信息中的重复数据，引入了重复数据优化清除过524程。该过程对异构物联网中关联数据一致性规则挖掘存在积极作用，且以内容相关条件函数依赖规则为挖掘规则。然后通过基于内容相关条件函数依赖的关联数据一致性规则挖掘模型，有效获取关联数据一致性规则。2模型设计2.1基于多维数据聚类过程清除重复数据2.1.1特征向量的量化在异构物联网中，为了准确挖掘其中关联数据的一致性规则，本研究首先基于异构物联网多维数据聚类的的方式对重复数据进行清除。通过多维数据聚类分析方法，把所有数据集里各个数据项均映射至对应的种类之中，再采用贝叶斯方法划分异构物联网数据样本空间，获取每个异构物联网数据文本里的特征向量，实现特征向量的量化46。详细流程如下:设定异构物联网数据集表示为 E，E 的种类集合为 D。将异构物联网数据集 E 中的各个数据项 E1均映射至 D 中的数据种类 Q 里，则存在Q=E E1Ds(1)式(1)中，表示依存关系;s 表示有向边。若将有向边集合设成，似然率测试规则表示为 N，数据特征矢量种类表示为W，事件 e 出现几率是，则数据样本空间划分的过程如下kjkpk=e W+N r+q(2)式(2)中，数据集映射后的值与映射至的相似性依次表示为r、;字符串匹配阈值表示为 q。在此基础上，将数据间耦合度与聚类集的相似性依次设成、rs，则每个数据文本里特征量 f 的提取方法是f=rsh k(3)式(3)中，h 表示数据核心属性占所有属性的百分比，k 表示数据集的扫描次数。根据上述提取的数据文本里特征量 f，将差异数据集的维度与变量集合依次设定位 m、c，则可得到所有特征量的量化集 f 为f =cf+(I+S)km(4)式(4)中，I 表示学习数据结果集，S 表示测试训练集。在上述操作过程中，还需注意在去除异构物联网中的重复数据时，把所有数据集各个数据项均映射至对应种类之中7，通过贝叶斯方法实现数据样本空间划分，得到每个数据文本里的特征向量，对所有特征向量完成量化。2.1.2基于数据相似度的重复数据清除清除重复数据时，把上一小节得到的量化处理后特征量f 作成依据，设置字符语义数值，然后运算各个数据集合相应的语义数值序列，得到字符间相邻关系，获取每个数据的傅立叶展开系数向量，设置数据相似度判断阈值，完成异构物联网的重复数据清除。详细流程如下:假设离散数值序列为，重复数据近似数值序列为 g，将数值序列实施傅立叶转换获取傅立叶系数，可得到字符语义数值为=f +gn+yi(5)式(5)中，n 表示字符语义数值的种类数目，y 表示各个数据集合相应的语义数值序列，字符间相邻关系表示为 i。在此基础上，设置字符 j 的语义数值是 j，拉格朗日乘子表示为，yj所描述的各个数据集合相应的语义数值序列是yj=emax+jF j(6)式(6)中，emax表示特征绝对值向量最大值是;F表示数据属性集合。设置滑动窗口大小与平滑操作后第 u 个字符相应的语义数值表示为 ru，则可得到字符间相连关系Bswdftr为Bswdftr=u yjru l(7)式(7)中，l 表示字符语义相对距离。在此基础上，设置不同数据的语义数值分布概率为 p，傅立叶展开系数为 x，一个周期离散数列是 rt，那么数据相似度判断阈值是:A=(p+x)htrt Bswdftr(8)式(8)中，ht表示各个数据的权重。然后设置各个异构物联网数据映射空间是 G，重复数据清除结果如下E=z AG(9)式(9)中，z 表示清除重复数据后的异构物联网数据。2.2基于内容相关的条件函数依赖关系挖掘关联数据的一致性规则在上一小节得到的重复数据被清除的异构物联网数据中，使用基于内容相关的条件函数依赖关系构建关联数据一致性规则挖掘模型，按照内容相关条件函数依赖规则，挖掘异构物联网中关联数据一致性规则。2.2.1异构模式融合异构物联网中，因为数据间关联模式的不同，某种关联模式中规则集合难以在其它关联模式里有效应用810。在此种情况下，异构物联网关联数据一致性规则的使用效果将受到影响。因此，在挖掘关联数据一致性规则前，在重复数据清除结果 E 中，需要实现异构物联网关联数据融合，而异构融合与简单的数据合并存在一定差异11。将异构物联网数据的关联模式设成 Sa、Sb，然后在异构物联网关联数据的关联模式中，将关联数据实例设成 La、Lb，条件函数依赖(conditional functional dependencies，CFDs)的规则集合设成，且存在，这里的 表示为属性匹配模624式。则 Sa、Sb、的模式融合过程如下(Sa*Sb)=V (lhs+rhs)(attr(Sa)+attr(Sb)(10)式(10)中，(Sa*Sb)表示异构物联网关联数据的融合结果;V 表示融合后衍生的新模式属性;attr(Sa)、attr(Sb)依次表示 Sa、Sb的属性数量;lhs、rhs依次表示 的左部、右部属性集合。在上述操作过程中，(Sa*Sb)中原始异构模式里以 为标准所的匹配属性将聚类于一组，变成融合模式里的关联数据属性;未能被匹配的关联数据属性还留在原始模式里，针对融合后关联数据属性值，阈值属于 2 个关联数据属性的并集12。异构物联网关联数据实例简称异构实例，规则挖掘问题一般是在实例里对数据关系实施抽象。模式融合对关系属性存在扩展功能，以此让关系实例出现差异。异构实例融合的概念如下:假设 T 表示融合模式中合并获取的关系实例，其获取过程如下T=(Sa*Sb)(La+Lb)(Lv+Lg)(11)式(11)中，关联模式 Sa里不具有的属性表示为 Lv;v、g 表示不同类型的关联数据属性;关联模式 Sb里不具有的属性是Lg;La、Lb依次表示关联模式 Sa、Sb里数据特征值。2.2.2规则发现函数依赖(functional dependencies，FDs)、条件函数依赖、扩展条件函数依赖(extended conditional functional dependen-cies，eCFDs)，其属于数据一致性管理的核心技术。在关联模式中，将函数依赖设成:vC。其中，、C 表示关联数据一致性规则的属性值。针对条件函数依赖、扩展函数依赖而言，因为在函数依赖规则中，规则左部条件属性被划分，在实施规则挖掘时，必须依次分析条件属性与变量属性，本文构建一种二级 lattice结构模型，详情见图 1。使用此模型在挖掘一致性规则时，自vg 开始，穿过 v|g、g|v 直至 vg|停止，以此获取内容相关条件函数依赖，是关联数据一致性规则属性。二级 lattice 结构如图 1 所示。2.2.3一致性规则合并挖掘在使用二级 lattice 结构获取内容相关条件函数依赖后，将符合一致形式|gv 的关联数据一致性规则实施合并，获取融合后关联数据一致性规则相应的内容相关条件函数依赖。但是，不是全部关联数据一致性规则的条件值均可以实施合并。为此，为了准确挖掘一致性规则，需要清除条件冲突值。条件冲突值 的判断过程如下:j=gT(12)式(12)中，g表示实例 LaLb中，条件值为=j的选择操作、投影操作。去除条件冲突值后，将不存在冲突的关联数据规则实施图 1二级 lattice 结构示意图一致性合并，输出的合并结果即为异构物联网中关联数据一致性挖掘结果。3实验与分析为验证上述异构物联网中关联数据一致性规则挖掘模型的有效性，设计如下仿真检验过程。3.1实验设置使用 Inter Core i57400CPU，与 AM 主机相连，使用Java 语言设计实验程序。实验数据集分为 NBA 数据与豆瓣数据，NBA 数据集主要为赛季统计数据构成，其中的数据具有 11 种属性，数据为20000 条。豆瓣数据来自于豆瓣网站，由豆瓣电影数据与豆瓣读书数据构成，豆瓣电影数据属性为 10 种，元组数为50000 条，豆瓣读书数据属性为 12 种，元组数为 50000 条。3.2本文模型使用性能验证首先测试本文模型对异构物联网中关联数据一致性规则的挖掘时间，以此判断本文模型的挖掘效率。实验结果如图 2 所示。分析图 2 结果可知，3 种不同来来源数据量的异构物联网数据中，本文模型在异构模式融合阶段、规则发现阶段、规则合并阶段中，对关联数据一致性规则挖掘耗时始终在2.50s 以下。具体来看，本文模型针对赛季统计数据、豆瓣电724图 2本文模型挖掘效果实验结果影数据、豆瓣读书数据的总挖掘耗时最大值依次为 2.15s、2.20s、2.40s，挖掘耗时可满足异构物联网中关联数据一致性规则挖掘需求。因异构物联网数据中关联数据一致性规则属于虚体，不具有可衡量性，本文模型对 NBA 队员数据、赛季统计数据、豆瓣电影数据、豆瓣读书数据的关联数据一致性规则挖掘结果以四种数据的属性为判断结果，本文模型的挖掘准确性如图 3 所示。图 3本文模型挖掘准确性实验结果分析图 3 所示结果可知。本文模型对豆瓣电影数据和豆瓣读书数据中一致性规则挖掘的准确率呈上升状态，对赛季统计数据中一致性规则挖掘的准确率呈下降状态。但本文模型对赛季统计数据、豆瓣电影数据、豆瓣读书数据的关联数据一致性规则挖掘准确率较高，其准确率始终保持在90%以上。产生这一结果的原因在于本文模型先使用了基于异构物联网多维数据聚类的重复数据优化清除方法，去除异构物联网多维数据聚类的重复数据，大大降低关联数据一致性规则挖掘误差。为了进一步测试本文模型对重复数据的清除效果，以数据重复率为测试指标验证其有效性。数据重复率 B 计算方法如下B=d m(13)式(13)中，d、m 依次表示查全率与重复数据数目;是正确清除的数据量。本文模型的清除效果测试结果如表 1 所示。表 1本文模型的清除效果测试结果测试次数赛季统计数据豆瓣电影数据豆瓣读书数据10 次0.030.030.0320 次0.030.030.0230 次0.030.020.0240 次0.030.020.0250 次0.030.020.03平均值0.030.020.02分析表 1 所示结果可知，本文模型处理后的异构物联网数据重复率均值最大值是 0.03，重复率极小，对关联数据一致性规则挖掘不存在显著影响。由此可以说明，本文模型对异构物联网中关联数据的处理性能显著。4结束语在异构物联网环境中，关联数据一致性规则挖掘的准确与否，与数据挖掘、(下转第 442 页)8245结束语为了进一步优化物联网的自主防御能力，提出基于改进降噪算法的物联网攻击主动防御的方法。通过仿真测试可知研究方法可有效提高物联网的防御效率，可在短时间内完成防御。如何在保证物联网防御能力的同时，对物联网防御过程实时监控，是研究人员下一步工作的重点。参考文献:1史勇民，汤敏贤，李日南 物联网安全和取证浅谈J 电视技术，2021，45(10):154156 2胡永进，马骏，郭渊博，等 基于多阶段网络欺骗博弈的主动防御研究J 通信学报，2020，41(8):3242 3马晓 最小代价下网络攻击主动防御算法J 哈尔滨工程大学学报，2020，41(9):14051410 4黄万伟，袁博，王苏南，等 基于非零和信号博弈的主动防御模型 J 郑州大学学报(工学版)，2022，43(1):9096 5林钰棽，魏云龙，陈琪琪，等 一种嵌入式计算平台的 Sigmoid函数优化方法J 小型微型计算机系统，2021，42(10):20532058 6王俊红，闫家荣 基于欠采样和代价敏感的不平衡数据分类算法J 计算机应用，2021，41(1):4852 7周海平，沈士根，黄龙军，等 攻防博弈驱动下的无线传感器网络病毒传播模型 J 计算机应用研究，2020，37(3):847850 8刘英杰，刘士虎，徐伟华 基于有效路径拓扑稳定性的链路预测方法J 计算机应用研究，2022，39(1):9095 9王华华，黄俊霖，何沛，等 非接入层拒绝服务攻击分析与设计J 电讯技术，2022，62(3):354360 10唐静，田波，陈华君 基于节点链路评估模型的移动物联网数据传输稳定算法J 电子测量与仪器学报，2020，34(10):194201 11孙志勇，季新生，游伟，等 一种基于冗余跳变的虚拟机动态迁移方法J 计算机工程，2020，46(2):2127+34 12徐玉华，孙知信 软件定义网络中的异常流量检测研究进展J 软件学报，2020，31(1):183207 13车向北，康文倩，欧阳宇宏，等 基于强化学习的 SDN 路由优化算法J 计算机工程与应用，2021，57(12):9398 14谢升旭，邢长友，张国敏，等 OpenFlow 交换机流表溢出缓解技术研究综述J 计算机研究与发展，2021，58(7):15441562 15蒋侣，张恒巍，王晋东 基于多阶段 Markov 信号博弈的移动目标防御最优决策方法J 电子学报，2021，49(3):527535 作者简介魏利梅(1974)，女(汉族)，山西太谷人，硕士，讲师，主要研究方向:网络安全、数据分析。朱红康(1975)，男(汉族)，山西汾西人，博士，副教授，硕士生导师，主要研究方向:服务计算、数据挖掘。(上接第 428 页)数据应用的合理与否存在直接联系。为此，本文构建了一种异构物联网中关联数据一致性规则挖掘模型。在实验中通过 NBA 数据与豆瓣数据测试本文模型的应用效果。测试结果验证，本文模型对关联数据一致性规则的挖掘耗时较短，挖掘准确性较高，且本文模型清洗后的关联数据重复率较低，本文模型可优化异构物联网中关联数据一致性规则挖掘效果。参考文献:1李冠宇，安敬民 面向物联网的异构实体间关系服务模型J湖南大学学报(自科版)，2019，46(2):136145 2张玉杰，刘强，张婷婷物联网系统异构数据的过滤及存储模型研究J 电子器件，2018，41(3):703707 3杨敬民，张文杰物联网环境下移动高维异常数据自动挖掘仿真J计算机仿真，2018，35(1):441444 4郭帅，郭忠文，仇志金 HSMA:面向物联网异构数据的模式分层匹配算法J 计算机研究与发展，2018，55(11):25222531 5杜岳峰，李晓光，宋宝燕异构模式中关联数据的一致性规则发现方法J 计算机研究与发展，2020，57(9):19391948 6周磊，杨威 基于加权关联规则的技术融合探测J 情报杂志，2019，38(1):64，7176 7于家兴，魏海平，金丽娜，等 基于模型参考的异构多智能体平均一致性J 计算机应用，2019，39(4):12401246 8罗党，刘敏灰色异构数据信息下的随机多准则决策方法J控制与决策，2018，33(12):22272233 9李涛，郁美辰，陆正邦，等 基于关联规则挖掘的气象观测设备一致性检测算法J 电子测量与仪器学报，2017，31(10):15681573 10何占军，邓敏，蔡建南，等 顾及背景知识的多事件序列关联规则挖掘方法J 武汉大学学报(信息科学版)，2018，43(5):766772 11杨珍，耿秀丽考虑多粒度属性约简的关联规则挖掘研究J计算机工程与应用，2019，55(6):133139 12郑金芳，张继栋，陈烽 基于模糊频繁模式的数据流关联规则挖掘方法J 湘潭大学自然科学学报，2017，39(3):122126 作者简介许明宇(1996)，男(汉族)，江苏苏州人，硕士研究生，研究方向为嵌入式系统与物联网(通讯作者)。王宜怀(1962)，男(汉族)，江苏宿迁人，博士，教授，主要研究方向:嵌入式系统、传感网与智能控制技术。244