多区域协调调度下的物联网异构数据源资源配置方法.pdf

第3 1卷第2 期2023 年6 月广州航海学院学报JOURNAL OF GUANGZHOU MARITIME UNIVERSITYVol.31No.2Jun.2023多区域协调调度下的物联网异构数据源资源配置方法杨萌（淮北职业技术学院计算机系，安徽淮北2 3 50 0 0）摘要：受到物联网数据调度多样性、数据分布多层级的差异化特征影响，异构数据源在空间与时间调度层面出现严重偏差，导致多区域数据协调困难，资源调度效率降低。为了解决时间与空间的数据协调问题，基于多区域协调调度机制，对物联网异构数据源展开调度参量配置优化：构建多区域物联网异构数据源目标函数；多区域调度目标资源函数匹配转化；多区域协调目标资源配置.数据调试测试表明，经过上述三个环节的优化，调度效果得到了明显改善，异构数据多区域调度响应与调度效率得到了明显提升，相关调度参量均达到预期效果，具有较高的推广价值.关键词：多区域协调；物联网；异构数据源；资源调度配置中图分类号：TP311随着信息技术的不断发展，越来越多的领域开始运用物联网技术，尤其是在农业、医疗以及智能交通等领域.但是这些领域的数据源数量众多，其所需的数据资源也是多种多样的，而且不同设备间存在着差异性.这就导致物联网中数据源具有不同层次、不同规模等特征.现有物联网资源管理和调度系统大多基于静态的资源分配方案，很难满足动态环境下数据源资源在时间和空间上不均衡分布造成对资源实时、高效调度的需求 1.2 .因此,基于动态规划与动态任务驱动机制的物联网异构数据源资源配置问题日益受到关注.本文针对该问题提出了一种多区域协调调度的资源分配算法，以提高异构数据源分配的合理性，进一步提升资源利用率1多区域协调量化与异构数据源配置更新1.1构建多区域物联网异构数据源目标函数对物联网异构数据源建立多区域目标函数模收稿日期：2 0 2 3-0 2-15基金项目：安徽省高校自然科学研究重点项目（KJ2021A1373；K J2 0 2 1A 13 7 6；K J2 0 2 0 A 0 9 6 4）；准北职业技术学院自然科学研究重点项目(2020-A-5)作者简介：杨萌（19 7 9 一），女，硕士，讲师，工程师，主要从事计算机技术研究文献标志码：A文章编号：10 0 9-8 52 6(2 0 2 3)0 2-0 0 6 4-0 6型,通过异构数据源构成数据的多样性，将不同类型下相同数据进行特征指纹索引整理，通过检索全局重复属性特征异构数据，在布隆过滤器的过滤处理下完成多源异构数据存储调度目标函数计算,将多区域协调调度问题转化为目标函数寻优问题.根据物联网空间存储的异构数据源存储特征 3.4,存储多源异构数据C,会根据数据构成类型及其属性进行划分，划分后的数据信息通常以数据块的形式进行保存，为了后期数据的调度便捷，对其信息进行记录表格 table 绑定 5.6 ,其中每一个表格table可同时对应多个空间下的服务接口.假设由k个调制采集器组成的异构数据源节点矩阵集群中,F代表节点矩阵集群下任意一个异构节点数据，bs代表异构数据源集群规模大小,则F所对应的规模大小为nbs,F中包含nm个异构数据块,且每个异构信息数据源的属性都不相同；在调制采集器存储空间中,将F,xm矩阵表征为异构数据源整体结构的分量信息分块,用ib11，,bn代表原始数据第2 期整体F的数据信息块，n代表个体数据信息节点对应的信息块，则该异构数据源对应的副本矩阵Fnx(m-1)可以表达为buF：nx(m-1)=Lbml式中,bmm代表其中任意一个矩阵构成参量.当节点矩阵集群对应的交互接口收到远端调度指令上传信息数据到异构数据存储空间时，会将异构数据块bu所对应的索引属性信息记录在表格table中,同时将异构数据bi2作为b的副本信息,其中b对应映射副本分别存储于多个不同链路空间，同理,bi2也是b的副本信息，存储方式及其原理与b相同.假设m代表异构数据对应副本信息的配置量且满足 3,则除其之外的所有异构数据信息块均存储于bu、b i 2 与b13之外的链路空间中,分别对应多个不同服务器.在远端多区域协调调度存储节点矩阵中,配置对应的调度MD5索引 7 ,连续循环检索当前全局链路存储空间中存在重复属性信息的的异构数据,并通过布隆过滤器 8 对其进行过滤：=1-一kne-n/mm式中,1/m代表属性交叉融合运算，（1-1/m）代表哈希映射 9 ,e代表哈希函数最优值总数.数据信息对应信息块数量与副本信息配置量m可通过公式（3）与公式（4）计算获得：元=(n,)/um=(2m,)/u式中,n,与m,代表多属性资源调度特征重合的异构数据，TEu代表过滤配置系数.设异构数据文件远程调度目标特征重复率为r%1011,通过公式(2)可得到过滤后的异构数据信息块尺寸为，则过滤后异构数据源信息块的全局存储链路空间大小为SUMom=u(-1)ar%=(m,-u)n,r%/u)T1假设，SUMom代表物联网环境下异构数据源全局存储链路空间，过滤后的物联网环境下异构数据源全局存储链路空间为SUMMem，则多区域协调调度下的物联网异构数据源实际存储目标函数关系为杨萌：多区域协调调度下的物联网异构数据源资源配置方法T=b1m：6mmnT=165(m,-u)n,axr%SUMMem=SUMoMT=1u(1)异构数据对应副本信息的配置量m对应值系数越大，代表其可信度越高，且异构数据源对应调度存储的稳定性越高.稳定性可通过动态适应系数,匹配物联网远端多区域调度要求，在满足异构数据源多区域调度稳定要求的前提下，减小异构数据源调度存储消耗，得到系数最小值时，异构数据源调度目标函数为最佳目标函数：minm/1-1-p(bas)QoS.式中,p(bais）代表远端多区域调度存储空间下的源异构数据源可调.1.2多区域调度目标资源函数匹配转化为了更好地对其异构数据源数据进行多区域协调处理，对其目标函数进行调度匹配转化处理，根据数据调度过程中不同区域服务器之间的标准化匹配特征,对其异构数据源多区域协调标准进行函数转化,同时完成转化函数的匹配.其中，根据多区域服务器调度标准的数据特征，对其资源进行全(2)局映射通过建立映射模型，完成同属性资源的多区域匹配.异构数据源多区域数据协调映射模型如图1所示.S(3)(4)(5)(6)(7)DRCDlRD2C图1异构数据源多区域数据协调映射模型假设异构数据源目标函数为S,多区域服务器调度标准化数据库为D,对其目标函数的转化关系定义如下：1)在异构数据源目标函数S与多区域服务器调度标准化数据库D中,有且仅有一组相同属性数据合集为C.2)D中任意一个数据集合C都存在一个对应的标准化匹配集合 R,即R=f(C).3)异构数据源目标函数S中数据集合C的个数为m，多区域服务器调度标准化数据库D中数据66集合C的个数为n,则异构数据源目标函数S集合与多区域服务器调度标准化数据库D集合的关系可以表达为S=Cs1,C2,C3,Csml4)对于数据集合C个体来说，可以将其表达为一个pq的二维矩阵A(pN,qN),A=(i,2,a3，,a;，(i=p 或i=q).对于XML数据文件所对应的行向量集合，可以转化表达为Cs-As=(ai,a2,a3,a,)re NCp;-Br,=(b1,b2,b3,b,)s EN根据历史多区域数据调度经验 12.,C,与 Cm中的ie(1,m)和je（1,n)分别为一对多绑定关系及多对一绑定关系，且绑定关系均隶属于映射关系，如图2 所示.基于上述关系特征，通过创建转化函数f(x）完成表转化匹配运算，匹配运算包含基本的系数量运算、配置标准参数运算、合并拆分及数据格式转换等操作，则其中任何一组异构数据源信息调度匹配集合R的函数表达式为R=fl(C1,al),(C2,a2),.,(Cm,an),neN1:1图2 数据绑定映射集合1.3多区域协调目标资源配置通过上述两个单元的数据参量优化计算，基本完成异构数据源调度函数与多区域协调相关调度参量的优化计算.现阶段所需完成的是将已知参量根据调度区域及调度要求，对其可调度资源进行调度关联配置.为了避免传统调度算法在配置节点和对应资源映射过程中出现的假死问题，提出采用模拟退火算法 14.15 对多区域协调调度资源进行异构数据源资源配置.配置可分为两个阶段：第一阶段通过粒子群优化不同链路空间下的异构数据源，根据调度任务分配可用资源；第二阶段优化多区域链路空间调度路径，保证资源协调调度成功率.种群广州航海学院学报初始活性状态系数计算如式(11)所示,调度活性衰减后的计算公式如式（12)所示：to=f(pg)/ln5(8)式中,to代表粒子群的初始活性状态系数;P.代表调度优化过程中个体粒子g的最佳适应系数.调度活性衰减后的计算公式为th+1=入th式中,入代表调度活性衰减系数;th+1代表第k+1个粒子个体的当前调度活跃性，t代表第k个粒子个(9)体的当前调度活跃性.优化多区域协调调度配置更新公式为b(wm wmin)D;(t+1)=(wmxBrPg;(t)-xi,(t)+Cmi n b rpij-xi,;(t)式中,ui,（t+1)与Ui,(t)分别代表在时间点t+1与时间点t下,第i维粒子个体所对应第j维的资源调度响应速度；W代表惯性加权系数；b代表当前资源协调配置量的迭代次数；B代表送代系数最大值;c(10)代表容错系数;ri与rz隶属于0 1值域内的随机均值系数;Pi,代表第i维粒子个体所对应j维的上一时间点最优资源调度配置量;Pg，代表多区域协调调度更新粒子g在j维中的最佳调度配置量.配置量更新公式为xi;(t+1)=x,;(t)+Vi,(t+1)R：1式中,xi,（t+1)与xi,(t)分别代表(t+1)与t时间点下,第i维粒子个体所对应j维的协调资源量.多区域协调目标资源配置流程如下：1)随机初始化多区域协调优化种群中个体粒子携带的配置资源量与更新速度；2全局粒子群适应系数评价，并将全局粒子群更新配置信息及其适应量存储于p；，将全局粒子群更新配置信息及其适应量的最佳参量存储于Pg；3)根据式（11）确定粒子群的初始活性状态系数；4)根据式(15)确定当前活性状态下多区域协调优化粒子的p;适配系数：TF(p:)5）为了保证当下相关参数分配的合理性，利用轮盘赌策略在p;中确定更新配置量Pg的最佳系数，然后通过式（13）与式（14）更新对应优化粒子的配置量；第3 1卷(11)(12)CmaxVj63(13)(14)(15)第2 期6)更新加权系数值与容错系数；7)计算多区域协调资源数量，更新资源调度优化粒子的p值及粒子群的P值；8)根据式(12)进行调度活性衰减计算；9)若所得结果满足调度要求，优化调度更新停止并输出结果，否则执行4）.2性能调试调试过程在仿真测试平台创建环境中完成，调试目标方法为提出设计方法，用于性能比较的样本方法分别为基于差分算法的异构数据源调度方法、基于物联网多目标的异构数据调度策略；两种样本方法组成对比组；测试过程中对比组下的两种对比方法分别称为对比组Q1方法、对比组Q2方法；在相同测试参量下，完成设定性能测试，并通过数据横向对比,验证提出方法数据配置方案的有效、可行性.2.1调试环境配置测试配置6 台服务机器作为调度数据存储平台，分别分布于华北区域、华东区域、华中区域、东北区域、华南区域及东南沿海城区；每台服务器内存储资源量共计15万组数据，每组数据大小10 GB；测试配套通信上行速率为3.5Gbps，下行速率为3 5Gbps.调试平台网络配置结构如图3所示.杨萌：多区域协调调度下的物联网异构数据源资源配置方法服务器167口对比组Q1方法对比组Q2方法45403530151050华北服务器华东服务器华中服务器东北服务器华南服务器东南沿海城区服务器（a)ST M L特征资源不同调度方法的多区域调度情况对比组Q1方法对比组Q2方法454035302520151050华北服务器华东服务器华中服务器东北服务器华南服务器东南沿海城区服务器(b)DLL特征资源不同调度方法的多区域调度情况对比组Q1方法对比组Q2方法45403530目标方法服务器目标方法服务器目标方法服务器2服务器4测试平台815105华北服务器华东服务器华中服务器东北服务器华南服务器东南沿海城区服务器服务器服务器3服务器5服务器6图3 调试平台网络配置结构2.2多区域资源调度能力测试设定调度资源特征类型3 种，其对应特征编码分别为STML、D LL、T SL;统计每种调度方法下每一区域服务器资源调度情况，并生成统计图，如图4所示.(c)TSL特征资源不同调度方法的多区域调度情况图4不同调度方法多区域资源调度能力测试结果通过对比图4a中不同方法对STML特征资源多区域协调调度数据可以看出，对比组Q1方法整体资源调度呈下降趋势，不同区域间资源调度差异较大，且区域资源调度最大峰值约为15万资源量；对比组Q2方法多区域资源协调调度波动性较强，区域间资源调度差值较大，整体资源协调调度量偏低，区域资源调度最大峰值约为19 万资源量；目标68方法不同区域资源协调调度差值较小，整体调度资源量相对统一，区域资源调度最大峰值约为3 4万资源量.由此可以判定,异构数据中STML特征资源下多区域资源协调调度能力最佳的调度方法为目标方法.基于上述分析方法,对比图4b、图4c所对应的DLL、T SL特征资源调度数据可以发现，,对比组两种方法Q1、Q 2 二者调度性能差异较大，各自调度特征与图4a调度表现基本一致,且两种调度方法的整体能力均弱于目标方法;反观图4b、图4c中目标方法的调度表现，依旧保持与图4a相同的状态,整体性能波动很小，说明其具有优秀的协调控制能力，且在TSL特征资源调度数据中可以看到其资源调度能力呈上升趋势，说明该方法的后期优化空间很大.综上所述，在多区域资源调度能力测试中，目标方法表现优异，各项性能指标达到设计预期标准,按照测试结果调度能力排序为：目标方法对比组Q2方法 对比组Q1方法.2.3调度资源异构数据存储能力测试为了验证提出方法调度能力的稳定效果,对其调度资源的存储指标进行测试，随机抽取10 0 0 组异构数据样本进行调度操作，按照每50 组资源数据标准进行1次调度读取时间与调度存储写入时间的均值计算，生成2 0 组调度资源异构数据存储读写用时统计表，如表1所示.通过对比分析数据，得出测试结论.表1调度资源异构数据存储读写用时统计表目标方法对比组 Q1 方法组调度读调度写 调度读 调度写调度读调度写取用时人用时取用时人用时 取用时人用时(ms)(ms)18028138048058068078288298110811180128013811482广州航海学院学报(续表1)目标方法调度读调度写调度读调度写调度读 调度写组取用时人用时取用时人用时取用时人用时(ms)(ms)158016821782188019802082横向对比表1所示数据可以看出,2 0 组存储读取、写人时间的测试结果为目标方法能力最佳，其写入与读取用时最短；对比组Q2方法次之,对比组Q1方法最差.根据所得数据数值判断，目标方法的多区域协调能力、调度能力、调度控制能力优秀，能够满足实际应用各项要求.3结语根据异构数据存储特征，结合多区域协调调度多目标优化特点，对异构数据源调度进行了配置优化，并通过仿真测试证明了提出配置方法的可行性.配置方法的提出，为多区域协调数据优化与异构数据源结构融合应用研究，提供了可行性方案参考.但是，根据物联网数据调度多目标特征，提出方法在多点目标信息适应方面，存在局部参量适应调度能力薄弱的问题.在该薄弱数据层面包含调度时对比组Q2 方法间与调度目标量两种不确定偏差因素.为了避免两种因素对方法的影响,需要不断积累调度目标分布特征，逐层优化不同调度区域的目标时间量，同时(ms)(ms)9612396125961259612496125961249414796153941659615296142961569414294170第3 1卷对比组 Q1 方法对比组 Q2 方法(ms)(ms)951259414594156951569515296153(ms)(ms)168102168105158104168102169102159102159104157104158103156105168102168106169102167102(ms)158105155105166103168102167104166106适时引人大数据、自适应等数据分析学习算法，提125升调度时间量与目标量之间的适应系数，进而保持123最佳配置效果的稳定输出.123123124125125126126124123126125124(ms)123125125125123128参考文献：1侯戌非.物联网环境下海量多源异构数据的存储算法 J.宁夏师范学院学报,2 0 2 2（0 7）：8 0-8 5.2张志强.云计算下多源异构大数据算法研究 J.电脑知识与技术,2 0 2 2(15):2 5-2 7.3张亚超，谢仕炜，朱蜀.多区域互联电气耦合系统分散协调分布鲁棒优化调度 J.电力系统自动化,2 0 2 2(19）：3 1-42.4吴誉兰，舒建文.异构集群中密集型大数据负载网络调度仿真J.计算机仿真,2 0 2 2（0 4）：445-449.5JINDAL A,GERNDT M,CHADHA M,et al.Function DeliveryNetwork:Extending Serverless Computing for Heterogeneous第2 期PlatformsJ.2021(9):1936-1963.6闫美君，李建堂，文丽，等.基于多区域协调模式的大型农机调度研究 J.农业展望,2 0 2 1(12)：10 7-113.7CHEN Q,ZHENG L,LIAO X,et al.Effective Runtime Schedulingfor High-performance Graph Processing on Heterogeneous DataflowArchitecture J.CCF T r a n s a c t i o n s o n H i g h Pe r f o r m a n c eComputing,2020(04):1-14.8LUBNA T,MAHMUD I,CHO Y Z.Low Latency and High DataRate(LLHD)Scheduler:A Multipath TCP Scheduler for Dynamicand Heterogeneous NetworksJ.Sensors,2022(24):9869.9陶兴勇，曹海，蔡鹏.梯级巨型水电站多源异构调度数据可视化处理 J.水电站机电技术，2 0 2 1（10）：54-56.10 LI R W,WU H,FANG Q,et al.Damage Evaluation and Performance-杨萌：多区域协调调度下的物联网异构数据源资源配置方法69based Design of Double-pier RC Bridge Subjected to VehicleCollisionJ.Structures,2021(34):3141-3154.11】林金羽,闫格.异构环境下改进的Hadoop调度算法 J.闽南师范大学学报（自然科学版）,2 0 2 1（0 3）：6 2-6 7.12徐震辉,邵庆,应东辉，等.融合多源数据的区域动态协调信号控制 J.浙江工业大学学报，2 0 2 1（0 4）：40 9-415.13邹昊东,王鹏飞,陶晔波,等.面向大数据处理的数据中心节能调度策略研究 J.电力信息与通信技术,2 0 2 1（0 3）：3 4-42.14夏正勋，罗圣美,孙元浩，等.大规模异构数据并行处理系统的设计、实现与实践 J.大数据，2 0 2 0（0 4）：18-2 9.15马军岩，袁逸萍，任年鲁，等.多区域协调调度架构下的农机服务资源优化配置方法J.中国农业大学学报，2 0 2 0（0 4）：113-122.Heterogeneous Data Source Resource Allocation Method of the Internet ofThings under Multi-region Coordination and SchedulingYANG Meng(Huaibei Vocational and Technical College,Huaibei Anhui 235000,China)Abstract:Influenced by the diversity of data scheduling of the Internet of Things and multi-level data distribution,heterogeneous data sources have serious deviations in the level of spatial and temporal scheduling,leading todifficulties in multi-region data coordination and the reduction of resource scheduling efficiency.In order to solvethe problem of time and space data coordination,the scheduling parameter configuration of the Internet of Things isoptimized based on the multi-region coordination scheduling mechanism.The optimization can be divided into thefollowing three points:（1)c o n s t r u c t i n g t a r g e t f u n c t i o n o f mu l t i-r e g i o n In t e r n e t o f T h i n g s;（2)ma t c h i n gtransformation of multi-region scheduling target resource function;(3)multi-region coordination target resourceallocation;through data debugging test,through the optimization of the above three links,the multi-region schedulingresponse and scheduling efficiency of heterogeneous data have been significantly improved,and the relevantscheduling parameters have achieved the expected effect and have high promotion value.Key words:multi-region coordination;Internet of Things;heterogeneous data source;resource scheduling andconfiguration