1、第 5 期2023 年5 月电子学报ACTA ELECTRONICA SINICAVol.51 No.5May 2023电力+5G前传网中融合时延敏感网络技术的流量调度方法陈亚鹏1,周振宇1,韩东升1,赵雄文1,戚银城1,魏勇2(1.华北电力大学河北省电力物联网技术重点实验室,河北保定 071003;2.国家电网河北省电力有限公司信息通信分公司,河北石家庄 050021)摘要:面向融合时延敏感网络的电力+5G前传网,针对电力通信业务确定性时延与差异化服务质量保障问题,该文提出了一种基于交换匹配的低复杂度流量调度算法.考虑业务优先级与差异化时延需求,将流量调度问题建模为最大化网络整体效用的二值变
2、量优化问题.考虑不同业务数据包调度决策的相互耦合,将该问题转化为一个业务数据包与虚拟传输位置间的匹配关系决策问题,利用改进后的低复杂度交换匹配算法实现问题求解.理论分析了该方法收敛性与复杂度.仿真结果表明,与传统的4种流量调度方法相比,该方法可在满足高优先级业务传输需求的前提下有效提升网络整体效用20.06%、25.93%、37.54%、52.26%.关键词:电力通信;5G前传网;时延敏感网络;业务优先级感知;流量调度;交换匹配基金项目:国家重点研发计划(No.2020YFB0905900);国家自然科学基金(No.61971189)中图分类号:TM73;TN919文献标识码:A文章编号:03
3、72-2112(2023)05-1141-07电子学报URL:http:/DOI:10.12263/DZXB.20220963TSN-Integrated Flow Scheduling Method in Power+5G Fronthaul NetworkCHEN Ya-peng1,ZHOU Zhen-yu1,HAN Dong-sheng1,ZHAO Xiong-wen1,QI Yin-cheng1,WEI Yong2(1.Hebei Key Laboratory of Power Internet of Things Technology,North China Electric Pow
4、er University,Baoding,Hebei 071003,China;2.State Grid Hebei Information&Telecommunication Branch,Shijiazhuang,Hebei 050021,China)Abstract:Facing time sensitive networking(TSN)integrated power+5G fronthaul network,a low complexity flow scheduling algorithm based on swap matching was proposed to guara
5、ntee the deterministic delay and differentiated quality of service(QoS)of power communication services.The service priority was taken into consideration to establish a binary variable optimization problem that maximizes the overall network utility.Considering the coupling of scheduling decisions amo
6、ng different service packets,the problem was transformed into a matching relationship decision making problem between packets and virtual transmission positions(VTPs).The improved low complexity swap matching algorithm was used to solve the problem.The theoretical analysis of convergence and complex
7、ity were given.The simulation results show that compared with the traditional 4 flow scheduling methods,the proposed method can effectively improve the overall network utility by 20.06%,25.93%,37.54%,and 52.26%respectively on the basis of meeting the QoS requirements of high-priority services.Key wo
8、rds:power communication;5G fronthaul network;time sensitive network;quality of service awareness;flow scheduling;swap matchingFoundation Item(s):National Key Research and Development Program of China(No.2020YFB0905900);National Natural Science Foundation of China(No.61971189)1引言随着电力系统中先进信息通信技术的广泛应用,
9、电力业务数据采集终端的爆发式增长给电力通信网接入能力带来了巨大挑战1.电网对实时调度与精准控收稿日期:2022-08-15;修回日期:2022-11-16;责任编辑:覃怀银电子学报2023 年制的严格要求和电力通信接入网有限的业务承载能力之间的矛盾愈发显著,为避免海量数据并发接入带来的网络拥塞、过载问题,电力通信接入网技术引发业界广泛关注2.在此背景下,5G技术因其大带宽、广连接、低时延等优势,为电力通信接入网的部署提供了可行方案.在5G电力通信接入网中,前传网作为连接基站与综合接入机房的纽带,其数据传输能力已然成为决定网络接入能力的关键所在,传统前传网技术已难以满足电力控制领域向确定性服务方
10、向发展的需求3,4.而时延敏感网络(Time Sensitive Networking,TSN)具有超低时延、可控传输、灵活扩展等优势,并与现行前传网技术具有良好的兼容性,融合TSN可有效提升电力+5G前传网的业务承载能力5,6.为了实现复杂电力通信业务场景下的网络资源高效利用,流量调度机制因能够实现多业务流转发协调与可控传输而成为相关领域研究热点.传统针对前传网流量调度的相关工作中,面向随机业务数据到达的快速流量调度(Fast Flow Scheduling,FFS)算法由于缺乏有效的控制机制,已难以适应当前复杂多变的业务场景7,8,在此基础上,基于统一调度周期的流量调度算法研究愈发广泛9.
11、文献 10 提及一种严苛优先级流量调度(Strict Priority Flow Scheduling,SPFS)算法,通过对业务进行等级划分优先保障高优先级业务数据性能.文献 11 介绍了一种高速流量滞后调度(Higher Rate Flow Scheduled Later,HRSL)算法,通过优先传输数据量较小的业务流来降低前传网拥塞水平.文献12 基于蒙特卡洛模拟(Monte Carlo Simulation,MCS)实现数据流调度优化,通过大量的随机试验提升网络资源利用率.然而,现有研究多针对公网场景中单一类型数据流量的调度,与电力通信场景适配性差,难以实现对业务差异化需求的实时感知与
12、流量调度策略的动态调整13.此外,大规模并发接入的电力通信业务数据对网络资源的抢占会导致其他业务或网络整体性能受损,随着电力通信接入网规模的持续扩展,如何从网络整体性能提升和个体性能保障的角度出发,协调各数据流的转发已成为一个亟待解决的问题.针对上述问题,本文提出了一种基于交换匹配和服务质量(Quality of Service,QoS)感 知 的 流 量 调 度(Matching-based QoS-aware Flow Scheduling,MQFS)算法.2系统模型2.1网络模型需要强调的是,所述网络仅供电力系统通信使用,主要基于网络切片技术,使用用户平面功能分流,将行业用户数据直接传送
13、到内网.目前成熟的5G前传网技术,如增强公共无线电接口(enhanced Common Public Radio Interface,eCPRI)规范,为TSN与5G前传网的融合奠定了技术基础14.融合TSN的电力+5G前传网模型如图1所示,其中中心化用户配置(Centralized User Configuration,CUC)单元负责电力通信业务QoS需求感知,并将之转发给中心化网络控制(Central Network Control,CNC)单元,CNC 负责流量调度等网络控制功能,结合业务性能反馈下发门控制列表等配置信息给TSN交换机.2.2时延分析参考3GPP R16定义的5G TS
14、N网桥架构以及IEEE 802.1 Qcc协议中的TSN控制架构15,基于传输门控制的流量调度模型如图2所示.在单个调度周期开始时,共有M个业务数据包同时到达TSN交换机端口,表示为集合S=1mM,经过调度后转入前传网以串行方式传输,当所有的业务数据包完成转发后,下一个调度周期开始.进入前传网后的业务数据包会产生新的排序关系.本文引入虚拟传输位置(Virtual Transmission Position,VTP)的 概 念,表 示 为 集 合P=1nN,且N=M.电力通信业务数据包转发时延包括缓存时延、传输时延、排队时延三部分16.数据包m首先到达缓存器,考虑到缓存时延相较于排队时延与传输时
15、延较小,DU:分布式单元CU:集中式单元CUC:中心化用户配置CNC:中心化网络控制电力通信终端DUTSN交换机CU5G前传网CUCCNCTSN控制平面网络状态信息感知控制策略下发 图1融合TSN的电力+5G前传网架构业务QoS需求感知TSN控制平面CUCCNC数据包 1数据包 2数据包 M业务性能反馈门控制列表TSN交换机保护带N个VTP 图2基于传输门控制的流量调度模型1142第 5 期陈亚鹏:电力+5G前传网中融合时延敏感网络技术的流量调度方法为简化模型,该部分时延被统一设为Sto.为避免调度过程中的冲突,单次只能打开一个门,并且两个门开启之间存在一段固有时间让不携带业务信息的保护带数据
16、通过,此部分保护时延为Pro.定义数据包m大小为Dm,前传网支持的传输速率为,则传输时延为Tram=Dm(1)进一步用mn表示数据包调度前后的位置对应关系,mn=1表示前传网上第n个VTP处的数据包为调度前的数据包m,否则mn=0.考虑到电力通信业务对丢包率的严苛要求以及5G网络自身技术优势,本文所研究的流量调度模型是无丢包的,且不会发生混叠现象5,11,即n=1Nmn=1,m=1Mmn=1(2)对于位于第n个VTP处的电力通信业务数据包m,其排队时延为Quemn=(n-1)Pro+v=1Ml=1n-1vlTrav(3)因此,数据包从到达TSN交换机到完成传输的总转发时延为mn=Sto+Que
17、mn+Tram(4)此外,结合电网实际场景,不同电力业务对于时延有着特定要求17.数据包m转发时延约束为n=1Nmnmnmmax(5)其中,mmax表示最大时延容限.2.3问题建模网络效用被建模为电力业务优先级与总转发时延的比值,本文旨在最大化前传网整体效用,即maxmnm=1Mn=1Nmnmmns.t.C1:n=1Nmn=1 C2:m=1Mmn=1 C3:n=1Nmnmnmmax(6)其中,m表示不同电力业务数据包优先级,C1表示该系统是无丢包的,C2表示不会发生混叠现象,C3为数据包总转发时延约束.3算法设计3.1问题转化根据式(6),不同数据包效用不仅与其自身特性相关,还与其它数据包和它
18、的相对位置有关,为求解该问题,应当确定M个数据包所有可能的排列关系,并在满足总转发时延约束的情况下找出使网络效用最大的方案,这种基于穷举的流量调度算法复杂度极高,为M的阶乘.因此,本文将该优化问题转化为一个一对一匹配问题,考虑到不同业务数据包匹配决策的耦合性,通过不断交换迭代最大化优化目标.然而,传统全交换匹配算法复杂度为O(M2)18,仍难以适用海量数据并发接入的电力通信场景,本文通过进一步改进,在实现较小的性能损失的同时降低算法复杂度,具体体现在:(1)针对不同匹配关系,分别从个体和网络整体的角度建立效用函数,在交换迭代过程中,应同时确保交换双方的效用值累加和以及网络整体效用获得提升.(2
19、)结合前传网流量调度具体特征,即VTP越靠前,可达到的网络效用更优,首先限定交换只能前向进行,其次限定前向交换的范围为J.3.2问题转化匹配的双方为M个电力通信业务数据包和N个VTP,算法执行主体为控制平面.定义一对一匹配关系集合为=(mn),其中的元素满足mn=1,用于表示不同数据包与VTP之间的唯一对应关系.TSN控制平面基于 VTP的位置关系为数据包建立偏好度列表,VTP排序越靠前,在列表中的位置也越靠前.m(n)和total()表示在当前匹配关系下,数据包m可获得的个体网络效用和此时的整体网络效用,其数值与本文优化目标相一致,即m(n)=mmn(7)total()=m=1Mn=1Nmn
20、mmn(8)为便于算法表达,给出如下定义:定义 1 交换操作.给定两组数据包与 VTP的匹配关系(mn)(vl),满足mvS、nlP,且mv、nl,交换操作指在原来匹配关系中交换数据包m和数据包v的匹配对象,表示为nlmv=(mn)(vl)(ml)(vn)(9)其中,(mn)(vl)表示在原来的匹配关系集合中将数据包m与第n个VTP、数据包v与第l个VTP的匹配关系删除.定义2 可交换匹配和双向稳定匹配.当|m-v|J时,对给定的两组数据包与VTP执行交换操作后,若m(l)+v(n)m(n)+v(l)(10)total(nlmv)total()(11)则此时的匹配关系是一个可交换匹配,表示为n
21、lmv,否则为一个双向稳定匹配.如算法 1所示,MQFS算法可分为初始化、交换匹1143电子学报2023 年配、匹配结果转化三个阶段:(1)在初始化阶段,只要满足式(6)的优化问题中所有约束,数据包和VTP就会完成一个随机匹配关系的建立.(2)在交换匹配阶段,TSN控制平面控制当前与第n个VTP匹配的每个数据包m向其偏好列表中排名最高的第l个VTP发起匹配请求,若存在nlmv,则用nlmv替换原始匹配,否则不变,数据包m将第l个VTP从其偏好列表中删除.重复上述过程直到无法再进行交换操作时,交换匹配过程终止.(3)在匹配结果转化阶段,TSN控制平面根据匹配结果依次打开传输门,使所有的数据包按顺
22、序通过,完成转发后,进入下一调度周期.3.3算法分析根据上述交换匹配的执行过程,MQFS算法可以收敛到唯一的双向稳定匹配关系,类似证明过程见文献 18.在算法复杂度方面,文献 18 所提的全交换匹配算法中交换操作被执行的最大次数为M(M-1),本文所提方法则为(M-J)J+j=1J-1j.4仿真分析4.1仿真设置本文在采用eCPRI接口的5G基站上进行仿真.结合TSN数据帧格式19,以及电力业务采集传输相关研究17,20,单个数据包大小为812 Kb.此外,仿真选取紧急控制与保护信息上传、能量管理系统、广域测量系统以及数据采集与监视控制系统四种业务21,优先级依次为7、5、5、2,生成比例为2
23、:10:5:10,时延约束为20 s、50 s、70 s、100 s.本文主要仿真参数设置如表 1所示.本文对比算法设置如下:(1)SPFS算法10:业务数据包按照优先级的大小依次传输,同一优先级的数据包按照随机顺序进行传输,最好情况下其交换排序次数为M-1,最坏情况下则为M(M-1)/2.(2)HRSL算法11:数据包的数据量越大,在前传网上进行传输的排序越靠后,最好情况下其比较排序次数为M-1,最坏情况下则为M(M-1)/2.(3)FFS算法7:以随机的顺序依次开启传输控制门使所有的数据包通过,其抽样次数为M.(4)MCS算法13:随机生成M2种流量调度方案,选取其中网络效用最大的方案进行
24、流量调度,其比较排序次数为M2-1.为减小偶然性带来的影响,以下仿真结果由100个调度周期结果取均值得到.4.2仿真结果分析图3给出了业务数据包数量对网络整体效用的影响,随着 M 的增加,不同算法整体网络效用都对应增加,但单个业务数据包平均效用降低,MQFS算法不论在大小还是增幅方面都比其他四种算法更优,当M=300时,网络整体效用比MCS算法、SPFS算法、HRSL算法、FFS 算 法 分 别 提 升 了 20.06%、25.93%、37.54%、52.26%.因为 MQFS算法可以将不同优先级电力通信业务数据包统筹考虑,进而提升网络整体效用.SPFS算法无法有效协调同一优先级业务数据包的转
25、发调度.MCS算法、HRSL算法和FFS算法都可以视作基于随机方式的流量调度算法,其中MCS算法由于样本数量庞大,性能略优于HRSL算法,MCS算法通过优先传输较小数据包,降低了相对转发时延,因此比 FFS 算法略优.图4的箱线图给出了M=300时多个调度周期获得的网络整体效用波动情况,MQFS算法在随机性较强的表1仿真参数设置参数MJmSto取值120480M/21,2,5,70.1 s参数ProDm取值0.1 s812 Kb25 Gbps图3业务数据包数量对网络整体效用的影响图4M=300时多次仿真获得的网络整体效用1144第 5 期陈亚鹏:电力+5G前传网中融合时延敏感网络技术的流量调度
26、方法电力通信网环境中可以实现较小的性能抖动,因为MQFS算法可以通过对业务信息的实时感知进行交换迭代.值得注意的是,由于MCS算法在取样不充分的情况下(尽管样本个数已高达M2),网络性能抖动仍较大.图5给出了采用MQFS算法时电力通信业务数据包数量与优先级对时延性能的影响,随着M的增加,不同优先级业务数据包的平均转发时延和最大转发时延都增加,而业务数据优先级越高,时延性能越好.此外,高优先级业务数据包的平均时延性能可以处于较低水平,且涨幅较小,与之相比低优先级业务时延迅速上升.表2给出了M=300时务优先级对平均时延性能的影响.MQFS 算法、MCS 算法以及 SPFS 算法的结果类似,业务数
27、据包优先级越高,时延越小,但由于MCS算法生成调度方案的随机性,高优先级业务平均时延较大,SPFS算法仅将业务优先级作为流量调度的唯一指标,无法结合不同类型业务的差异化时延需求进行优化.图6给出了M=300时MQFS算法相较于全交换算法网络整体效用损失与算法复杂度降低比例随J的变化情况.MQFS算法交换操作可执行的范围越大,最后可能达到的网络效用越高,算法复杂度对应增加,当J=150时,即M/2,网络整体效用趋于平缓,此时算法复杂度相较于全交换算法降低62.46%,但性能损失比例仅为8.76%.5结论针对海量电力通信业务数据并发接入导致的业务确定性时延及差异化QoS需求保障难题,本文设计了一种
28、融合TSN的电力+5G前传网调度模型,并提出了一种基于交换匹配和QoS感知的低复杂度流量调度算法.仿真结果表明,采用MQFS算法可有效提升网络整体效用,降低网络性能抖动,并可结合业务优先级和差异化QoS需求实现不同类别电力业务性能保障.未来将进一步结合带宽预分配及帧抢占协议等内容,开发性能更优越、复杂度更低的流量调度算法.(a)平均时延(b)最大时延图5业务数据包数量与业务优先级对时延性能的影响 表2M=300时业务优先级对平均时延性能的影响单位:s算法名称MQFSMCSSPFSHRSLFFS业务优先级m249.1739.7549.6030.1830.45532.8924.6621.5130.
29、1730.44516.1124.4121.6330.3830.3172.586.862.6030.1630.07图6M=300时J对网络整体效用及算法复杂度的影响1145电子学报2023 年参考文献1 周伯阳,郭志民,王延松,等.基于多尺度低秩模型的电力无线接入网异常流量检测方法J.电子学报,2020,48(8):1552-1557.ZHOU B Y,GUO Z M,WANG Y S,et al.An anomaly traffic detection method using multi-resolution low rank model for wireless access networ
30、k of electric power gridsJ.Acta Electronica Sinica,2020,48(8):1552-1557.(in Chinese)2 CHEN Z X,ZHI L X,ZHAO X W,et al.Parallel access scheme for wireless and power line dual-connection communicationJ.IEEE Transactions on Vehicular Technology,2022,71(7):7997-8001.3 吕亚平,贾向东,路艺,等.基于簇用户设备分类和频谱共享分配的 D2D
31、网络覆盖分析J.电子学报,2021,49(7):1392-1399.L Y P,JIA X D,LU Y,et al.D2D network coverage analysis based on cluster user equipment classification and spectrum sharing allocationJ.Acta Electronica Sinica,2021,49(7):1392-1399.(in Chinese)4 赵雄文,张钰,秦鹏,等.空天地一体化无线光通信网络关键技术及其发展趋势J.电子学报,2022,50(1):1-17.ZHAO X W,ZHANG
32、 Y,QIN P,et al.Key technologies and development trends for a space-air-ground integrated wireless optical communication networkJ.Acta Electronica Sinica,2022,50(1):1-17.(in Chinese)5 Time Sensitive Networking Task Group:IEEE Standards 802.1S/OL.2020-01-17.http:/www.ieee802.org/1/pages/tsn.html.6 刘雷,
33、陈晨,冯杰,等.车载边缘计算卸载技术研究综述J.电子学报,2021,49(5):861-871.LIU L,CHEN C,FENG J,et al.A survey of computation offloading in vehicular edge computing networksJ.Acta Electronica Sinica,2021,49(5):861-871.(in Chinese)7 ZHANG L,CHAN V.Scalable fast scheduling for optical flow switching using sampled entropy and mut
34、ual information broadcastJ.Journal of Optical Communications and Networking,2014,6(5):459-475.8 张磊,王盼盼.时间敏感网络流量整形技术综述J.微电子学与计算机,2022,39(1):46-53.ZHANG L,WANG P P.Survey of traffic shaping and scheduling in time-sensitive networkJ.Microelectronics&Computer,2022,39(1):46-53.(in Chinese)9 CHITIMALLA D,
35、KONDEPU K,VALCARENGHI L,et al.5G fronthaul-latency and jitter studies of CPRI over ethernetJ.Journal of Optical Communications and Networking,2017,9(2):172-182.10 ZHOU Z F,STBERT BERGER M,YAN Y.Mapping TSN traffic scheduling and shaping to FPGA-based architectureJ.IEEE Access,2020,8:221503-221512.11
36、 LIU Y,ZHOU Y Q,YUAN J H,et al.Delay aware flow scheduling for time sensitive fronthaul networks in centralized radio access networkJ.IEEE Transactions on Communications,2020,68(5):2992-3009.12 施健,孟庆强,吕顺利.运用蒙特卡洛模拟法的数据流调度优化模型研究J.计算机与数字工程,2018,46(4):779-782,817.SHI J,MENG Q Q,LV S L.Research on data f
37、low scheduling optimization model based on Monte Carlo simulationJ.Computer&Digital Engineering,2018,46(4):779-782,817.(in Chinese)13 周振宇,陈亚鹏,潘超等.面向智能电力巡检的高可靠低时延移动边缘计算技术J.高电压技术,2020,46(6):1895-1902.ZHOU Z Y,CHEN Y P,PAN C,et al.Ultra-reliable and low-latency mobile edge computing technology for inte
38、lligent power inspectionJ.High Voltage Engineering,2020,46(6):1895-1902.(in Chinese)14 MESODIAKAKI A,MANIOTIS P,GATZIANAS M,et al.A gated service MAC protocol for Sub-Ms latency 5G fiber-wireless mmWave C-RANsJ.IEEE Transactions on Wireless Communications,2021,20(4):2502-2515.15 蔡岳平,李栋,许驰,等.面向工业互联网的
39、5G-U与时间敏感网络融合架构与技术J.通信学报,2021,42(10):43-54.CAI Y P,LI D,XU C,et al.Integrating 5G-U with time-sensitive networking for industrial Internet:Architectures and technologiesJ.Journal on Communications,2021,42(10):43-54.(in Chinese)16 高会生,于文思,韩东升.基于时间敏感网络的风电场通 信 网 时 延 特 性 分 析 J.现 代 电 力,2021,38(4):465-472
40、.GAO H S,YU W S,HAN D S.Analysis of latency characteristics of wind farm communication network based on time-sensitive networkingJ.Modern Electric Power,2021,38(4):465-472.(in Chinese)17 LIAO H J,ZHOU Z Y,ZHAO X W,et al.Learning-based queue-aware task offloading and resource allocation for space-air
41、-ground-integrated power IoTJ.IEEE Internet of Things Journal,2021,8(7):5250-5263.18 LIU B H,LIU C X,PENG M G.Resource allocation for energy-efficient MEC in NOMA-enabled massive IoT 1146第 5 期陈亚鹏:电力+5G前传网中融合时延敏感网络技术的流量调度方法networksJ.IEEE Journal on Selected Areas in Communications,2021,39(4):1015-102
42、7.19 蔡岳平,姚宗辰,李天驰.时间敏感网络标准与研究综述J.计算机学报,2021,44(7):1378-1397.CAI Y P,YAO Z C,LI T C.A survey on time-sensitive networking:standards and state-of-the-artJ.Chinese Journal of Computers,2021,44(7):1378-1397.(in Chinese)20 BAKI A K M.Continuous monitoring of smart grid devices through multi protocol label
43、 switchingJ.IEEE Transactions on Smart Grid,2014,5(3):1210-1215.21 李俊娥,陆秋余,刘剑,等.智能变电站通信业务优先级及其队列调度方法J.通信学报,2021,42(7):25-40.LI J E,LU Q Y,LIU J,et al.Communication service priority in smart substation and its queue scheduling methodJ.Journal on Communications,2021,42(7):25-40.(in Chinese)作者简介:陈亚鹏男,1
44、997年出生于山西省平顺县.现为华北电力大学电气与电子工程学院博士研究生,主要研究方向为电力系统通信、电气信息化等.E-mail:yapeng_周振宇(通讯作者)男,1983年出生于河北省张家口市.现为华北电力大学教授、博士生导师,主要研究方向为电力通信网络与新技术、物联网与现代传感技术、能源互联网信息通信技术等.中国电子学会会员编号:E190020832S.E-mail:zhenyu_韩东升男,1980年出生于黑龙江富裕县.现为华北电力大学副教授、博士生导师,主要研究方向为电力通信网络与新技术、能源互联网信息通信技术等.中国电子学会会员编号:E190019497M.E-mail:赵雄文男,1964年出生于陕西省清涧县.现为华北电力大学教授、博士生导师,主要研究方向为5G和后5G无线通信、电力系统通信等.中国电子学会会员编号:E190020829F.E-mail:戚银城男,1968年出生于河南省周口市.现为华北电力大学教授,主要研究方向为电力系统通信等.E-mail:魏勇男,1977年出生于河北省石家庄市.现为国网河北省电力有限公司正高级工程师,从事电力通信建设及管理工作.E-mail:wei_yong_1147
©2010-2024 宁波自信网络信息技术有限公司 版权所有
客服电话:4008-655-100 投诉/维权电话:4009-655-100