云计算在电力用户用电信息采集系统中的应用研究.pdf

第 5 3 卷第 1 期 2 0 1 6年1月 1 0日 电测与仪表 El e c t r i c a l M e a s ur e me nt I n s t r u m e nt a t i o n VO I S 3 No 1 J a n 1 0。 2 0 1 6 云计算在 电力用户用 电信息采集 系统 中的应用研究 水 何恒靖 ， 赵伟 ， 黄松岭 ， 王勋 ( 1 清华大学电机系， 电力系统国家重点实验室 北京 1 0 0 0 8 4 ； 2 英国杜伦大学 工程 与计算机科学系， 杜伦 D H 1 3 L E ) 摘要 ： 随着国家 电网公 司确立的电力用户用 电信息采集系统“ 全覆盖、 全采集 、 全费控”目标的逐 步实现 ， 电力 系统中运行的采集终端数量大幅激增， 从而使采集的电力系统数据信息量呈几何级数增长。面对海量的用电 数据， 当前用电信息采集系统在多个方面出现瓶颈。文中通过分析当前作为解决大数据存储、 分析、 计算、 管理 有效手段的云计算技术， 结合当前用电信息采集系统所遇问题， 研究了云计算在电力用户用电信息采集系统中 的应用前景及面对的挑战， 对未来电力用户用电信息采集系统的建设和发展有指导意义。 关键词： 电力系统； 电力用户用电信息采集系统； 云计算； 大数据； 分布式并行处理 中图分类号 ： T M 9 3 3 文献标识码 ： B 文章编号 ： 1 0 0 11 3 9 0 ( 2 0 1 6 ) 0 1 0 0 0 1 0 7 Re s e a r c h o n t h e a p p l i c a t i o n o f c l o u d c o mp u t i n g i n p o we r u s e r e l e c t r i c e ne r g y da t a a c q ui s i t i o n s y s t e m H e H e n i n g ， Z h a o We i ， Hu a n g S o n g l i n g ，Wa n g Q i n g ( f S t a t e K e y L a b o fP o w e r S y s t e m， D e p t ofE l e c t r i c a l E n g i n e e r i n g，T s i n g h u a U n i v e r s i t y ， B e j i n g 1 0 0 0 8 4 ，C h i n a 2 S c h o o l o f E n g i n e e r i n g a n d C o m p u t i n g S c i e n c e s ， D u r h a m U n i v e r s i t y ， D u r h a m D H 1 3 L E， E n g l a n d ) Ab s t r a c t ：As t h e S t a t e G r i d C o r p o r a t i o n o f C h i n a i s i mp r o v i n g t h e p o we r u s e r e l e c t r i c e n e r g y d a t a a c q u i s i t i o n s y s t e m S O t h a t i t c a n c o l l e c t a l l n e c e s s a r y e l e c t ric e n e r gy i n f o r ma t i o n f r o m all p o w e r c o n s u me r s ， a n d t h e n u mb e r o f a c q u i s i t i o n d e v i c e s i s i n c r e a s i n g s h a r p l y w i t h l a r g e a mo u n t s o f d a t a fl o o d i n g i n t o t h e s y s t e mC u r r e n t p o w e r u s e r e l e c t ri c e n e r gy d a t a a c q u i s i t i o n s y s t e ms h a v e me t ma n y b o t d e n e c k s T o fi n d e ff e c t i v e s o l u t i o n s f o r t h e s e p r o b l e ms ，t h i s p a p e r fi r s t l y e x a mi n e s t h e a r c h i t e c t u r e a n d d e ma n d o f p o we r u s e r e l e c t ri c e n e r g y d a t a a c q u i s i t i o n s y s t e ms An d，the n，b y f u r t h e r a n a l y z i n g a d v a n c e d t e c h n o l o g i e s i n c l o u d c o mp u t i n g ，w h i c h i s a h i g h l y e f f e c t i v e a p p r o a c h f o r p r o c e s s i n g b i g d a t a，r e s e a r c h a b o u t t h e u t i l i z a t i o n o f c l o u d c o mp u t i n g t e c h n o l o gy for i mp r o v i n g p o we r u s e r e l e c t ri c e n e r gy d a t a a c q u i s i t i o n s y s t e ms ，a n d r e l a t e d c h all e n g e s ，a r e c a r r i e d o u t T h e wo r k o f t h i s p a p e r c a n p r o v i d e g u i d a n c e for c o n s t r u c t i o n o f f u t u r e p o we r u s e r e l e c t ri c e n e r g y d a t a a c q u i s i t i o n s y s t e ms Ke y wo r d s ： p o w e r s y s t e m，p o we r u s e r e l e c t ric e n e r gy d a t a a c q u i s i t i o n s y s t e m，c l o u d c o mp u t i n g，b i g d a t a，d i s t rib u t e d p ara l l e l p r o c e s s i n g 0 引 言 电力用户用电信息采集系统( 以下简称“ 电力用 采系统” ) 是实现电网用电侧电气信息在线监测和实 时采集的重要信息系统， 同时也是电力营销业务应 用的支撑系统u j 。 随着智能电 网建设 的不 断推进 ， 作为 电网用 电 侧信息获取及用电控制重要途径的电力用采系统， 基金项目 ： 国家重 点实验 室开放基金项 目( S K L D1 5 M 0 2 ) 已成为智能电网不可或缺 的重要部分之一 J 。为进 一 步提升电力系统信息化水平以支撑智能电网建 设 ， 国家电网公司对 电力用采 系统建设提 出了“ 全覆 盖 、 全采集、 全费控” 要求 。为此 ， 国家 电网公 司积极 推广应用智能电表 ， 并完成 了 2 7个省级电力公司用 电信息采集系统主站的构建。随着电力用采系统 “ 全覆盖、 全采集、 全费控”目标 的逐渐实现 J ， 采集 到的用电数据也呈现几何级数 增长态势 ， 从 而使 对 相关数据的查询、 分析、 提取等操作变得越来越 困 学兔兔 w w w .x u e t u t u .c o m 学兔兔 w w w .x u e t u t u .c o m 第 5 3卷第 1期 2 0 1 6年1月 1 0日 电测与仪表 El e c t r i c a l M e a s u r e me n t& I n s t r u me n t a t i o n V0 1 5 3 No 1 J a n 1 0。 2 O 1 6 电力用采系统“ 全覆盖 、 全采集 、 全费控 ” 目标的 实现 ， 使得其需要采集 的数据信 息量越来越大 、 采集 频率越来越高 、 采集数据的类 型也越来越多 ， 从 而使 采集到 的数据 规模激 增 ， 造成数 据入 库速 度减 慢。 传统的单一数据库结构， 已难以满足大数据环境下 用户用电信息实时采集的现实需求。 ( 3 ) 海量数据查询 、 分析、 计算速度慢 数据规模的扩大， 使得采用传统关系型数据库 的电力用采 系统 在数据查询 、 检索方面 的耗 时大大 增加。同时 ， 在数据 的分析、 统计 和计算 方面 ， 传 统 计算模式和算法已难以满足应用层的新需求。 ( 4 ) 用电数据容灾、 备份困难 现有的数据库系统 ， 难以保证 出现单点故障后 仍维持正常运行 ， 从而降低 了系统可靠性 。而 由于 数据量的大幅增加， 数据备份的速度以及备份数据 的存储 、 恢复等都已出现 困难 。 上述问题的 出现 ， 均是 由于用 电数据 在 向大数 据发展过程中， 相应系统及信息处理技术未随之升 级所引起的。为了应对电力用 电数据的大数据化变 化趋势 ， 需要从大数据 的存储 、 分析和计算 等相关核 心技术特点 出发 ， 探索相应的有效解决方案 ， 并将其 应用到电力用采系统的完善和升级换代中。 当前 ， 应对大数 据最有效 的技 术手段是 云计算 技术， 其作为一种新兴的计算模式， 在大数据的存 储 、 处理及计算 等方 面均 已表现 出显著优势 。通过 分析云计算的技术特点， 结合当前电力用采系统面 临的新需求及其功能特性 ， 完全有可能 寻找到解决 上述 问题的有效方案。 2 云计算技术 2 1 云计算概述 云计算L l 副是 由分布式计算 、 并行计算 、 效用计算 发展而来的一种新型计算模 式 ， 并且融 合 了虚拟化 技术、 负载均衡、 热备份冗余以及网络存储等技术。 文献 1 2 给出了美国国家标准与技术研究院( N I S T ) 对云计算的定义， 即“ 云计算是一种利用互联网实现 随时随地、 按需 、 便捷地访 问共享 资源池 ( 如计算设 施、 存储设备、 应用程序等) 的计算模式” 。从此定义 可看出， 云计算着重强调计算 、 存储等 I T资源 的灵活 使用和管理 。 云计算可以提供 I A A S ( I n f r a s t r u c t u r e A s a S e r v i c e ， 基础设施即服务) 、 P A A S ( P l a t f o r m A s a S e r v i c e ， 平台即 服务) 和 S A A S ( S o ft w a r e A s a S e rvi c e ， 软件即服务 ) 等服 务模式 。这三种服务模式 ， 本质上都是对 n1 资源进 行整合 ， 然后按需以服务的方式提供给用户使用。这三 种服务模式分别将 I T基础设施， 开发、 运行平台， 应用软 件作为服务， 按需提供给用户使用。 目前 ， P A A S平台上已衍生出很多与大数 据存储 和处理相关的技术 ， 如海量数据存储技术 、 并行化海 量数据分析技术及资源调度和管理技术等。这些技 术 目前已越来越多地应用于大数据 的存储、 计算、 挖 掘及分析 ， 是解决 电力用采系统在大数据 环境下所 面临问题和困难的关键支撑 ， 也是本文研究 的重点。 2 2 云计算在 大数据应用 中的技术特点及优 势 当前 ， 云计算是处理大数据最有效的技 术 ， 其在 海量数据的存储 、 查询、 分析、 计算及挖掘等方 面， 均 已有 比较成熟 的相应技术 ， 这也正是解决原有 电力 用采系统不能满足新 问题 、 新需求 的关 键所在 。云 计算在大数据领域中的应用技术主要包括 以下几个 方面 ： ( 1 ) 存储系统 云计算 中广泛采用分布式文件系统作为其存储 核心。 目前 ， 应用于云计算 中比较成熟、 可靠的分布 式文件系统主要有 G F S ( G o o g l e F i l e s S y s t e m) 、 H D F S ( H a d o o p D i s t r i b u t e d F i l e S y s t e m) 、 F a s t D F S ( F a s t D i s t r i b u t e d F i l e S y s t e m) ， L u s t r e ， P V F S( P a r a l l e l V i r t u a l F i l e S y s t e m) ， G P F S ( G e n e r a l P a r a l l e l F i l e S y s t e m) 等 。 云计算 中使 用的分布式文件 系统 ， 可进行并发读 写 操作 ， 并且突破 了传统分 布式文件系统在存储容量 和扩展性上 的瓶颈 ， 同时可提供 良好的容错 机制 ， 大 大提高 了存储系统的可靠性_ 1 。对 于上层应用 ， 云 计算采用的分布式文件系统提供统一应 用接 口， 可 屏蔽底层系统的异构特性 ， 能使 上层应用透 明地访 问文件系统 。 ( 2 ) 数据库系统 传统的关系型数据库 ， 存在高并发读写速度慢、 支撑容量有 限、 扩展 困难 、 建设运维成本 高等缺 点。 为弥补这些不足 ， 同时满 足云计算环境下海量 数据 存储 、 处理的需求 ， 一些新 型数据库应运而生 。这些 新型 数 据 库 大 体 分 为 两 类 ， 即 “ N o S Q L( N o t o n l y S Q L ) ” 数据库和“ N e w S Q L ” 数据库。 根据文献 1 5 ， N o S Q L泛指非关系型数据库 ， 且 其保证遵循 C A P理论和 B A S E原则 ， 但不 保证遵循 A C I D原则 。N o S Q L数 据库主要采用键 值对数 据模 型 ， 可弱化数据之间的关联性 ， 便于对数据 的分布式 存储 、 管理和并行处理。典型 的 N o S Q L数据 库主要 有 ：B i g T a b l e ，HB a s e ，C a s s a n d r a ，Mo n g o D B，R e d i s 一 3 一 学兔兔 w w w .x u e t u t u .c o m 学兔兔 w w w .x u e t u t u .c o m 学兔兔 w w w .x u e t u t u .c o m 第 5 3卷第 1期 2 0 1 6年1月 l 0日 电测与仪表 El e c t r i c a l M e a s ur e m e nt& I n s t r u m e n t at i o n V0 1 5 3 No 1 J a n 1 0， 2 0 1 6 来的数据 ) 等。而批处理任务主要执行数据挖掘、 历 史数据分析计算等。通过增减计算 资源数量 ， 可 动 态调整系统的处理能力 ， 从而满足 系统扩展需求 ， 同 时实现资源高效利用。 3 4 基于云计算的资源管理调度 从图2可看出， 云计算可提供两个层面的资源管 理和调度功能。第一个层面是粗粒度的硬件资源整 合与管理。在此层面上， 只能以虚拟机为单位， 进行 粗粒度的资源管理和调度 ， 可用作 电力用采 系统硬 件资源的管理。 当集群内出现多个计算框架 ， 例如 H a d o o p批处 理系统与 S t o r m流处理系统共存时 ， 如何实现不 同计 算框架之间资源的隔离 、 调度和管理 ， 就是云计算提 供的第二个层面上的细粒度资源调度、 管理的工作。 通过 Me s o s 或 Y a r n之类的资源管理系统， 可快速、 动 态地调整不同计算框架所使用的资源。需要注意的 是 ， M e s o s 和 Y a rn 等资源管理系统 ， 在资源调度的速 度和粒度上要 明显优于虚拟化技术 ， 但需要提供相 应计算框架的支持。同时 ， 现阶段 ， 这些系统可管理 的资源类型有限 ， 一般仅 支持对 C P U和 内存 的管理 和调度。 从前述分析可看 出， 云计算技术为 电力用采 系 统在海量数据存储 、 分析 、 计算 以及资源调度和管理 等方面可提供众多技术手段。可以预见， 未来 的电 力用采系统， 必将建立在云计算的平台和架构之上。 4 云计算应用于电力用采系统的挑战 虽然云计算及其相关的技术可为当前 电力用采 系统存在 问题 的解决带来可行方案和技术支撑 ， 但 在实际应用 中， 仍存在一些 困难和挑战。 首先 ， 是数据模 型上存在 差异。当前 的电力用 采系统仍广泛使用关 系型数据库 ， 其数据模 型一般 采用数据表模型 。如何 建立 键值 对数据模型 ， 以及 如何在表模型与键值对模型之 间进行转换 ， 是采 用 云计算构建 电力用采系统所需要慎重考虑的问题 。 其次 ， 是如何应对 复杂的业务需 求。N o S Q L分 布式数据库难 以完成复杂的数据库事务且实时性较 低 ， 因此 ， 需要考虑引进其他辅助手段以增强数据库 的事务功能 ， 如前文 中提到的， 将 N o S Q L数据库与关 系数据库相结合， 以提升实时性要求较高业务的处 理速度。 另外 ， 采用并行处理技术进行计算 、 分析 时， 要 求数据之间的关联性要尽可能低。如何解耦数据之 间的相关性、 设计合适 的并行分析算法 ， 也是应用云 6 计算技术的难点之一。还有 ， 诸 如不同系统之 间的 接 口， 以及新系统与旧系统之间的过渡等 ， 也都是实 际在将云计算技术用 于完 善、 发展 电力用采系统 中 要注意解决好 的问题。 5 结束语 从对云计算及其 相关技术 的分析 可看 出， 云计 算技术可作为解决电力用电信息采集系统中海量数 据存储 、 管理 、 分析 、 计算 的有效手段。 云计算技术 能从分 布式存储 系统 、 分布式数据 库系统 、 并行分布式计算、 资源 管理和调度等方 面， 支撑大数据环境下电力用采系统 的能力提升。这些 技术的采用 ， 可消除现有 电力用采 系统面对数 据采 集量不断增 大等引发的瓶颈 问题和 困难 ， 切 实提 升 电力用采系统的整体技术 性能 ， 同时为其提供更 多 的增值服务。 文中所提出的构想和技术 方案 ， 对 云计 算技术 在 电力用采 系统 中应用、 提高 电力用采 系统对多种 新需求的适应性等有指导借鉴意义 ， 同时， 也对云计 算及其相关技术在供用 电管理乃至整个 电力行业 的 应用可能起到促进和启发作用。 参 考 文 献 1 陈盛 ，吕敏电力用户用 电信息采集系统及其 应用 J 供 用电 ， 2 0 1 1 ， 2 8 ( 4) ： 4 5 - 4 9 Ch e n S h e n g ，L u Mi nP o we r u s a g e i n f o r ma t i o n a c q u i s i t i o n s y s t e m a n d i t s a p p l i c a t i o n J D i s t ri b u t i o nU t i l i z a t i o n ， 2 0 1 1 ， 2 8 ( 4 ) ： 4 5 - 4 9 2 康丽雁， 张冶， 蔡颖凯 电力用户用电信息采集系统在智能电网 中的应用 J 东北电力技术， 2 0 1 3 ， ( 7 ) ： 5 0 5 2 Ka n g L i y a n，Z h a n g Ye ，C a i Yi n g k a i Ap p l i c a t i o n a n d d e v e l o p me n t o f p o w e r u s e r e l e c t ri c e n e r g y d a t a a c q u i s i t i o n s y s t e m t o s m a rt d J N o r t h e a s t E l e c t ri c P o w e r T e c h n o l o g y ， 2 0 1 3 ，( 7) ： 5 0 - 5 2 3 洪建光 ， 吴凯峰 ，裴旭斌 ，等基 于云计算 的用 电信息 采集系统 性能提 升 关 键 技 术研 究及 应 用 J 电力 信 息 与 通信 技 术 ， 2 0 1 4 ，1 2 ( 3 ) ：1 - 4 Ho n g J i a n g u a n g，Wu Ka if e n g，P e i Xu b i n，e t a 1 Re s e a r c h a n d a p p l i c a t i o n o f c l o u d c o mp u t i n g b a s e d k e y t e c h n o l o g i e s of p e rfo r ma n c e i mp r o v e me n t i n e l e c t ri c i t y c o n s u mp t i o n i n f o rm a t i o n c o l l e c t i o n s y s t e m J E l e c t ri c P o w e r I C T， 2 0 1 4 ，1 2 ( 3 ) ：1 -4 4 Y J a d e j a ，K Mo d i C l o u d c o m p u t i n g c o n c e p t s ，a rch i t e c t u r e a n d c h a l l e n g e s C C o m p u t i n g ，E l e c t r o n ic s a n d E l e c t ri c a l T e c h n o l o g i e s ( I C C E E T ) ， 2 0 1 2 I n t e r n a t i o n a l C o nfe r e n c e o n ， 2 0 1 2： 8 7 7 8 8 0 5 曹军威 ， 万宇鑫 ，涂国煜 ，等智 能 电网信 息系统体 系结构研究 J 计算机学报 ， 2 0 1 3 ， 3 6 ( 1 ) ： 1 4 3 1 6 7 C a o J u n we i ，Wa n Yu x i n，T u G u o y u，e t a 1 I nfo r ma t i o n s y s t e m a f _ c h i t e c t u r e f o r s ma r t g r i d s J C h i n e s e J o u rnal o f C o m p u t e r s ， 2 0 1 3， 3 6 ( 1 ) ：1 4 3 1 6 7 6 C h e n Mi n g ，B a i X i a o q i n g ，Z h u Y u n ，e t a 1 R e s e a r c h o n p o w e r d i s p a t c h i n g a u t o ma t i o n s y s t e m b a s e d o n c l o u d c o mp u t i n g C 2 0 1 2 学兔兔 w w w .x u e t u t u .c o m 学兔兔 w w w .x u e t u t u .c o m