电子政务领域的大数据解决思路.pdf

电子政务领域的大数据解决思路 Contents PageContents Page4 信息资源共享难问题分析解决思路行业实践 总结据标准5 电子政务建设的问题问题分析解决思路行业实践 总结2条块分割 纵强横弱缺少总体 Q顶层规划 oIT资源利L 用率低标准不一、重复建设、粗放 式建设 各自为政、信息共享难、业务协 同更难4项目建设 运维成本 高基础设施利用率低、数据价值没 有发挥电子政务投资成本高、缺乏专业运维团队、运维成本高、时间成本高（部 署、开发）。6 电子政务的大数据建设目标 问题分析 解决思路 行业实践 总结(1)构建政务大数据处理的交换、整合、共享、分析与服务的软件平台(2)建立覆盖政务数据定义、存储、管理、共享、分析与服务的标准体系(3)不断整合各类基础设施资源、数据资源，支撑大数据业务的持续发展Contents Page8 分布式数据中心架构问题分析解决思路行业实践 总结政府公共数据中心教育 卫生 交通9 逻辑库与物理库问题分析解决思路行业实践 总结分布式查询引擎资源检索建-A,A资源定位luumuiiiuiii t内存!_闪存 硬盘分级缓存本地资源调度缓冲库本地物理库远程资源调度公安远程物理库基础库教育 分布式资源索引1资源调度10 大数据生命周期问题分析解决思路行业实践 总结以数据流为主线，实现从数据采集、数据管理.数据服务到数据应用4个阶段的全过程管理数据库数据文件=0=数据接口非结构化 数据 异构温信源Ji一数据采集转换规整汇集标准化质量控制分类 存储结构化数据库 一资源目录分布式文件库-_数据管理元数据库f数据仓库信息共享,j 器分析服务数据展现决策支持报表服务查询服务i 岩一数据服务数据应南户11 相欠技术问题分析解决思路行业实践 总结fa)/K数据可视化程度低 数据深入分析不够 数据安全性问题 数据质量问题 数据标准不一致 数据涉密不能落地问题 数据一致性问题 数据分散不规范问题 非结构化数据存储 结构化大数据存储12三张皮变一张皮问题分析解决思路行业实践 总结业务 应用1业务 应用2业务 应用N资源 共享 应用1资源 共享 应用2资源 共享 应询N数据 分析 应用1数据 分析 应用2数据 分析 应用N大数据平台数据整合共享库业务库OLTP二类新据盗源共享数据数据建模主题库OLAP13 政务大数据应用架构问题分析解决思路行业实践 总结发改委 财政 建委应用 平台资源共享、业务协同、决策分析、信息门户、安全防护体系1应用1 L55!领导驾驶舱/KPI.仪表盘，工作流引擎/ESBX_/即席查询_-_)业务报告 X_Z图表展现K_/SOAOffice集成1 1监测警报1数据 中心社管卫生环保交通教育数据集市 主题域数据库 ODS建交委公安局规划局卫生局教育局采集、整合、服务、监管标准规范体系14 达梦大数据平台问题分析解决思路行业实践 总结实现数据采集、交换、整合、管理及共享等全生命周期管理，能实现数据的集中及分布式 存储，为政府大数据项目提供基础支撑和保障商业智能平台BI数据服务平台数据门户数据“一张图”分析与服务层联机分析处理 OLAP数据仓库建模工具数据挖掘平台资源管理层资源目录系统 1数据整合攵据资源管理）元数据管理故据质量管理 数据监控数据交换平台ETL实时同步工具 DMHS分布式请求服务引擎数据交换层异构分布式查询数据存储关系数据库DM7（MPP读写分离列存储RAC）非结构化数据库 MGBase16 达梦大数据平台数据存储类（MGBase）问题分析解决思路行业实践 总结应用程序批量装我T.具 监控管理工具 面向列的分布式 NoSQL型数据库 构建于分布式文件系 统之上 适用于半结构化和非 结构化海量数据存储Master主控服务器集群MasterMasteron数据 数据 服务器I服务器 II I数据块 缓存发分区 实例发分区 实例列实例列实例列实例数据服务器数据文件数据文件数据文件数据文件数据文件数据文件分布式文件系统17 达梦大数据平台异构分布式查询问题分析解决思路行业实践 总结内存综合查询系统资源目录系统分布式查询处理采用一致接口访问本 地、远程数据源支持多级代理，适应 复杂网络部署支持关系数据库、数 据文件、数据接口、NoSql数据库闪存Isl硬盘本地分级缓存TXT、EXCEL XML 和 WebService 等其 他数据源缓存管理数据访问代理安 全 管 理管 理中心节点数据访问代理业务节点各类数据源关系型数据库非关系型数据库业务节点前置节点数据访问代理】，分数据中心节点数据访问代理各类数据源合口各类数据源数据访问代理各类数据源业务节点前置节点数据访问代理数据访问代理各类数据源电3各类数据源18 达梦大数据平台数据交换类（DMETL）问题分析解决思路行业实践 总结解决不同单位.不同系统之间的数据采集、数据交换等要求。支持异构数据源采集/Oracle/Sql Server/DM dbms/DB2/MySql/Sybase/Excel文件,其它文件发改委 建委 财政局 规划局 审计局支持多级单位间的数 据交换19 达梦大数据平台数据交换类(DMHS)问题分析解决思路行业实践 总结达梦数据同步软件(DMHS)是支持异构环境的高性能、高可靠、高可扩展数据库实时同 步复制系统。对源系统的资源消耗低，数据同步速度快，支持故障恢复后断点续传。DMHS 数据捕捉进程L DMHS、DMHS管理进程，DMHS I 等理龙”20达梦大数据平台数据交换类（请求服务引擎）问题分析解决思路行业实践 总结分布式请求服务引擎解决数据不能落地的远程数据访问问题。内网外网分布式请求服务引擎 穿透内外网 请求转发 远程服务代理 中心/分中心一体 化服务请求响应列表请求响应协调器请求响应服务器任务池比新 请求请求监听列表交换1/查询 请求请求数据查询器请求转发器内网请求服 数据交换平台 务数据库21达梦大数据平台数据管理类（元数据管理）问题分析解决思路行业实践 总结统一数据标准，全过程元数据记录,数据转换 工具 数据标准 元数据仓库 自动获取 关系维护 版本管理 导入/导出 元数据应用她一号一业务分析数据仓库 业务主题数据来源数据仓库 设计01业务视图0110,0001(01101元数据22达梦大数据平台数据管理类（数据整合）问题分析解决思路行业实践总结X 利用ETL工具异构数据源支持i：.EL如l图形化设计器J，传.北h汪作/B4告方宝碰停Q林军加2_L丰富的清洗转换组件基于插件模式扩展irrfSW俭-3 Ts 日*九，：4f；,夏本文传，CAA.MM.M MbCT 二T,THS1WMBAitam实现数据的清洗、转换、规整.治理、标准化等 x里Q 3同DSBA14A地下水水质分析取样表地下水调查监睚来自QUA SAMPLE卜械遗迹保护名录袤 地质谖迹类别表 日日志表 网监则区域裹o a a xQ DSBA15A监则仪器种类裹地下水调查翻室来自 GWS_DIVERT 同剋监剜点信息表 V共99条记录 由页15 条1 17基于元数据，通过快速配置实现对数据的基本管理、访问权限 控制与发布等功能24 达梦大数据平台数据管理类(资源目录)问题分析解决思路行业实践 总结收集整理所有相关系统,相关数据.相关服务等资源信息 方便用户寻找有用的信息资源目录检索系统却首页后台管理注销费源 目录内部资源 E检索分类：内部资源外部资源服务接口 内部奥源：网监总队(0)机动车辆信息管理系统(1)经侦信息管理系统(0)在逃人员信息系统(0)特情管理系统(0)网监基础数据库系统(1)监管总队(0)禁毒总队(0)网吧系统(1)刑侦总队(0)刑侦指纹应用系统(0)类案信息管理系统(0)机动车驾驶证信息管理系统(1)网络案件信息系统(0)违法犯罪人员信息系统(0)禁毒信息管理系统(0)治安总队(0)未知名尸体信息系统(0)刑侦指纹通信系统(0)刑侦研判平台(0)道路交通违法信息管理系统(0)全省人口信息管理系统(1)看守所在押人员信息系统(0)刑侦综合应用系统(0)旅馆业系统(4)失踪人员信息系统(0)反邪教信息管理系统(0)被窃祓抢机动车辆信息系统(0)道路交通事故管理系统(0)剧毒化学品系统(0)信息中心(0)交警总队(0)经侦总队(0)刑侦现场勘蛤系统(0)刑侦DNA系统(0)剧毒化学品运输管理系统(0)民爆信息管理系统(0)警综平台案件系统(0)资源名称:奥源摘要:|筛法570 items selected：a a!0超市销售分析信息包，超市犍分祈领超市精酚的麒型上时间囿年|国季度 囿月|囿日匕产品口产品称 回商标 总重量包装重量 目产蹒号 回是砂装客户客户姓名回地址电活号日囿生日回年收入 回性别；Palette 间品户店销 时产客商促 z u u u UI匕商店二商店名称 r商店地址囿城市 囿州 回国家 司主管?促销促销名称成三开始日期 口结束日期1.用于数据仓库建模2.辅助数据仓库实施人员完成从数据仓库概念设计到最终物理实现全程24M of 401。28达梦大数据平台OLAP分析问题分析解决思路行业实践 总结向交叉浮动电力营销-上月省电量分地市对比140,000120,000100,00080,00060,00040.00020,000 0上月全社会用电量分地市对比格位：万千瓦时东湖开发区光谷就大 湖工 华工一地大医学祝华农武当山码头全社会用电最空 然 国1.支持ROLAP、MOLAP、HOLAP2.支持星型模型、雪花模型3.标准化MDX语言4.二次开发：a支持OLAP访问接口a支持XM LA协议形化查询工具!?|it;攻泞/全凯 一 三”一一 一二二 h三瑞梅:D X4占c i口静换，昭普息联，心住价比5圉膜怩解F盼折Q恤都13 st匕般463(634/5)_ 9C =。口 NaiveBayes 一的曲匚|TextNoteC。J|TextNoteFjSC控“怡月献丽稣2014-11-14 14:50:43也仃成：奴附朽怏：怜影图，科川飞2至朽20H-11-14 14:50:43执行完成：【心脏病诊枷，耗舟925青竹洲“日，丹，。口处_当前站点:Iocalhostl234授发用户:开发用户登录用户:adminD颁 小崛 用网！eC45 t：KNN*NaiveBayes:：:WM颁 玄 SVM8 B 日.踵硕器Dfej:二 EM或敷醺 HJ Cobweb:妥 Apriori FPGrowth 2GW 1 PCA g 巨比i 5毒跑喇晔 强雌登录盯散“5:38数据源类型丰富A文件院关系数据“URL多种挖掘分析算法 Apriori BFTree FarthestFirstA多种搀掘分析方式A分类与回归分析A聚类分析院管理分析“序列分析“可视化挎掘院应用系统可集成30达梦大数据平台BI工具问题分析解决思路行业实践 总结A提供丰富的展现形式A网络报表”分组报表A多维行列统计”卡片报表院线图A面积图A提供应用集成接口31达梦大数据平台数据门户问题分析解决思路行业实践 总结#消防决策分析门户重要舆情 重要活动司全国火灾情况接警出动情况 部队安全事故（件）情况首页 领导崎画800101000 879 预警20 8 正常9.14 9.15 9.16 9.17 火15 I 0 正常2014年9月19日星期五今天 本周 本月 本季度今日全国火灾起数今日全国火灾构成情况32达梦大数据平台一张图呈现问题分析解决思路行业实践 总结基于地理信息、移动终端等多种方式呈现Contents Page34行业实践公安行业问题分析解决思路行业实践 总结视频监控PGIS容量大通信记录公安的 数据来公安数 据的特1结构多样化不断增长旅店网吧源？/价值密度低物理分散35行业实践公安行业问题分析解决思路行业实践 总结异构OLTP.OLAP一体化，应用层透明切换主机类型节点数CPURAMDM-MPP4Xeon E5-2620 2.00GHZ*4192GOracle RAC2Xeon E5-2680 2.70GHZ*4256G数据量：1.6T(不含大对象)数据库并发连接：200300个对比项警务平台生产库(oracle rac)平均响应时间警务平台分析库(dm mpp)平均响应时间人口统计100秒16秒接处警统计130秒13秒治安盘查统计110秒15秒治安管理统计120秒17秒案件查询统计140秒16秒36行业实践公安行业问题分析解决思路行业实践 总结大数据量性能支撑Xxx公安云计算中心MPP网络架构图OOOOOOOOOEPO EPI EP2 EP3 EP4 EP5 EP6 EP7 热备盘 磁盘阵列区（MPP备机环境）DM MPPXxx省公安厅最大单表：24.1亿行数据存储方式：MPP,哈希分布精确查询时间：1秒37行业实践公安行业问题分析解决思路行业实践 总结融合省厅、市局、外部数据资源，基于分布式查询，为领导、业务部门、外部用户 提供透明的数据即服务。、公安内网服务区网据务台 外数服平外网请求服务引擎）片.二.I基于大数据的动态专题模鼻 _模1念7 口袋、脑袋中的经验，按国.,理 放在云上共享化开发应用.40行业实践公安行业问题分析解决思路行业实践 总结动态权限，方便全警应町侦查权限普通权限高级权限按需申请网上审批自动收回动态权限管理 技术侦查权限高级权限公安云动态 权限变更普通权限41行业实践地质灾害行业问题分析解决思路行业实践 总结地质灾害预警决策与应急指挥应用层分析处理应用预警决策支持与应急指挥系统 地质灾害预测预报系统 防治工程措施分析及评估系统 预测预报分析及评估系统事务处理应用灾害立体地质图建设系统 治理工程设计信息系统 勘察信息系统 三维地质灾害体系统 基于G IS的稳定性评价系统OA管理子系统 系统管理子系统 数据管理平台 数据采集子系统 数据维护子系统服务层分析处理层一操作处理层一源数据层基础环 境层数据质量管理工具数据访问服务查询删除修改插入订阅发布数据获取系统单机版系统采集直接输入GPRS无线传输及短消息传输 通信平台传输视频会议采集数据网络传输数据中心连接网络、服务器、存储设备，操作系统、ArcGIS数据质量管理体系库新核布储权询份复入出 建更审发存授查备恢导导30多个业务系统上千种地质数据，空间数 据、专业属性数据、管 理数据网络整合、技术整合、数据整 合、应用整合、文档整合数据安全管理体系数据存储方案标准与政策O0-O042行业实践政法行业问题分析解决思路行业实践 总结应用服务层 一 数据中心平台服务层-基础设施服务层 标准规范体系SOA共享服务平台数据管理与服务平台|通用技术能力平台型型型型型型政法委法院 检察院 公安 司法 安全统一用户 管理统一授权 服务地理信息 服务基础资源管理平台虚拟化|负载均衡|将可用|资源监控与调境|操作系统|数据.库 应用中间件 _塞西云艮务倦 储 网络 事由&田咱电d 事由&基于全国产化软硬件平台构建横向打通政法委、公安厅、检察院、法院、司法厅、安全厅六个部门专 网，实现案件流转纵向服务于省、市、县、乡四级用 户，提升办公效率43行业实践政府公共数据服务问题分析解决思路行业实践 总结公共信息门户信息资源目录智慧应用运维管理体系安全保障体系数据资源|文档管理管理平台 平台数据分析 平台WEB GIS 3D GIS全文检索数据整合 平台数据质量 平台数据仓库 管理平台元数据 管理平台据中心标准规范体系整合各委办局分散的数据资源,构建全局的资源目录，提供数 据交换服务构建基础信息库：人口、法人、地理信息、宏观经济、为公共服务提供数据支撑SOA服务 平台数据交换平台浦东新区公共数据中心襄阳市数据中心扬州市政务资源目录武汉市资源目录和数据交换44行业实践其他案例问题分析解决思路行业实践 总结序号 项目名称1 湖北省电子政务一期工程项目人口库2 湖北省电子政务一期工程项目宏观经济库3 辽宁省数字消防综合信息平台4 温州市人口信息综合管理系统5 安徽招商数据中心6 公安部消防局决策分析平台7 襄樊市工业数据中心8 江阴市宏观经济库项目9 成都数据中心10 商务部产业安全平台11 XX军区信息整合平台12 XX厅综合信息管理平台Contents Page46 总结问题分析解决思路行业实践 总结特点1：一体化数据采集.整合.管理,服务的软件框架,有效支撑大数据时代的数据处理需求。Web Service数据接口 程序异构数据源清洗转换汇集规整标准化质量控制47 总结问题分析解决思路行业实践 总结特点2:基于自主可控的数据库及相关数据中心产品，实现海量数据的存储和应用，提升数据安全性和访问性能。政府的安全要求 海量数据的性能要求 信息资源的管理要求MM 7检验报告 2*kt n py w军B+级证书安全四级检验报告48 总结问题分析解决思路行业实践 总结特点3:建立了多部门间的数据交换共享机制及自动化支撑 平台。49 总结问题分析解决思路行业实践 总结特点4:建立物理库与逻辑库，实现数据分布式存储，降低 数据存储压力，提高热点数据访问性能。数据监控分布式资源索引50 总结问题分析解决思路行业实践 总结特点5:基于传统BI与GIS结合的数据分析挖掘，基于dashboard与一张图的信息展示。