大数据运营管理中心.doc

(完整word)大数据运营管理中心大数据运营管理中心一、 大数据运营管理中心建设背景工业革命以后,以文字为载体的信息量大约每十年翻一番；1970年以后，信息量大约每三年就翻一番；如今，全球信息总量每两年就可以翻一番。2011年全球被创建和被复制的数据总量为1。8ZB（1ZB=1021Byte)其中75%来自于个人。互联网数据中心（IDC）认为，到下一个十年(2020年）,全球所有IT部门拥有服务器的总量将会比现在多出10倍，所管理的数据将会比现在多出50倍.根据麦肯锡全球研究院（MGI)预测，到2020年，全球数据使用量预计将暴增44倍,达到35ZB。十八大提出坚持走中国特色新型工业化、信息化、城镇化、农业现代化“四化”同步道路，同时指出新型城镇化的四种表现形式是：绿色生态、现代智慧、宜业宜居及民俗特色.在新型城市化过程中，政府正积极推动技术创新为城市管理提供新思路，以现代信息化为基础的智慧政府建设是国家治理能力现代化不可或缺的重要元素。智慧城市作为城镇化、信息化交汇融合的概念，为加快城市现代化进程和发展转型提供了实践模式.大数据已成为与自然资源、人力资源一样重要的战略资源，隐含巨大的价值,已引起科技界和和企业界的高度重视.如果我们能够有效地组织和使用大数据，人们将得到更多的机会发挥科学技术对社会发展的巨大推动作用，孕育着前所未有的机遇。二、 大数据运营管理中心的内涵大数据运营管理中心是指需要通过快速获取、处理、分析以从中提取有价值的海量、多样化的交易数据、交互数据与传感数据,通过现代信息技术、物联网、云计算、互联网、等技术，将无法通过人工在合理时间内完成的信息采集、处理、管理海量数据，并将其整理成为人类所能解读的信息，找到物与物、人与物、人与人之间的数据关联，发现它们背后的规律，这些数据通过集成共享，交叉复用，形成一种智力资源和知识服务能力，为管理者提供准确、可靠的决策依据，最终来提升城市公共服务能力和管理决策水平。三、 大数据运营管理中心发展现状目前城市中信息孤岛、网断联难现象仍存在。大数据运营管理中心实际上是物联网的具体应用，其障碍主要有三方面：其一，部门分割、条块分割的小数据中心建设，形成了众多的“信息孤岛”。其二,标准建设相对滞后，标准不统一，业务操作系统软件难以模块化开发。比如人车路等基本的数据单元,在不同的领域、不同的管理部门各搞一套，基础数据单元标准不一。其三,业务传感与应用装备建设，各部门各搞各的，甚至一个部门内部也各搞各的,造成“有网无联”。比如，治安一套监控系统、城管的一套监控系统、交警的一套监控系统。在中国数据中心行业结构方面，电信、金融行业数据中心的建设较早，投入较大,应用相对成熟，目前这两大行业数据中心建设投入占据了50以上的份额。2008年，在金融、电信、政府、企业等行业数据集中化管理的带动下，中国数据中心建设进一步加快，数据中心建设进入一个快速发展阶段。随着信息技术的发展，近年来，无论是芯片、架构、系统还是软件都取得了很大进步,刀片系统、多核技术、虚拟化应用、冷却技术、智能管理软件等新技术层出不穷,对传统数据中心应用和管理带来极大地冲击;另一方面企业业务模式也发生了极大变革，急需建设新一代数据中心来适应这一变化。四、 大数据运营管理中心未来趋势数据集中已经成为国内电子政务、企业信息化建设的主流趋势。数据集中是管理集约化的必然要求。大数据运营管理中心建设已成为数据集中趋势下的必然产物。绿色是大数据运营管理中心建设的灵魂，围绕节能减排和优化环境进行谋划建设，以可持续发展为出发点和归宿点，借以提高城市的宜居度。通过减少资源消耗,开发新能源和实现资源的循环使用,推动城市经济增长。 大数据运营管理中心承载着大量的机密数据，同时为内部、外部提供业务交互和数据交换。所以说作为业务应用核心和敏感数据的汇集点，数据中心永远是攻击者最感兴趣的目标，大数据中心安全、可靠、可持续的服务是大数据运营管理中心首要任务。充分实现高效的运营方式，优化资产，提升包括硬件、软件、其他支持设备和员工与流程在内整体数据中心运营效率。数据中心基础架构需要具有自适应能力，以便提高经济高效性，同时降低前期购置和后期运营成本。能够满足当前业务发展的需求，同时具备足够的灵活性响应未来未知的业务需求、技术和计算模型;可以提供端到端的数据服务，全面支持业务发展的需求，推动业务的高速发展，以云计算及虚拟化管理技术,满足城市信息化应用支撑平台的需求，实现所有硬件设备资源、应用系统的统一管理和自动分配，屏蔽底层不同服务器、存储设备、网络设备的差异，实现对存储资源、网络资源的异构支持.可以实现主动式监测和管理能力，提供针对数据中心运营的深刻洞察,以满足对数据中心可用性、容量及能源效率需求。用户需要使用更多的系统管理工具将自动化和智能融入到日常运营中，以便积极监控和管理环境，专注于满足业务增长提出的可用性、容量规划和能源效率需求.五、 大数据运营管理中心总体架构1. 感知层 大数据运营管理中心的感知范围重点围绕交通、能源、物流、工农业、金融、智能建筑、医疗、环保、市政管理、城市安全等重点行业的应用和难点,分别采用移动终端、RFID、智能卡、GPS定位等不同技术进行基础数据采集。2. 网络层 随着各种通信技术逐步走向融合，如电信网、数字宽带、有线电视网、无线网络等走向融合，传输层形成天地一体化的基础网络、服务化的信息系统、聚合化的运营平台和多样化的业务应用。3. 信息资源层 信息资源层由基础数据、服务数据、业务数据三部分组成。在统一信息资源模型体系、统一信息编码体系和数据仓库的基础上,通过信息系统数据库和文件库为日常的业务管理与查询提供支撑，数据仓库体系为决策支持应用提供支撑，信息资源访问渠道为各种信息资源应该提供访问接口.4. 应用服务层 应用服务层紧扣城市的产业发展体系、智慧的环境和资源体系、智慧的城市运行体系、智能的城市交通体系、智能的民生保障体系以及智慧的幸福生活体系.5. 交互层 与用户交流沟通平台，如门户网站、APP应用、移动设备、办事大厅等.6. 用户层大数据运营中心服务人群,企业、政府、公众均是大数据收益者.六、 大数据运营管理中心技术架构技术架构采用“一网、一库、三平台、多应用系统”的模式建设，一网是指电信网、广播电视网、互联网三网融合形成的“一张网”，一库是指城市基础信息数据库，三平台是指公共信息资源共享交换平台、城市视频监控资源共享服务平台、城市网格信息可视化平台，多应用系统是指面向政府、企业、公众提供的各类智慧城市应用服务,城市运营状态监控系统、城市综合应急指挥系统、城市发展决策分析支持系统、跨部门协同办公系统，同时与技术支撑体系还需要政策保障体系和信息安全保障体系相配套.七、 大数据运营管理中心数据架构数据架构采用二级层次模式.第一层是公共数据,包含整个体系的核心基础数据集、公共代码数据，以及为决策支持而装载到数据仓库中的数据。公共数据遵循统一的数据标准，提供给所有信息系统共享。第二层是应用数据，这些数据由信息系统产生，或者与信息系统关联紧密。应用数据的结构设计遵循统一的规范，与公共数据有关的数据需要严格遵循统一的数据标准。公共数据与应用数据之间，或者是应用数据与应用数据之间,通过数据交换的模式互通有无。此外，公共数据还通过数据服务平台，为其他系统或用户提供数据的查询检索等服务。八、 大数据运营管理中心管理体系以城市基础信息数据建设和信息交换、共享、可视为核心，形成统一的居民、法人、地理、建筑等数据库,实现各垂直部门系统之间的互联互通和数据动态共享；通过对社会治安、交通车辆、水/燃气/能源等市政设施、环境污染等的监控，实时把握城市运营状态，及时发现重大事件，并通过协同多部门协同应对突发事件；通过建立针对市民服务的统一信息门户，实现对各类市民投诉集中地处理与督办和实现跨部门协同。通过城市运营状态和城市服务绩效的可视化实现城市管理的可视化，通过大数据挖掘实现对城市未来趋势的分析和预测，提高科学决策水平。九、 大数据运营管理中心业务架构1. 城市基础信息数据库采用云计算及虚拟化管理技术，满足城市信息化应用支撑平台的需求,实现所有硬件设备资源、应用系统的统一管理和自动分配，屏蔽底层不同服务器、存储设备、网络设备的差异,实现对存储资源、网络资源的异构支持.建立涵盖城市空间地理、人口信息、企业信息、诚信、车辆、房屋、公共基础设施、自然资源和宏观经济数据的城市公共信息基础数据库；协调组织部门定期完成数据的普查与更新;制定公共信息查询和服务标准，探索市场化信息维护、开发和利用机制。（1) 数据分类原则u 数据来源,主要可以分成政府统计部门数据和政府其他各部门数据；u 数据层次,分成原貌数据层和整合数据层;原貌数据按照数据来源并保持原貌特征存储的数据,整合数据是原貌数据经过整合处理后形成的逻辑统一的数据；u 数据粒度，分为宏观和中观两个层面数据.宏观层指标为反映地区社会经济发展整体运行状况的主要社会经济总量指标及其结构、速度、效益指标数据；中观层指标为按照产业、行业、区域等特征进行分组的汇总数据和分类数据；u 业务指标体系划分，主要包括经济运行、城市建设、人口就业、社会发展、环境资源;经济运行又可以分成总量、财政、税收、投资、工业生产、房地产开发等等；u 区域特征,按照行政区划和区域功能划分数据。（2) 数据分布根据数据业务分布与数据系统分布确定数据库分布方式（3) 数据管理建立标准数据模型与数据标准管理,数据分布管理，数据质量管理，数据安全管理，数据生命周期、存储维护管理2. 公共信息资源共享交换平台（1) 建立统一的信息标准和交换机制建立和完善全市统一的政务信息资源共享标准规范体系和查询、交换及访问授权等共享交换机制,为信息资源共享交换平台的实现奠定底层基础。（2) 建立信息资源开发使用补偿机制，推动业务部门数据开放政府制定政策逐步开放公安、工商、税务、国土、水利、安检、交通、环保等业务部门的数据信息,建设社会征信、人口管理、城市管理、应急指挥等一批跨部门、跨行业、跨区域的共享业务数据库;推动各部门根据业务需要制定本部门的信息资源共享目录，加强部门内部信息资源共享目录更新和市共享交换平台同步；探索信息资产开发与共享市场化运营机制.（3) 建设信息资源交换共享平台依托云计算、大数据中心，升级和完善信息资源交换与共享平台功能,实现基础信息的共享交换、统一管理和及时更新，为各部门提供数据交换、信息安全、导航等服务。推动县级政务共享交换平台的建设,实现与市级平台的有效对接。推动各部门基于平台通过查询、交换和发布等方式实现跨部门、跨区域、跨行业信息资源的共建共享.（4) 平台总体架构从根本上打通政府各机关、各部门之间的壁垒，解决历史遗留的“信息孤岛”问题，实现城市公共信息资源地有效共享，有利于降低政府运行成本、提升办公效率； 围绕财政、工商、税务、卫生、人口、教育、交通、环保、金融等新业务需求，可开发具有各种创新型应用系统。（5) 平台业务架构（6) 平台交换架构支持异构数据源,统一采用标准数据格式，方便进行数据转换、交换等处理。解析各种应用协议，通过图形化配置动态实现应用集成（7) 平台共享流程架构通过流程管理实现流程的动态变化3. 城市视频监控资源共享服务平台（1) 建设共享服务平台，接入各社会视频资源通过建设统一视频监控接入骨干网络和定义统一视频接入标准，建立统一的视频服务共享平台，将各委办局已有的零散视频监控资源进行整合接入平台统一管理，鼓励学校、小区、银行、超市、公交、餐饮、景区等单位加大视频监控设备改造力度,推动社会单位视频资源接入共享平台.（2) 建立集约化智能化的视频监控资源管理机制建立视频设备的运行及维护机制,实时监控前端设备的运行状态，确保接入视频资源质量。通过对视频图像进行智能分析，实现海量视频数据的快速智能检索，为公安部门侦办案件提供支持。（3) 建立视频资源分享机制，确保各部门视频资源的有效共享探索建立视频资源分享与补偿机制，推动公安、交通、城管等大型视频监控资源的开放和通过平台进行共享,从而实现对各种视频监控资源的有效利用.（4) 平台总体架构根据行政区划或者摄像机的数量,若干个委办局级的监控点汇聚到一个分区的监控中心，在区级中心往上开始部署相应规模的监控平台.市级监控中心管理本市下属所有区级中心，区级中心管理辖区委办局级监控平台。整体呈现一个树形的分级划管理。（5) 平台视频流调度架构分层管理架构和管理权限,有层次地开展监控指挥工作，可以按行政区域部署,从市、县,向下无限延伸，体现出分级多域结构很好的扩展性；实现第三方独立的域的互信无缝接入，即在两个域的中心服务器和数据库中设置好对方域的基本信息,做到彼此数据同步，信息互通。（6) 平台存储架构采用云存储技术，支持海量视频数据存储。可靠的冗余技术保证数据记录的可靠性。根据监控系统规模和所需要保存的视频数据记录的时长,配置存储容量，并通过热插拔技术支持动态扩展，理论上支持无限长时间的视频备份。4. 城市网格信息可视化平台依托GIS地图数据,按照网络划分定期对城市进行三维实景数据采集,并对关键地区和重要公共设施进行三维空间建模,结合城市基础信息数据库数据生成各种属性信息；建立可视化服务平台，为各种应用提供二次开发接口和提供数据查询服务，便于各部门业务系统调用。（1) 建立标准网格化GSI地图（2) 三维空间建模5. 城市运行状态监控系统（1) 建立和完善各职能部门的业务监控管理系统公安、交通、电力、燃气、自来水、通讯等较早应用计算机信息技术的部门已经建立了一定规模的业务监控管理系统,但仍需进一步完善和提高,其它信息化水平较低的部门应逐步建设一套自身的健全的监控管理系统.（2) 建立统一运营监控平台定义针对安全、能源、交通、市政设施、国土资源和生态环境等城市基础管理中的关键运营指标，设计大数据分析挖掘模型；建立统一监控平台系统，依托公共数据交换平台与各相关职能单位的监控管理系统相连，实时收集各关键部门的监控数据，动态分析各部门的运营趋势和关联分析跨系统部门存在的问题。6. 城市综合应急指挥系统（1) 建立针对社会事件和自然灾害的监控网络依托城市视频监控资源共享服务平台和结合公安、交通等部门监控资源，实现在覆盖全市监控网络，划定重点监控对象，实现多层次立位体化的监控。（2) 建立统一的城市综合应急指挥系统建立统一指挥平台，整合110、122、119、120应急平台，实现与公安、消防、卫生、交通、防灾、安全生产、人防等各垂直部门应急指挥系统之间的信息共享和联动指挥，建立统一的信息发布平台,设置统一的应急预案。7. 城市发展决策分析支持系统基于工商、税务、财政、人口、教育、医疗、交通、环保等领域已建设系统，整合经济发展、城市运行、社会管理等各领域数据,以商业智能、地理信息、数据挖掘等技术手段为依托，建设涵盖城市管理、经济活动、社会活动、环境资源、征信管理等方面的综合性体系和科学有效的分析、预测模型、建设智慧决策支持工程，准确、全面的掌握城市发展信息,为各级城市管理者提供科学决策支持。8. 城市运营管理智能协同系统结合及时通讯、移动互联网、工作流协同等现代技术手段，解决目前各部门OA系统以垂直单向传输和文件签批为主的缺陷,加强各部门之间的横向沟通，实现各部门之间沟通的多媒体化和自动化。通过建设跨部门协同系统，可以减少信息传递层,提高跨部门沟通的效果，有利于提升各部门办事效率。建设基于及时通讯、多媒体视频和工作流协同的一体化在线实时沟通交流平台；开发基于PC、智能手机、平板电脑的移动办公终端；通过公共信息资源共享交换平台，实现与现有OA系统的整合。十、 大数据运营管理中心 安全体系统保障安全保障体系通过在物理、网络、系统、数据、应用、终端等多层次建立安全防范措施，构建可控、可信、可查的安全环境,建立一套行之有效的信息安全管理制度和流程规范，实现严密、多渠道的安全控制，确保系统安全可靠，提高用户对信息系统的信赖度.总体结构覆盖了等级保护三级基本要求中对网络安全、主机安全、应用安全、数据安全和管理安全的防护要求，以满足信息系统全方位的安全保护需求.同时,由于信息安全的动态性，还需要建立安全风险评估机制，在安全风险评估的基础上，调整和完善安全策略,改进安全措施，以适应新的安全需求，满足信息系统安全等级保护的要求，保证长期、稳定、可靠运行。十一、 大数据运营管理中心标准体系大数据运营中心标准化体系包括总体标准、感知层标准、网络传输层标准、信息资源层标准、应用服务层标准、安全标准、管理标准。1. 基础类标准基础类标准包括通用规范、技术术语、物联网系统通用图形符号、产品分类和代码等，此部分的标准是对城市社会公共安全物联网中的基础性内容进行要求、约束和规范，在城市社会公共安全物联网应用范围内可以直接应用，也可以作为其他标准的依据和基础，是该领域中所有标准的共同基础，具有普遍的指导意义。2. 技术服务类标准技术服务类标准包括通信与信息交互标准、网络管理标准、产品技术标准、服务支持标准等。其中，信息交互标准是通过对物理、数据、通信等接口和数据交换格式进行标准规范，实现社会公共安全物联网中的海量、多类别、不同源的数据能够进行交互和汇聚的系列标准，网络管理标准主要服务于物联网基础平台、保障社会公共安全物联网运行维护以及管理而制定的,是指导社会公共安全物联网运行、维护、管理及更新的技术规范.产品技术类标准与物联网分层架构相对应,按照感知层、网络层、应用层进行产品技术类标准划分，针对社会公共安全领域每一层物联网架构中涉及的物联网技术产品进行约束和规范,使得物联网中技术产品能够满足统一的要求，为物联网应用系统中数据采集、交互、处理、显示等统一规范提供保证. 服务支持系列标准是为整个公安物联网基础平台提供保障支持买,通过对支持服务的规范，提供更有效的数据检索、管理、处理和挖掘，服务支持标准包括:数据描述、数据存储、目录服务、中间件接口。3. 应用类标准应用类标准主要是针对各类具体的社会公共安全物联网应用而制定的标准。制定此类标准要在继承和发展已有公安业务系统标准的基础上,根据物联网应用的具体实际,从数据、业务等方面抽象归纳出一些与业务警种相关联的物联网应用模式，如车辆轨迹感知应用、特定危险品防控智能感知应用等，并对这些应用模式进行约束和规范。4. 工程类标准工程类标准即对物联网应用示范工程的建设进行规范和要求，包括工程系统要求(类似总则）、工程技术规范、各类物联网应用系统工程设计规范、工程程序与要求、工程验收规范等，对物联网应用示范工程的建构、实施、运行过程的管理提供指导。5. 测评类标准测评类标准主要为对物联网应用示范工程整个生命周期中的测评服务提供依据，保证物联网应用的有效性和安全性，包括城市社会公共安全物联网应用中相关各类产品及设备检测呗准、系统测评标准、安全测评标准等，如产品及设备检测实施细则、物联网应用系统工程评价导则、应用系统测试评价要求、应用系统安全评估准则等。十二、 结速语大数据术语广泛地出现也使得人们渐渐明白了它的重要性。大数据渐渐向人们展现了它为学术、工业和政府带来的巨大机遇.与此同时，大数据也向参与的各方提出了巨大的挑战-第28页