大数据标准化白皮书.docx

大数据标准化白皮书指导单位：工业和信息化部软件服务业司国家标准化管理委员会工业二部编制单位：中国电子技术标准化研究院二零一年六月本白皮书的发布旨在与业界提供我们在大数据领域的研究成果、实践经验,呼吁社会各界 共同关注大数据的政策研究、技术投入、标准建设与服务应用，共同推动大数据的开展，提升 社会整体决策与服务管理能力。此外，我们还组织了国内相关企业、学校和研究机构的从业人员针对大数据应用、产业、 技术与标准化需求进行了问卷调研。总共调研了 28家高校及科研单位以及46家企业（多数为 规模在100人以上的中大型企业，以IT集成商、软件产品提供商为主，同时也包含了一些传 统行业和电子商务企业，调研单位清单见附件）。回收有效问卷二百余份2。通过对调研数据 的分析，初步形成了对于大数据应用、技术、产业开展以及标准化需求的成果，作为业界共同 研究的基础。1.3指导单位和参与单位本白皮书的编写得到工业和信息化部软件服务业司和国家标准化管理委员会工业二部的 指导，并且也得到了业内有关产、学、研、用等单位和专家的大力支持。北京航空航天大学计 算机学院、北京大学信息化与信息管理研究中心、北大方正国际集团、京东商城、中国电子软 件研究院、华迪技术、华为公司、中国农业科学研究院农业信息研究所、北京师范大 学管理学院、华中科技大学、武汉大学软件工程国家重点实验室、东方通、上海计算机软件中 心、中国石油天然气管道总公司、百度、阿里、腾讯公司、浪潮集团、北京华电祥云、中宇万 通、微软中国、甲骨文公司、金蝶公司、IBM公司等派员参与了本白皮书的编写。2有效问卷数量204例。2 .大数据基本概念、特征与作用大数据的基本概念和内涵针对大数据，目前存在多种不同的理解和定义。按照NIST发布的研究报告的定义，大数据是用来描述在我们网络的、数字的、遍布传感 器的、信息驱动的世界中呈现出的数据泛滥的常用词语。大量数据资源为解决以前不可能解决 的问题带来了可能性。按照Gartner的定义，大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流 程优化能力的海量、高增长率和多样化的信息资产）根据百度百科词条的定义，大数据，或称巨量资料，指的是所涉及的资料量规模巨大到无 法透过目前主流软件工具，在合理时间内到达撷取、管理、处理、并整理成为帮助企业经营决 策更积极目的的资讯、数据规模超出传统数据库软件采集、存储、管理和分析等能力的范畴, 多种数据源，多种数据种类和格式冲破传统的结构化数据范畴，社会向着数据驱动型的预测、 开展和决策方向转变，决策、组织、业务等行为日益基于数据和客观分析做出。除了学术界、科研界的定义外，我国IT学术界和企业对大数据也有自己的看法，通过调 研，我们发现超过一半的受访者认同“新型的数据和分析”，而“新形势的数据应用”和“更 大范围的信息”那么分列二、三位，“大量的数据”这一选项仅仅位列第四。由此可见，大量的 受访者已经意识到大数据的重点在于“数据”的分析和应用，而“大”不过是信息技术不断发 展所产生的海量数据的表象而已。（参见图1）。图1受访者对于大数据的认识3引自Gartner大数据定义 4引自百度百科大数据词条本报告的观点是大数据代表着数据从量到质的变化过程；代表着数据作为一种资源在经济 与社会实践中扮演越来越重要的角色，相关的技术、产业、应用、政策等环境会与之互相影响、 互为促进。从技术角度来看，这种数据规模质变后带来新的问题，即数据从静态变为动态，从 简单的多维度变成巨量维度，而且其种类日益丰富，超出当前技术与工具控制管理的范畴。这 些数据的采集、分析、处理、存储、展现都涉及复杂的多模态高维计算过程，涉及异构媒体的 统一语义描述、数据模型、大容量存储建设，涉及多维度数据的特征关联与模拟展现。然而， 大数据开展的最终目标还是挖掘其应用价值，没有价值或者没有发现其价值的大数据从某种意 义上讲是一种冗余和负担。2.1 大数据的特征目前，业内对于大数据特征的研究主要集中在“3V”、“4V”两种，归纳起来，可以分为 规模、变化频度、种类和价值密度等几个维度。研究机构IDC定义了大数据的四大特征一一海 量的数据规模、快速的数据流转和动态的数据体系、多样的数据类型和巨大的数据价值，将“价 值”作为第四个“V”。其他一些机构那么将真实性作为第四个“V”。还有学者认为应该将（供 应商，vendor）作为第四个“V”。本报告对于大数据的特征从数量（Volume）、多样性（Variety） 速度（Velocity） 价值（Value）以及真实性（Veracity）五个方面进行认识和理解。数量：聚合在一起供分析的数据规模非常庞大。谷歌执行董事长艾瑞特施密特曾说，现 在全球每两天创造的数据规模等同于从人类文明至2003年间产生的数据量总和。“大”是相 对而言的概念，对于搜索引擎，EB属于比拟大的规模，但是对于各类数据库或数据分析软件 而言，其规模量级会有比拟大的差异。多样性：数据形态多样，从生成类型上分为交易数据、交互数据、传感数据；从数据来源 上分为社交媒体、传感器数据、系统数据；从数据格式上分为文本、图片、音频、视频、光谱 等；从数据关系上分为结构化、半结构化、非结构化数据；从数据所有者分为公司数据、政府 数据、社会数据等。速度：一方面是数据的增长速度快，另一方面是要求数据访问、处理、交付等速度快。美 国的马丁希尔伯特说，数字数据储量每3年就会翻1倍。人类存储信息的速度比世界经济的 增长速度快4倍。价值：尽管我们拥有大量数据，但是发挥价值的仅是其中非常小的局部。大数据背后潜藏 的价值巨大。美国社交网站Facebook有10亿用户，网站对这些用户信息进行分析后，广告商 可根据结果精准投放广告。对广告商而言，10亿用户的数据价值上千亿美元。据资料报道， 2012年，运用大数据的世界贸易额已达60亿美元。真实性：一方面，对于虚拟网络环境下如此大量的数据需要采取措施确保其真实性、客观 性，这是大数据技术与业务开展的迫切需求；另一方面，通过大数据分析，真实地还原和预测 事物的本来面目也是大数据未来开展的趋势。在调查过程中，受访者对于大数据特性的关注度如图2所示，从高到低依次为多样性、价 值、真实性、数量、速度。图2受访者对于大数据特征的关注度从图2中我们不难看出，在大数据的几个特征中，“多样性”和“价值”最被大家所关注。 “多样性”之所以被最为关注，在于数据的多样性使得其存储、应用等各个方面都发生了变化, 针对于多样化数据的处理需求也成为了技术重点攻关方向。而“价值”那么不言而喻，不管是数 据本身的价值还是其中蕴含的价值都是企业、部门、政府机关所希望的。因此，如何将如此多 样化的数据转化为有价值的存在，是大数据所要解决的重要问题。2.2 大数据的重要作用据资料显示，近年来，甲骨文、IBM、微软、SAP、惠普等公司已经在数据管理和分析领域 投入超出150亿美元。据Gartner最新预测，大数据产业2014年将在全球范围内带来近千亿 美元的IT开支；2015年，大数据将为全球带来440万个IT岗位。1）改变经济社会管理方式大数据作为一种重要的战略资产，已经不同程度地渗透到每个行业领域和部门，其深度应 用不仅有助于企业经营活动，还有利于推动国民经济开展。大数据使经济决策部门可以更敏锐 地把握经济走向，制定并实施科学的经济政策。大数据可以提高企业经营决策水平和效率，推 动创新，给企业、行业领域带来价值。大数据技术作为一种重要的信息技术，对于提高平安保 障能力、应急能力、优化公共事业服务，提高社会管理水平的作用正在日益凸显。增强平安保 障能力。在国防、反恐、平安等领域应用大数据技术，能够对来自于多种渠道的信息快速进行 自动分类、整理、分析和反应，有效解决情报、监视和侦察系统缺乏等问题，提高国家平安保 障能力。2）促进行业融合开展网络环境、移动终端随影而行，网上购物、社交网站、电子邮件、微信不可或缺，社会主 体的日常活动在虚拟的环境下得到承载和表达。正如工业化时代商品和交易的快速流通催生大 规模制造业开展，信息的大量、快速流通将伴随着行业的融合开展，经济形态的大范围变化。 虚拟环境下，遵循类似摩尔定律原那么增长的海量数据，在技术和业务的促进下，跨领域、跨系 统、跨地域的数据共享成为可能，大数据支持着机构业务决策和管理决策的精准性与科学性， 社会整体层面的业务协同效率提高。3）推动产业转型升级基于传统架构的信息系统很难应付爆发式增长的海量数据，同时传统的商业智能、搜索引 擎、分析软件，在面对时空多维度、快速变化的海量数据时，也缺少有效地分析工具、方法和 产品。大数据环境下，ICT产业面临着有效存储、实时分析、高性能计算等挑战，这将对软件 产业、芯片以及存储产业产生重要影响。信息消费作为一种以信息产品和服务为消费对象的活动，覆盖多种服务形态，多种信息产 品，多种服务模式。当围绕数据的业务在数据规模、类型和变化速度到达一定程度时，大数据 对于产业开展的影响随之显现。同时，大数据将促进网络通信技术与传统产业更为密切的融合，对于传统产业的转型开展, 创造更多价值影响重大。未来，大数据开展将不仅催生软硬件及服务等市场产生大量价值，也 将对有关的传统行业转型升级产生重要影响。4）助力智慧城市建设信息资源开发利用水平，在某种程度上讲代表着信息时代下社会的整体开展水平和运转效 率。大数据与智慧城市是信息化建设的内容与平台，两者互为推动力量。智慧城市是大数据的 源头，大数据是智慧城市的内核。仅以智慧交通为例，智慧交通领域的海量数据融合了各类数 据，并以城市交通为主题，在海量变化数据中建立关联关系，找到所需数据的准确信息，并被 及时推送到对象手中，提高了城市管理的精确性，提升了城市居民的幸福感受。3 .大数据开展现状3.13.1外大数据开展大数据开展来源于自然科学、社会科学的技术创新；信息公开、隐私保护、规范管理等的 制度建设；各个应用领域主题下的技术路线、模型建设与工具开发等具体实施方案。为此，国 外兴旺国家纷纷提出了大数据的规划、计划、政策以及工程，推动大数据为其国民经济和社会 开展服务。据n）c调查分析，目前作为成熟的大数据应用主要集中于欺诈监测、风险管理与商业智能 等领域，细分到对于产业，处理与活动领域的大数据应用如图3所示。图3大数据技术和服务简单用例图3从活动、处理以及产业等三个维度对于大数据技术和服务的相关用例进行了分类。其 中活动维度中包括分析（例如数据挖掘、多维分析、数据可视化）、操作（例如运行一个网站、 处理网络订单）、信息访问（例如基于搜索的信息获取、规范化，以及内容和数据源的访问）； 处理维度包括客户关系管理、供应链和运营、政府、研发、信息技术管理和风险管理；产业维 度包括运输行业中的物流优化、零售行业中的价格优化、媒体和娱乐行业中的知识产权管理、 石油和天然气行业中的自然资源勘探、制造业中的保修管理、执法中的犯罪预防和调查、银行 业中的欺诈检测、医疗保健行业中的病人治疗和欺诈检测。对于大数据应用的价值链主要包括三个方面，如图4所示：采集与收集：再生老的数据；采集新的数据；提升数据质量。聚合与整合：实时与批量数据的聚合或整合，多媒体、跨模态数据的聚合；分发给具 有弹性计算功能的ITo消费与应用：商业智能BI或数据仓库DW的集成；可视化；业务集成。图4数据和风险管理中的大数据价值链政府出台计划3.1.1.1 美国2011 年，“总统科学技术顾问委员会（Presidenty s Council of Advisorson Science and Technology）建议”认为大数据相关技术具有重要战略价值，而联邦政府对其研发投资缺乏。 作为建议的反应，白宫科技政策办公室发布了大数据研究和开展建议，并组织了大数据高 级监督小组（Senior Steering Group on Big Data）协调和拓展政府在这一重要领域的提升 美国利用提供的庞大而复杂的数字资料提炼真知灼见的能力，协助加速科学、工程领域的创新 步伐，强化美国国土平安，转变教育和学习模式。大数据研究和开展建议提出联邦政府希望与行业、科研院校和非盈利机构一起，共同 迎接大数据所创造的机遇和挑战。某种程度上，大数据技术在美国已经形成了全体发动的格局, 并承诺将在科学研究、环境保护、生物医药研究、教育以及国家平安等领域利用大数据技术进 行突破。同时，美国国家科学基金会（NSF）、国家卫生研究院（NIH）、国防部（D0D）、能 源部（DOE）、国防部高级研究局（DARPA）、地质勘探局（USGS）等六个联邦部门和机构承诺, 将投入超过2亿美元资金用于研发“从海量数据信息中获取知识所必需的工具和技能”，并披 露了多项正在进行中的联邦政府计划，主要内容如下：美国国家科学基金和美国国家卫生研究 院主要推进大数据科学和工程的核心方法及技术研究，工程包括管理、分析、可视化、以及从 大量的多样化数据集中提取有用信息的核心科学技术；国防部高级研究局工程主要推进大数据 辅助决策，集中在情报、侦查、网络间谍等方面，汇集传感器、感知能力和决策支持建立真正的自治系统，实现操作和决策的自动化；美国能源部试图通过先进的计算进行科学发现，提供 2500万美元基金来建立可扩展的数据管理、分析和可视化研究所。美国地质勘探局通过给科 学家提供深入分析的场所和时间、最高水平的计算能力和理解大数据集的协作工具，催化在地 理系统科学的创新思维。2012年3月，美国白宫宣布启动大数据研究和开发,6月，美国国家标准技术研究所(NIST) 启动了大数据相关研究。2013年6月,NIST召开了大数据公共工作组(Big Data Public Working Group , BD-PWG)成立会议，并于9月启动了大数据定义和数据、通用需求、参考架构、平安 隐私及技术路线图等内容的研究，并提出了大数据参考架构报告，受到多方面关注。欧盟2010年11月，欧盟委员会提出了 “欧盟开放数据战略”，旨在将公共部门和产生的 原始数据通过再利用成为数以万计ICT用户依赖的数据材料，同年12月正式推进这一战略并 提出有关开放数据战略的多项法律提案，提案指出：“所有来自于公共部门的文件除非受第三 方版权保护外均可用于任何目的(商业或非商业),大局部公共部门的数据都将免费或几乎免 费，强制要求提供通用的且机器可读格式的数据，确保数据的有效再利用，数据开放范围将覆 盖包括图书馆、博物馆、档案馆等在内的更广泛的组织”。“欧盟开放数据战略”将重点加强在数据处理技术、数据门户网站和科研数据基础设施三 方面的投入，旨在欧洲企业与市民能自由获取欧盟公共管理部门的所有信息，建立一个汇集不 同成员国以及欧洲机构数据的“泛欧门户”。未来，欧盟开放数据战略将重点加强在数据处理技术、数据门户网站和科研数据基础设施 三方面的投入。目前比拟成功的应用有“你的议会”(),公民可以通过该网站了解欧洲议会 的选票情况，查看投票记录并投票；英国制药(),通过智能手机帮助市民在英国找到距离最 近的药店;欧洲能源( ： /energy, publicdata, eu/ee/vis. html),对欧盟统计局和其他 机构提供的数据进行加工，将欧洲能源消费情况可视化；开放企业( ： “ opencorporates ),是关于公司的数据库，目前已包含超过30个地区3000万家企 业的URL。联合国联合国推出了名为“全球脉动”(Global Pulse)的新工程，希望利用“大数据”预测某 些地区的失业率、支出削减或是疾病爆发等现象。全球脉动技术的目标在于利用数字化的早期预警分析，来提前规划、调整、指导联合国在 全球范围内，针对众多行业领域的援助工程，以提高援助工程完成的精确性和有效性。多国联盟合作下的数据开放是目前的潮流，也是大数据应用的前提。2011年美国、英国、巴西、 挪威、墨西哥、印尼、菲律宾、南非等八国宣布成立“开放政府联盟(OGP),并发布开 放政府宣言，宣言书说：“政府代表公民收集并保存各种各样的信息，公民有权利获取关于 政府活动的各种信息。我们承诺：用可以重复使用的格式，及时主动地向社会开放高质量的信 息，包括原始的数据。”2011年12月，美国联邦政府宣布将和印度政府共同合作，把现有的Data. gov改造成开 源平台，印度将率先移植Data, gov,作为其中央政府的数据开放平台。英国政府自2011年11月发布了对公开数据进行研究的战略政策，同时致力于探索公开数 据在商业创新和刺激经济增长方面的潜力。英国政府投资支持成立开放式数据研究所ODI (The Open Data Institute) o未来，英国 政府将通过这个组织来利用和挖掘公开数据的商业潜力，并为英国公共部门、学术机构等方面 的创新开展提供“孵化环境”，同时为国家可持续开展政策提供帮助。法国政府在数字化路线图中列出了五项将会大力支持的战略性高新技术，而“大数据” 是其重要内容。2013年4月法国政府召开“第二届巴黎大数据大会，会上法国经济、财 政和工业部门宣布将投入1150万欧元用于支持7个未来重点工程。这些工程的目的在于“通 过开展创新性解决方案，并将其用于实践，来促进法国在大数据领域的开展。”此前，法国软件编辑联盟(AFDEL)曾号召政府部门和私人企业共同合作，投入3亿欧元用 于推动大数据领域的开展。AFDEL认为，未来5年内，大数据创造的价值将会到达28亿欧元， 同时将会产生1万个工作岗位。版权:2014年，中国电子技术标准化研究院版权所有。使用声明：未经中国电子技术标准化研究院事先的书面授权，不得以任何方式复制、抄 袭、影印、翻译本文档的任何局部。工业界大数据研究工业界针对大数据分析平台，纷纷推出自己的大数据分析工具，主流的平台和产品如下：3.1.2.1 Google的大数据分析产品Google公司作为全球最大的信息检索公司，走在了大数据研究的前沿。面对呈现爆炸式 增加的因特网信息，仅仅依靠提高服务器性能已经远远不能满足业务的需求。如果将各种大数 据应用比作“汽车”，支撑起这些“汽车”运行的“高速公路”就是云计算。正是云计算技术 在数据存储、管理与分析等方面的支持，才使得大数据有用武之地。Google公司从横向进行 扩展，通过采用廉价的计算机节点集群，改写软件，使之能够在集群上并行执行，解决海量数 据的存储和检索功能。Google公司大数据处理的几大关键技术为：Google文件系统GFS、 MapReduce、Bigtable和BigQuery。Google的技术方案为其他公司提供了一个很好的参考方 案，各大公司纷纷提出了自己的大数据处理平台，采用的技术也都大同小异。3.1.2.2 惠普的 HAVEnHAVEn平台提供了大量的应用开发接口（API）,惠普希望通过HAVEn与合作伙伴共同打 造一套完整的大数据分析生态系统，让更多应用解决方案落地到行业。它可以充分利用惠普的 分析软件、硬件和服务，创立新一代为大数据准备的分析应用和解决方案。“HAVEn”这个名 字实际上来源于其各个组件的首字母，即Hadoop （HDFS）、Autonomy、Vertica、Enterprise Security以及nApp （行业解决方案）。可以看出，HAVEn平台实际上是一个惠普大数据产品 的组合。具体而言，HAVEn并不是简单的产品堆叠，惠普对其中各个组件的交互与连接都进行 了设计与优化，并提供了统一的框架。HAVEn平台能够从各种数据源进行集成，分析各种类型 数据，如传统数据仓库、机器生产数据、电子邮件、文本数据以及企业外部的社交媒体数据。3.1.2.3 Teradata日前，全球领先的大数据分析和数据仓库解决方案厂商Teradata天睿公司发布了 Teradata Aster大数据综合分析平台。作为业内首款整合大数据分析平台，实现了将开源 Apache Iladoop和Teradata Aster整合至高度集成和优化的单一平台中。该平台采用Teradata Aster的SQL-MapReduce和Aster SQL-H专利技术,支持用户透明地访问Hadoop平台，为广 大知识型员工提供独特的业务分析功能。该平台预先封装多项即开即用的分析功能，能够在数 小时内快速实现数字营销优化、社交网络分析、欺诈侦测以及机器生成数据的分析等。Teradata Aster大数据综合分析平台专为满足苛刻的分析需求设计，提供更强的计算能力、更大的内存 容量及更快的数据移动。同市场上其他典型平台相比，该平台的数据吞吐量及分析速度分别提 高19倍及35倍。Teradata Aster大数据综合分析平台配备充足的内存和高速宽带互联功能, 能够支持极度密集的复杂分析计算，相比现有其他产品更加简洁。采用Teradata Aster大数 据综合分析平台后，用户无需复杂的培训即可使用MapReduce和Hadoop技术。3.1.2.4 IBM 的 InfoSphere2011年5月，IBM正式推出InfoSphere大数据分析平台。InfoSphere大数据分析平台 包括Biginsights和Streams,二者互补,Biginsights对大规模的静态数据进行分析,它 提供多节点的分布式计算，可以随时增加节点，提升数据处理能力。Streams采用内存计算方 式分析实时数据。InfoSphere大数据分析平台还集成了数据仓库、数据库、数据集成、业务 流程管理等组件。Biginsights基于Hadoop,增加了文本分析、统计决策工具，同时在可靠 性、平安性、易用性、管理性方面提供了工具，并且可与DB2、Netezza等集成，这使大数据 平台更适合企业级的应用。比方，Biginsights提供了一种类似SQL的更高级的查询语言。 再如，除了支持Hadoop的HDFS存储系统外，Biginsights还支持IBM最新推出的GPFS SNC 平台，以更好地利用其强大的灾难恢复、高可靠性、高扩展性的优势。企业级产品更重要的是 没有单点故障，GPFS让整个分布式系统更可靠。Hadoop本身不提供分析的功能，因此 Biginsights平台增加了文本分析、统计分析工具。3.2国内大数据现状国家在推进信息化、电子政务、智慧城市等领域开展与建设，屡次强调要重视整体提升信 息资源开发利用水平，强调要关注并重视大数据工作。目前，国内对于大数据的实质推进更多地处于科研、应用、地方、产业等部门单个探索实 践中。局部信息化开展基础较好的地方，其信息化开展规划及产业部署中已经明确将推动大数 据的开展与应用。国内大数据关注焦点通过调研显示，目前在大数据的行业领域应用关注度上，“智慧城市”、“政务”以及“公 共服务”位列前三。（见图5）图5各领域的大数据关注度不难看出，目前对于大数据应用有迫切需求的主要集中在政府部门。政府部门在推动社会 管理与公共服务过程中，希望通过对于现有的和正在产生的大量、多媒体的数据进行有效的分 析和应用，支持基础设施建设和提高服务水平。对于“能源”、“教育”、“医疗”、“交通” 等领域的大数据关注度大体相当，表达了大数据应用的广阔性；这些领域在传统业务推进中头 绪比拟复杂，数据资源开发水平低，科学化决策难度大，大数据的开展应用在某种程度上增强 了对于复杂形势的分析，加强了对于科学决策的客观数据支持，在这些领域中大数据应用前景 广阔。在具体技术层面，“信息集成”成为了国内大数据关注的重点。目前大局部单位及受访者 都表示已经利用一个集成的、可缩放的、可扩展的和平安的信息基础设施开始推动大数据应用 实践。同时，在实践过程中对于数据的平安性与治理、大容量的数据存储与管理、基础架构、 相关工具等也是大数据关注的重要技术领域。（见图6）图6大数据技术关注度地方政府和组织探索大数据应用北京市北京市经信委牵头，北京市各政务部门共同参与建设了北京市政务数据资源网 （ ）,于2012年10月推出测试版，目前正在试运行基础上加快制定管理 方法。目前，北京市已有29个部门公布了 400余个数据包，涵盖旅游、教育、交通、医疗等各 个门类。翻开网站主页可以看到，点击量最高的是“土地用途分区”，已被下载435次，由北 京市国土资源局提供。旅行社、机场班车线路、星级饭店、高校信息也是非常热门的下载资源。 北京市政务数据资源网正在面向企业及个人征集APP （应用程序），一些社会力量开发的APP 正在进行技术测试和审查。在该网站可以看到，“游北京”和“爱健康”目前已经可以下载试用。前者可以查阅北京 旅游景点、餐饮、促销信息、洗手间信息等，后者是北京市所有卫生保健设施的指南应用，包 括诊所、医院、养老院等信息，用户可以利用这款软件定位附近的医疗设施，查看现场网络图 像。上海市上海目前正在加强对大数据领域的深化研究。2013年，上海启动推进大数据研究与开展 的三年行动计划，重点选取医疗卫生、食品平安、终身教育、智慧交通、公共平安、科技服务 等具有大数据基础的领域探索建设大数据公共服务平台。上海市政府于2014年5月明确上海 将率先实行政府数据资源向社会开放，出自28个市级政府部门、涵盖11个领域的190项数据 内容将成为今年重点开放对象一一从医院床位信息到候诊人数信息，从挖路、占路、封路信息 到停车场库及路侧车位信息，政府大数据“富矿”可供全民开采。国内首个政府数据服务网 datashanghai. gov. cn作为开放统一入口，提供数据查询、浏览、下载等功能。而且，上 海将重点建设政府移动APP门户，将各部门开发的各类公众服务APP “一网打尽”，让市民通 过这个门户方便地检索和下载所需APPo此前，上海已启动政府数据资源向社会开放试点，建成“上海政府数据服务网（一期）”， 9家试点单位开放的数据产品及应用，涵盖地理位置、道路交通、公共服务、经济统计、资格 资质、行政管理等6大领域。如市商务委开放了内贸、外贸、外资、外经及综合5类数据产品； 市交通委提供了全市搬场企业名录、全市公交枢纽站分布、中心城区公交站点分布、停车场位 置分布等；市住房保障管理局开放了保障房工程信息、房地产开发企业信息、房地产经纪企业 信息等。在此基础上，上海市经信委通过印发2014年度上海市政府数据资源向社会开放工 作计划，规定再开放公共平安、公共服务、交通服务、教育科技、金融服务、能源环境、健 康卫生、文化娱乐等11个领域，开放的市级政府部门数量是原先的3倍。其中，地理位置类 的数据资源将全面开放，市场监管类数据也成为开放重点，并大力推进交通数据资源开放。根 据市政府总体规划，政府数据资源开放主体未来将扩展到法律法规授权的具有管理公共事务职 能的组织，以及与人民群众利益密切相关的公共企事业单位。按照年度计划，上海将参照图书 资源的管理模式，力争3年内，完成各政府部门信息系统所承载的信息资源分类、目录编制注 册，实现全市政府数据资源目录的集中存储和统一管理，基本摸清政府数据资源家底。同时、上海市经信委正在研究成立大数据局，成立后将推进上海政府层面的数据公开和信 息共享，以解决政府信息资源家底不清、认识不够以及部门间数据信息共享不充分等目前上海 在数据资源管理和运用上存在的问题。广东省广东省是国内率先关注并推动大数据的地方之一。2013年5月出台广东省信息化开展 规划纲要（2013-2020年），在智慧广东建设任务中，该纲要明确“到2015年，全省信息 化总体到达中等兴旺国家水平，珠三角地区信息化水平迈进世界先进行列。智慧城市建设取得 显著成效，信息基础设施进一步完善，信息技术自主创新体系基本形成，信息技术与传统产业 深度融合，大数据和商业智能试点示范应用成效明显，公共服务和社会管理电子化、网络化全 面普及，信息化有效推动产业转型升级和生产方式转变，信息化成果惠及全省人民。”在构建 信息技术产业体系的开展任务中，该纲要明确“构建面向企业经营管理及社会服务和管理的大 数据挖掘应用创新平台，并以广州、深圳两大超级计算中心为基础构建信息技术研发设计、高 性能计算创新平台。”在推动信息化和工业化深度融合开展任务中，该纲要明确“推进大数据 商业化应用。充分利用市场机制，加快推进行业、企业开展大数据应用。支持和鼓励行业协会、 中介组织开发深度加工的行业应用数据库，建立行业应用和商业服务大数据公共服务平台，提 供数据挖掘分析和商业智能等大数据应用服务，帮助中小微企业定制各类大数据应用解决方 案。培育数据资源服务重点企业，提高数据资源服务能力。推动大数据在生产过程中的应用， 鼓励企业运用大数据开展个性化制造，创新生产管理模式，降低生产本钱，提高企业竞争力。 加快商业大数据创新应用，鼓励企业开展精准营销、个性化服务，提高流通、销售等环节的管 理水平。”在推进城镇管理和服务智慧化任务中，该纲要明确提出“建设智慧城镇运营平台， 建立健全数据采集、交换共享、开发利用相关标准体系，开展智慧城镇大数据应用，推动城镇 创新开展。深入推进智慧城市试点建设，引导全省智慧城市建设有序推进。”早在2012年广东省经济和信息化委员会就开展了 “广东省实施大数据战略工作方案”的 研究，立足于坚持以开放共享推动大数据应用，以开发应用带动大数据开展，以大数据开展促 进社会创新，建成智慧广东。方案中提出，为保证大数据战略有效实施，将建设政务数据中心, 并为高等院校和企业等成立大数据研究机构提供支持；将在政府各部门开展数据开放试点，并 通过部门网站向社会开放可供下载和分析使用的数据，进一步推进政务公开。陕西省近年来，陕西省电子政务与信息化建设快速推进。一方面，加强了顶层设计和集中部署， 另一方面电子政务公共平台服务体系初步建成。陕西省各级政府及相关部门的信息化服务，不 再需要重复建设网络、机房，不再考虑存储、灾备等因素。2012年12月陕西省发布了 “大数据产业开展战略”与“津西大数据产业园开展规划”。 陕西省大数据产业开展分为三个阶段：2012-2013年是导入期，以建设政务公共平台为支撑， 以政务信息资源建设服务为基础，构建基于高性能计算的大数据计算处理平台和环境； 2013-2015年是建设期，也是战略机遇期，根据人口、林业、社情民意调查分析、社会管理与 服务、金融等领域对大数据处理需求，承接其他国家有关部委和央企数据中心或灾备中心落户， 形成大数据产业洼地，将全国人口信息处理与备份中心落户西咸新区作为陕西开展大数据产业 的重要机遇；2016-2017年是成长期，围绕国家基础数据的上下游流入，形成以政务大数据服 务产业为核心的高黏性信息服务产业生态。到2017年，建成以西咸新区为核心的国家级大数 据处理与服务产业集群，成为国家政务信息资源的汇集地、社会信息资源的集散地。洋西大数据产业园选址位于西咸新区信息产业园内，总占地约5平方公里，拟分三大板块 推动大数据产业开展。第一板块为数据基础层产业集聚区，第二板块为软件开发和信息服务集 聚区，第三板块为预留拓展区，作为未来信息产业持续增长的重要保障。目前中国移动、中国 电信、中国联通三大运营商以及全国人口数据处理与备份（西安）中心工程已经入区，产业集聚 初具规模。“洋西大数据产业园开展规划”以“数据洋西、智慧西咸、备份中国、物联世界” 为目标，以实现数据的“规模化集中吞吐、深层次整合分析、多领域社会应用、高效益持续增 值”为方向，大力开展数据存储、呼叫中心、IDC中心、灾备中心、数据交换共享平台等业态, 积极创新商业模式。园区建设划分为三个阶段：第一阶段(20132015年)为培育期，即基础网络和数据中心建设期。本阶段主要依托四 大运营商数据中心、基础网络层的建设，构建海量存储和高速传输网络，为大数据产业开展提 供基础和保障。同时，全力引进人口信息、自然资源和空间地理信息、法人单位数据、宏观经 济数据等国家基础、专有的数据资源存储与服务中心，数据灾备基地和国家超级计算中心落户， 在业内举起大数据处理与信息服务产业的旗帜，到2015年底完成固定资产投资100亿元，初 步建成大数据产业开展的网络传输平台和基础信息资源集聚区。第二阶段(20162017年)为成长期，引进龙头企业，培育数据分析企业。制定政策机制, 完善园区规划，构建宽松开展环境，全力引进微软、IBM、惠普、谷歌、百度、阿里巴巴、腾 讯、世纪互联等数据存储、分析和应用企业入园，集聚一批国内外龙头企业的研发总部、技术 中心和高端制造局部，重点培育一批数据分析企业。到2017年底累计完成固定资产投资200 亿元、实现产值200亿元，形成相对完整的数据服务产业集群，建成“陕西大数据处理与服务 产业基地”，力争率先建成数据应用示范区，推动园区进入国家级信息产业基地行列，实现产 业和城市的优化升级。第三阶段(20182020年)为成熟期，整合数据资源，形成以数据为基础的信息服务产业 特色。依托“云计算”和“物联网”等着力点，进一步整合多领域数据资源，探索以数据资源 为基础的信息服务产业开展模式，研究和规范数据资源的应用、范围和权限等，为信息服务产 业大开展奠定基础，引领社会化信息服务模式的全面提升。到2020年底实现产值500亿元， 聚集各类人才5万以上，使洋西新城成为国家级的信息产业园和大数据处理中心。图7洋西大数据产业园开展规划图贵州省贵州省也在积极布局大数据产业。从2013年开始，贵州发力大数据产业布局。中国电信、 联通、移动三大电信运营商数据中心在贵州开工建设、中关村贵阳科技园成立、富士康第四代 产业园落户等等一系列大手笔，正助推贵州迈上“云端”，成为开展大数据产业的黄金宝地。从2013年下半年开始，三大电信运营商在贵安新区分别建设的全国性数据中心，计划总 投资100多亿元，总规模将超过10万个机柜，服务器将超过200万台。数据中心建成后，将 形成超过2500PB的裸容量存储能力，730亿TPCC计算能力，可为大数据提供巨大存储服务和 计算服务，将为新区加快大数据及其关联产业开展奠定坚实基础。三大运营商的数据中心在贵 安新区相继建成后，将使贵阳周边特定区域快速集聚20万一30万的机架、百万台的服务器， 数据存储规模可达EB以上，随着大数据产业持续发酵，将形成一个千万服务器集群的数据中 心基地，是国内乃至全球最大的数据聚集地之一。2013年3月1日，贵州北京大数据产业开展推介会在北京举行，大数据产业联盟与贵 州省政府签订合作框架协议，共同推动大数据产业的开展。其后两天，中关村贵阳科技园清镇 园招商引资推介会在京举行，16个工程在推介会上成功签约。2013年9月8日，“中关村贵 阳科技园”揭牌，为贵阳市开展新一代信息技术产业提供重要支撑，也为大数据产业的开展提 供强大支撑。2013年10月，富士康(贵州)第四代绿色产业园一期工程在贵阳市贵安新区开工。步入2014年，贵州在大数据产业持续发力。2014年3月，贵州省公布了关于加快大数 据产业开展及应用假设干政策的意见和贵州省大数据产业开展应用规划纲要(2014-2020年), 抛出了 30条鼓励措施，明确从今年起连续3年，省和贵阳市、贵安新区每年各安排不少于1 亿元资金，用于支持大数据产业开展及应用。2014年6月底，贵州省大数据产业研究院将在贵州大学开工建设的消息在贵州省大数据 产业开展应用研究院研讨会上发布。该研究院由贵安新区管委会、泰豪集团、贵州大 学等联合建设，建设总经费15000万元，由研发大楼、综合办公楼、产业孵化楼和公寓等组成, 实行理事会领导下的院长负责制。2014年7月11日，云上贵州大数据国际年会论坛举行