资源描述
项目建议书
(提纲)
第一章 项目简介
1、项目名称
2、项目建设单位和负责人、项目责任人
3、项目建议书编制依据
4、项目概况
5、主要结论和建议
第二章 项目建设单位概况
1、项目建设单位与职能
2、项目实施机构与职责
第三章 项目建设的必要性
1、项目提出的背景和依据
2、现有信息系统装备和信息化应用状况
3、信息系统装备和应用目前存在的主要问题和差距
4、项目建设的意义和必要性
第四章 需求分析
1、与政务职能相关的社会问题和政务目标分析
2、业务功能、业务流程和业务量分析
3、信息量分析与预测
4、系统功能和性能需求分析
第五章 总体建设方案
1、建设原则和策略
2、总体目标与分期目标
3、总体建设任务与分期建设内容
4、总体设计方案
第六章 本期项目建设方案
1、建设目标与主要建设内容
2、标准规范建设
3、信息资源规划和数据库建设
4、应用支撑平台和应用系统建设
5、网络系统建设
6、数据处理和存储系统建设
7、安全系统建设
8、其它(终端、备份、运维等)系统建设
9、主要软硬件选型原则和软硬件配置清单
10、机房及配套工程建设
第七章 环保、消防、职业安全、职业卫生和节能
1、环境影响和环保措施
2、消防措施
3、职业安全和卫生措施
4、节能目标及措施
第八章 项目组织机构和人员
1、项目领导、实施和运维机构及组织管理
2、人员配置
3、人员培训需求和计划
第九章 项目实施进度
第十章 投资估算和资金筹措
1、投资估算的有关说明
2、项目总投资估算
3、资金来源与落实情况
4、中央对地方的资金补贴方案
第十一章 效益与风险分析
1、项目的经济效益和社会效益分析
2、项目风险与风险对策
附表:
1、项目软硬件配置清单
2、应用系统定制开发工作量初步核算表
3、项目总投资估算表
4、项目资金来源表
附件:
项目建议书编制依据及与项目有关的政策、技术、经济资料。
第一章 项目简介
1、项目名称
云南省两亚丝路大数据中心(国家“一带一路”大数据中心云南分中心)
2、项目建设单位和负责人、项目责任人
指导单位:国家发展与改革委员会、国家信息中心
承担单位:云南省信息化和信息产业领导小组、云南省发展和改革委员会、云南省工业与信息化委员会
建设单位:云南省投资控股集团公司、云南省信息产业投资有限公司需根据新合资公司名进行更改
项目责任人:xxx
3、项目建议书编制依据
本实施方案,以国务院、国家发展改革委、省政府和省发展改革委相关文件、规范要求为依据,以调研为基础,以问题为导向,以服务国家发改委、省委省政府、省发展改革委领导决策工作为目的编制。
1)相关政策文件
《国务院关于印发促进大数据发展行动纲要的通知》(国发〔2015〕50号)
《国务院办公厅关于运用大数据加强对市场主体服务和监管的若干意见》(国办发〔2015〕51号)
《国家发展改革委办公厅关于印发国家发展改革委互联网大数据分析专项工作实施方案的通知》(发改办厅〔2015〕1136号)
《云南省人民政府关于加快信息化和信息产业发展的指导意见》(云政发〔2015〕96号)
《云南省人民政府办公厅关于印发云南省贯彻落实运用大数据加强对市场主体服务和监管若干意见实施办法的通知》(云政办发〔2015〕99号)
《云南省人民政府关于促进电子商务及跨境电子商务发展的实施意见》(云政发〔2015〕90号)
《云南省人民政府关于加快推进“互联网+”行动的实施意见》(云政发〔2015〕92号)
2)相关技术标准规范
《网络基础安全技术要求》(GB/T 20270-2006)
《信息系统通用安全技术要求》(GB/T 20271-2006)
《操作系统安全技术要求》(GB/T 20272-2006)
《信息系统物理安全技术要求》(GB/T 21052-2007)
《计算机软件文档编制规范》(GB/T 8567-2006)
《计算机软件测试规范》(GB/T 15532-2008)
《信息安全技术信息系统等级保护安全设计技术要求》(GB/T25070—2010)
大数据、云计算、移动互联网建设相关标准规范
4、项目概况
国家发改委互联网大数据分析中心是经国家发改委批准、委托国家信息中心牵头组建的非法人工作平台,专门承担面向国务院、国家发改委、各级发改部门和相关政府部门的互联网大数据分析与决策支持,并负责国家发改委互联网大数据分析云中心的建设工作。目前中心建立了国家发改委互联网大数据分析中心 、国家信息中心“一带一路”大数据中心、国家税务大数据应用研究中心、全国电子商务产品大数据中心等四个大数据应用支撑平台,在与相关部委协作生态、工商、医疗、农业、信用、环保、交通、编制等领域开展大数据分析报告应用。
云南省委省政府高度重视,为主动服务和融入国家战略,将云南建设成为面向南亚、东南亚的区域信息汇集中心,结合云南实际情况建设“一带一路”大数据中心云南分中心(丝路两亚大数据中心)。
云南作为通向南亚、东南亚的重要陆上通道以及重要的国际通讯出口,与周边国家保持密切的政治、经济、文化交流,拥有得天独厚的信息来源。
云南具有良好的两亚研究基础,研究力量与成果丰富。
云南作为两亚与国内人才交流聚集地,拥有大量小语种语言人才。为多语种信息交互提供了很好的基础条件。
5、主要结论和建议
云南作为通向南亚、东南亚的重要陆上通道以及重要的国际通讯出口,与周边国家保持密切的政治、经济、文化交流,拥有得天独厚的信息来源。云南省委省政府高度重视,主动服务和融入国家战略,力争用3年左右时间,将云南建设成为面向南亚、东南亚的区域信息汇集中心,建成为服务于国家“一带一路”战略的西南大数据枢纽节点,并将其打造成为立足云南、服务西南、辐射南亚东南亚的国际化大数据应用服务中心。培育以大数据服务为主的信息产业新业态,打造新经济增长极,力争2020年产值突破200亿元。
第二章 项目建设单位概况
1、项目建设单位与职能
云南省已经明确在省信息化和信息产业领导小组的指导下推进。省信息化和信息产业领导小组由陈豪书记(原省长)亲自担任组长,办公室设在工信委。省政府层面由秘书长孙涛负责统筹,具体由省工信委牵头会同省发改委共同推进。
云南省重大项目建设统一由云南省投资控股集团公司(简称云投集团)来负责,其中信息化项目由云投集团下属的全资国有子公司——云南省信息产业投资有限公司负责(简称信产投),是专门为全省信息化和信息产业发展服务的投资主体,并已经在开展信息基础设施建设、云计算、大数据、北斗卫星导航等应用服务。
云南省投资集团公司是直属于云南省人民政府、由云南省国资委履行出资人职责的大型国有独资企业,是云南省人民政府的投资主体、融资平台,担负着云南省政府推进全省经济社会发展战略工具的使命,投资涉及金融、信息产业、农业、大健康、铁路、旅游、林业、地产、石化燃气等领域。 截至2016年4月,云投集团合并总资产1647.47亿元,投资涉及铁路、旅游、林业、地产、石化燃气、金融、医疗等领域,在云南省重点项目建设中累计完成投资突破1000亿元,累计融资总额 1542亿元,为拉动云南经济发展做出了积极贡献。
此处需根据亿赞普新组建的合资公司情况进行更改
2、项目实施机构与职责
云南省信息产业投资有限公司(下称云南省信产投)成立于2016年1月,注册资本金6亿元,是云南省投资控股集团有限公司(以下简称:云投集团)的全资子公司。公司定位为云南省信息产业投资主体,代表省方与国有及民营等信息产业企业合作,负责聚合和引导社会资本,按照全省信息产业发展规划,通过建设省信息化中心等重大基础设施项目,为全省信息化和信息产业发展提供公共支撑和服务;依托信息产业园,引进一流企业,创新机制,打造企业综合孵化器,形成产业集群,尽快提升我省信息产业水平;开展云计算、大数据、北斗卫星导航、智慧城市建设等重点应用,积极融入互联网经济,促进形成信息产业生态。
抓住云南省大力培育和发展信息产业的契机,发挥云南省面向东南亚、南亚的区位优势,发挥云投集团资本运作、行业资源、政府支持及沟通协调的优势,积极引领、落实云南省信息产业“弯道超车”布局,以开放合作为主要方式,以推进基础性、影响大的信息产业重大项目为主线,以培育发展大数据、云计算、卫星应用、空间地理信息应用、智慧城市等新一代信息产业为主攻方向,加快推进云南信息产业发展,促进云南成为辐射东南亚、南亚的信息中心。此处需根据亿赞普新组建的合资公司情况进行更改
第三章 项目建设的必要性
1、项目提出的背景和依据
1)国家“一带一路”发展战略布局
为深入贯彻国家“一带一路”发展战略布局,落实《国务院关于印发促进大数据发展行动纲要的通知》(国发〔2015〕50号)和国家大数据战略,加快云南省大数据发展和应用,按照《国家发展改革委办公厅关于印发国家发展改革委互联网大数据分析专项工作实施方案的通知》(发改办厅〔2015〕1136号)总体要求和习近平总书记考察云南时关于建设面向南亚东南亚辐射中心的战略定位,充分发挥云南省在推进“一带一路”建设中特有的区位优势,云南省拟与国家信息中心在大数据领域开展全面战略合作,共同建设云南省两亚丝路大数据中心,中心落地云南省昆明呈贡信息产业园区。云南省将围绕两亚丝路大数据中心建设,强化基础设施,汇聚数据资源,发展应用服务,努力将云南建成在我国西南地区和南亚东南亚有重要影响的大数据发展基地。
2)大数据行业发展背景
在全球经济、技术一体化的今天,大数据正在经济生活中扮演越来越重要的角色,数据已成为国家基础性战略资源,信息技术与经济社会的交汇融合引发了数据迅猛增长,以海量数据为基础的大数据正日益对全球生产、流通、分配、消费活动以及经济运行机制、社会生活方式和国家治理能力产生重要影响。
大数据涉及量之大、面之广、影响之深已成为客观事实。
根据IDC和EMC联合发布的“2020年的数字宇宙”报告预测,2011至2015年全球大数据产业年均复合增长率达到30%,是同期IT市场年均复合增长率的两倍。到2020年全球数字宇宙将会膨胀到46000EB,均摊到每个人身上达到5200GB以上,我国的数据总量将以年均50%的速度增长,预计到2020年将占全球的21%,丰富的数据资源构成了我国推进大数据应用的资源基础。
研究资料显示,在全球七大重点领域内(包括教育、交通、消费、电力、能源、大健康以及金融),大数据的应用价值预计在32200-53900亿美元之间。
在中国,大数据产业正处于高速发展期,数据显示,2014年中国大数据市场规模达到767亿元,同比增长27.83%。预计2016至2020年中国大数据市场规模将维持40%左右的高速增长。大数据产业市场规模将达到8228.81亿元。
业内分析,在未来5到10年,中国大数据产业将迎来黄金增长期。
2、项目基础及优势
云南省发展大数据具备相应的基础及优势:
一是云南气候温和,空气质量常年优良,水电资源丰富,适合建设大型和超大型数据中心。
二是云南省委、省政府已将信息产业列为重点培育的八大产业之一,出台了一系列政策文件,启动实施了旨在推动全省信息化和信息产业发展的“云上云”行动计划,同时经过多年的发展,具备一定的产业基础和人才支撑,国内多家知名企业已落户云南。
三是云南省委、省政府明确“十三五”期间实施包括互联网基础设施在内的五大基础网络建设规划,将为云南省两亚丝路大数据中心建设提供坚实的基础设施保障。
四是云南省积极推进省政务信息中心建设,将面向全省开展“互联网+政务”服务,在促进信息共享和业务协同方面探索总结经验,有利于云南省两亚丝路大数据中心建设。
云南省两亚丝路大数据中心以昆明呈贡信息产业园区为核心,与玉溪华为云计算数据中心及保山国际数据服务产业园共同形成“一核两翼”的大数据发展格局。昆明呈贡信息产业园区立足发挥“辐射中心”作用,以数据存储、应用为主,带动相关信息产业发展,是云南省实施“云上云”行动计划核心区,将建设成为我国面向南亚东南亚的新一代信息技术产业战略高地。园区政策优势、区位优势、人才优势、交通优势明显,产业带动能力强,正逐步成为云南省信息产业发展的政策凹地、创新资源密集区、企业集聚区。玉溪市作为滇中经济圈重要城市,是云南省重要交通和通信枢纽,自然资源富集,产业基础扎实,具有发展大数据应用的广阔潜力。保山市地处孟中印缅经济走廊咽喉要地,水电资源丰富,国际数据服务产业园前期工作取得较大成效,是全省异地数据灾备中心布局点。“一核两翼”大数据发展格局,能够充分体现创新资源的优化,具备建设国家“一带一路”大数据中心云南分中心的基础和优势。
3、项目建设的意义和必要性
云南省是中国连接南亚东南亚的国际大通道,是我国面向南亚东南亚的开放前沿和辐射中心。“十三五”期间,云南省确立了打造民族团结进步示范区、生态文明建设排头兵、面向南亚东南亚辐射中心的发展定位和富民强滇、同步小康、实现跨越式发展的奋斗目标,发展潜力大、发展空间广。建设两亚丝路大数据中心,既是云南省主动服务和融入国家“一带一路”战略,充分发挥区位优势,推进与周边国家国际信息通道建设,打造大湄公河次区域合作新高地,建设成为面向南亚东南亚信息辐射中心的重大战略部署,也是依托大数据推动云南经济转型升级和跨越式发展的重要抓手。
第四章 需求分析
1、与政务职能相关的社会问题和政务目标分析
云南省积极推进省政务信息中心建设,将面向全省开展“互联网+政务”服务,在促进信息共享和业务协同方面探索总结经验,有利于云南省两亚丝路大数据中心建设。
1) 围绕宏观决策、政府治理、城市运行、产业发展、跨境贸易等,启动若干大数据应用高地工程。
2) 搭建面向南亚东南亚的专业化、开放性、机制化大数据合作平台,广泛归集“一带一路”沿线国家政治、经济、文化等多领域信息,夯实大数据基础。服务国家“一带一路”大数据战略决策。
2、业务功能、业务流程和业务量分析
1)围绕云南省供给侧结构性改革、产业转型升级、社会治理和民生改善等领域需求,构建基于非统计数据的国民经济监测预测与宏观决策支持体系,推动信息开放和共享,为各级政府决策、宏观调控、市场监管和重要政策综合评估、重大突发事件应急处理等提供大数据决策支撑,提升宏观调控的科学化水平。以优化提升民生服务、激发社会活力、保障边疆稳定、促进大数据应用市场化和国际化为重点,在新型城镇化、健康医疗、社会保障、文化教育、养老服务、劳动就业等领域组织实施信息惠民大数据示范工程,推动公共服务向基层延伸,催生边境贸易、交通物流、医疗和教育跨境服务等新兴业态。
2)建设国家“一带一路”大数据中心西南地区数据采集主节点,以孟中印缅、中国-中南半岛经济走廊相关国家为重点,广泛汇聚南亚东南亚“一带一路”沿线国家政治、经济、文化等多领域信息,为我国和云南省开展“一带一路”、孟中印缅、中国-中南半岛经济走廊,以及国际大通道建设提供高水平的决策咨询服务。
3)紧密结合面向南亚东南亚的国际产能合作重点领域(汽车、建材、钢铁、铁路、农业、信息通信等),依托国家“一带一路”海外数据采集监测网络,分析提炼南亚东南亚地区全球需求热点和市场动态信息,为承接中东部地区产业转移,以及中国与南亚东南亚国家开展国际贸易、项目投资、技术和装备输出等的有关企业、组织和个人提供商业信息、负面舆论监控、投资风险识别等服务,构建海外投资、贸易、金融活动便利一体化服务体系。
3、信息量分析与预测
按照标准化的思路建设大数据平台,实现政务数据、社会数据及其他数据的安全接入、存储、共享、分析、应用和管理的目标,以支撑整个创新创业生态、大数据产业链的健康发展。大数据平台主要由数据接入系统、数据存储系统、数据分析系统和平台管理系统4大系统组成。
数据接入系统作为底层基础支撑性服务,是大数据平台的核心组成部分。数据接入系统通过提供多种数据接入工具,将政府各部门和来自互联网的结构化和非结构化的数据进行统一的汇聚接入,并为政务大数据平台提供原始数据支撑。数据存储系统作为数据采集的上层系统,作为数据分析共享的支撑系统,也是大数据平台的核心组成部分。数据存储系统需要满足对结构化数据、非结构化数据和半结构化数据的统一存储和查询的需求。查询的高效性和存储的安全性是数据存储系统的两项关键指标。数据分析系统作为政务大数据平台提供数据深度挖掘和分析服务的核心系统,利用分布式存储和并行计算框架,结合多种分布式计算引擎,对各类结构化、半结构化及非结构化的信息资源进行快速的分布式计算、并提供基于关联、聚类、分类、预测等类算法库以及可视化组件、拖拽式的数据挖掘分析开发工具包。 平台管理系统提供数据资源管理、元数据管理、目录管理、组织人员管理、用户权限、数据接入和共享服务运行监控、日志审计及平台运维等平台运行和系统管理功能。需要个相关部门和行业上报历史信息量,并结合业务流程估算可能的大数据量。
4、系统功能和性能需求分析
两亚丝路大数据平台以开源的Hadoop和Spark等分布式计算框架和相应的生态系统组件和服务为基础构建而成的集大数据存储、处理和分析访问的统一平台,旨在解决行业数据大规模、多样性、快速处理和洞察挖掘的需求和问题,并保持平台的伸缩性、扩展性和开放性。该平台的总体架构设计是以数据操作为中心,通过开放的数据接口接入多种类型的数据源;集成海量的、多样性的大数据进入数据湖中进行存储;支持多种分布式计算引擎进行数据处理和分析,满足批处理、流处理和数据仓库等分析需求,机器学习和数据挖掘的模型和算法;为上层用户提供多种数据访问和展现方式,形成统一的平台操作界面。大数据平台紧紧围绕着海量数据的全生命周期处理,并结合两亚丝路大数据中心的总体功能定位,设计实现的系统功能列表如下:
1)数据采集子系统:平台支持多种协议和方式与外围的多种数据源进行集成,构建强大的多样的数据资源采集汇聚体系,并支持松耦合和定制化的方式实现跨平台和第三方系统间的数据访问和交互接口;
2)数据存储子系统:这是该平台的核心能力,支持多种格式和多种类型的数据存储方式,包括HDFS文件存储、关系型数据库和非关系型数据库等,满足多样的数据存储、处理和访问方式;
3)数据治理子系统:平台提供全面的数据质量的分析和报告,支持数据管控和审计能力;
4)数据处理子系统:平台支持多种类型的执行引擎、任务管理以及资源调度方式,提供业务场景下的批处理和流处理能力;
5) 数据查询分析子系统:平台提供强大的可扩展的MPP、HIVE和Spark SQL 等多种场景下的查询引擎;提供数据的索引查询和OLAP多维分析能力;
6)数据分析和挖掘子系统:平台支持多语言、跨行业和多种类型的数据挖掘工具,提供完整的机器学习、认知计算和人工智能算法库供业务人员分析建模;
7)数据可视化子系统:平台提供丰富的数据展现模板和方式,支持用户设计和定制化分析结果和操作界面;
8)大数据运维管理平台:提供统一的大数据运维平台对分布式集群进行高效运营管理,主要包括集群部署、集群管理和集群监控等三个部分。
9)用户统一操作平台:为不同类型的平台用户提供统一的在线操作界面,涵盖常见的数据管理、作业管理和查询分析功能;
10)应用服务子系统:平台支持开放互联特征,基于开放接口与多种类型的外围应用程序进行交互,并以大数据平台为核心构建覆盖跨行业的应用服务体系。
大数据平台是一个分布式的集数据存储、处理和分析为一体的系统。这种海量规模的数据带来了前所未有的性能挑战。该平台设计实现的性能指标如下:
1)服务的可用性:这是平台的核心性能指标,目标达到99.95%;
2)数据的有效性:该指标关系到数据的质量和可信度,目标达到99.99%;
3)SQL查询性能:进行交互式SQL分析和数据挖掘,每台服务器扫描数据的性能可以达到300MB/s,单台机器可在1秒内扫描1亿条记录;每节点单表记录在1亿条记录(1KB左右)的集群上,全量汇总统计排序延时小于2秒,每节点吞吐量超过2/秒;
4)数据导入性能:从文本文件中导入数据单机性能不得低于30MB/S,支持高速随机Key-Value的查询/插入和低延时的统计能力,插入性能每台服务器每秒达到10000记录/秒;
5)流处理性能:系统最低延时/处理间隔为100毫秒,单服务器可处理1万记录/秒。
第五章 总体建设方案
1、建设原则和策略
深入贯彻落实习近平总书记考察云南重要讲话精神,积极主动服务和融入国家“一带一路”发展战略,按照平台共建、数据共享、应用对接、市场共赢原则,充分依托国家“一带一路”大数据中心的技术指导和相关资源配置,以实施“1345”工程(“一个中心”“三类服务”“四大体系”“五个保障”)为抓手,加快大数据部署、深化大数据应用,高标准建成两亚丝路大数据中心,为推进全方位开放战略,提升我国在信息技术领域的国际影响力和贡献度,促进云南产业转型升级及社会治理提供强有力的数据支持。
2、总体目标与分期目标
该项目的总体目标是,力争用3年左右时间,建成为服务于国家“一带一路”战略的西南大数据枢纽节点,并将其打造成为立足云南、服务西南、辐射南亚东南亚的国际化大数据应用服务中心。培育以大数据服务为主的信息产业新业态,打造新经济增长极,力争2020年产值突破200亿元。
该项目按照边建设边应用的工作步骤,从基础设施支撑体系建设、数据资源汇聚体系建设、大数据应用服务体系建设以及大数据产业协同创新体系建设等方面,围绕着大数据处理的生命周期,将建设目标划分为三个阶段:
1)20176年:奠定基础,完成启动基础设施项目建设。
制定云南省两亚丝路大数据中心三年建设规划及其实施方案,明确路线图、时间表和任务书。边建设、边应用,率先启动面向云南省委、省政府及有关部门的“一带一路”大数据决策支持工作。启动云南省两亚丝路大数据中心云计算中心、两亚丝路数据资源中心建设工程。
2)20178年:初具规模,完成数据资源汇聚建设和初步的应用服务建设目标。
围绕宏观决策、政府治理、城市运行、产业发展、跨境贸易等,启动若干大数据应用高地工程。重点推进生物医药和大健康、旅游文化、信息、现代物流、高原特色现代农业、新材料、先进装备制造、食品与消费品制造、大众创业万众创新大数据建设和应用。建设国家“一带一路”大数据综合服务门户云南子站和大数据服务平台。设立两亚丝路大数据产业基金。组建大数据创新研究院、大数据外包服务学院,启动大数据协同创新应用工程。
3)20198年:成效显现,全面完成大数据应用服务体系建设和大数据产业协同创新体系建设目标。
完成覆盖云南省及南亚东南亚国家的数据资源汇聚采集体系建设。设立“一带一路”大数据产业基金,建成大数据协同创新应用基地,形成以大数据、跨境电子商务、高端软件与新兴信息、小语种外包、宽带卫星等服务为核心的汇聚科研、运营和配套“三位一体”的产业集群,力争2020年实现以大数据服务为主的信息产业产值突破200亿元。立足云南、服务西南、辐射南亚东南亚的国际化大数据应用服务中心具备雏形。
3、总体建设任务与分期建设内容
该项目的总体建设任务是着力打造“一个中心”、全面支撑“三类服务”、重点建设“四大体系”以及努力夯实“五个保障”(简称“1345”工程)。一个中心是云南省两亚丝路大数据中心,在云南省委、省政府统筹协调下,在国家信息中心的指导下,按照国家信息中心颁布的技术标准,牵头整合全省经济社会发展相关数据资源,广泛归集云南省生物医药和大健康、旅游文化、信息、现代物流、高原特色现代农业、新材料、先进装备制造、食品与消费品制造、大众创业万众创新等重点领域数据资源。搭建面向南亚东南亚的专业化、开放性、机制化大数据合作平台,广泛归集“一带一路”沿线国家政治、经济、文化等多领域信息,夯实大数据基础。
按照该项目的分期建设目标,2016年完成项目审批,并完成云南省两亚丝路大数据中心的挂牌。
20176年实施云南省两亚丝路大数据中心云计算中心建设工程。按照国家“一带一路”大数据中心云平台建设总体部署,在遵从国家信息中心有关云平台配置、技术方案、接口标准等方面基本要求的前提下,充分发挥现有昆明呈贡信息产业园数据应用与存储、玉溪华为云计算数据中心数据应用、保山国际数据服务产业园数据存储资源优势,结合云南省政务信息中心建设规划,高水平建设两亚丝路大数据中心云平台,保障机房运维、带宽、供电、出入端口等需求,实现与国家云平台端口开放、数据共享、互联互通。
20187年实施两亚丝路数据资源中心建设工程并初步实施若干大数据应用高地工程。按照国家数据覆盖延伸、省级数据快速聚合、两亚数据互联互通的原则,以归集云南省和南亚东南亚国家经济、社会、文化等数据资源为核心,打造地方特色库,与国家“一带一路”综合数据库互联互通、信息共享。重点构建三类数据资源采集汇聚体系。建设云南“一带一路”大数据综合服务平台,主动承接国家“一带一路”大数据中心相关项目的实施和数据应用,推动面向宏观决策支持、重点产业支撑、民生服务等应用示范工程。
20198年全面实施大数据应用服务建设工程和大数据协同创新应用工程。在20187年的基础上,加快在南亚东南亚国家大数据应用市场的拓展,以及大数据服务、高端软件的输出。特别是要结合南亚东南亚国家国情,注重新兴信息服务业、小语种外包和宽带卫星物联网等服务业态的培育。围绕数据采集、整理、分析、挖掘、展现、应用等环节,通过优化整合国家和省级科技计划(专项、基金等),引进研发机构和大型专业化企业创新团队,创新体制机制,构建大数据产业协同创新平台。
4、总体设计方案
云南省两亚丝路大数据中心建设以“一个中心、三类服务、四大体系、五个保障”(简称1345工程)为主体的多维立体架构。一个中心是建设云南省两亚丝路大数据中心;三类服务是服务国家“一带一路”大数据战略决策、服务云南省各级政府经济社会发展决策和服务参与“一带一路”建设的有关企业;四大体系是基础设施支撑体系、数据资源汇聚体系、大数据应用服务体系和大数据产业协同创新体系;五个保障是组织保障、资金保障、人才保障、政策保障和运行保障。
根据项目的总体目标和总体建设任务,云南省两亚丝路大数据中心的总体设计方案采用云计算和大数据技术相结合的方式进行构建。在云计算方面,基础设施即服务IaaS、平台即服务PaaS、软件即服务SaaS和与大数据时代相适应的数据即服务理念已经为该项目奠定了坚实的基础。在大数据技术方面,基于开源的Hadoop和Spark分布式计算框架以及其他多种类型的生态系统组件进行开发,按照数据的采集、存储、处理和分析以及可视化等操作流程对平台的存储架构进行设计,按照多种类型分布式作业和资源管理器对平台的计算架构进行设计,并结合上层的业务需求提供了强大的数据分析和建模能力。
5.大数据应用
5.1 云南及两亚特色种植业大数据
云南及两亚地区有极具特色的热带亚热带种植产业。比如,烟草和中草药等特色经济作物。云烟和滇药等大批本地品牌利用大数据战略加速行业整合和服务转型发展。以云南烟草为例,利用区位优势和走出去战略,已经在东南亚的老挝等国家设立分厂,从原材料采购到生产制造直至最后的市场营销等各个环节都会产生高价值的商业数据。若充分利用优势产业和基础设施的基础沉淀,将为两亚丝路大数据中心立足云南辐射带动传统产业奠定坚实的基础。总体上说,通过对大数据的存储、挖掘和分析,云南本地独具特色的烟草、制药等行业将转变传统的生产、营销和管理模式,提升烟草和医药行业经营管理服务质量的同时,将释放出巨大的社会和市场价值。
首先,构建面向云烟和滇药市场的大数据分析平台。大数据技术将有助于精确烟草医药等行业的市场定位。通过架构大数据平台,将烟草等特定行业的调研数据集成进来,建立数据分析模型能够展示烟草行业市场构成、细分市场特征、消费者需求和竞争者状况等众多因素。大数据成为烟草行业市场营销的利器。一是通过获取数据并加以统计分析来充分了解市场信息,掌握竞争者的商情和动态,知晓产品在竞争群中所处的市场地位,来达到“知彼知己,百战不殆”的目的;二是企业通过积累和挖掘烟草行业消费者档案数据,有助于分析顾客的消费行为和价值趣向,便于更好地为消费者服务和发展忠诚顾客。
其次,利用两亚丝路大数据中心的建设契机,面向云烟和滇药等跨境企业建立统一的智慧物流系统,优化智能仓库、跨区域配送和运力资源,为参与一带一路和两亚跨境生产制造企业实时降低物流成本,提升物流效率。基于大数据技术的物流管理系统,将与物联网、网络通信和数据处理能力结合起来技术,应对不同业务场景下的现代物流需要。随着物流中心条形码、二维码、RFID等物联网设备的广泛应用,库区内的设备实时产生大量的数据。而基于零售客户GIS信息和送货车辆GPS信息的大数据,能为跨区域配送的实现提供事实支撑和方案规划。
然后,定制云烟和滇药企业收益管理模型,利用大数据技术支撑烟草行业收益管理。大数据时代的来临,为企业收益管理工作的开展提供了更加广阔的空间。需求预测、细分市场和敏感度分析对数据需求量很大,而传统的数据分析大多是采集的是企业自身的历史数据来进行预测和分析,容易忽视整个烟草行业信息数据,因此难免使预测结果存在偏差。企业在实施收益管理过程中如果能在自有数据的基础上,依靠一些自动化信息采集软件来收集更多的烟草行业数据,了解更多的烟草行业市场信息,这将会对制订准确的收益策略,盈得更高的收益起到推进作用。
最后,研发围绕云烟和滇药等传统行业的互联网舆情分析平台,将互联网中的生产者和消费者引入到这些传统行业中来,体现了互联网时代中的高度聚合特征。通过收集公众信息分享和互联网交互性大数据,将微博、微信等社交媒体中蕴藏的烟草行业需求和公众关心的问题挖掘出来,将促进烟草等行业的需求开发和现代化转型。如果能对网上烟草行业的评论数据进行收集,建立网评大数据库,然后再利用分词、聚类、情感分析了解消费者的消费行为、价值趣向、评论中体现的新消费需求和企业产品质量问题,以此来改进和创新产品,量化产品价值,制订合理的价格及提高服务质量,从中获取更大的收益。
第六章 本期项目建设方案
1、 建设目标与主要建设内容
1、建设目标与主要建设内容
建设目标:建设云南省两亚丝路大数据中心,广泛归集云南省生物医药和大健康、旅游文化、信息、现代物流、高原特色现代农业、新材料、先进装备制造、食品与消费品制造、大众创业万众创新等重点领域数据资源。以此推动政府部门、社会机构、企业及个人的大数据应用程度,促进泛亚区域的数据资源、应用资源的生产和聚集,努力建成全国领先、产业完整、辐射泛亚的大数据资源集聚地和大数据应用服务新高地
建设内容:搭建大数据分析平台,立足当地,服务当地,通过大数据中心,建立先进的产业技术研发试验平台,形成具有行业领先水平、结构合理的创新团队,构建长效的产学研合作机制,尽快将应用研究成果向工程技术转化、推动产业技术自主创新和提升企业创新能力的支撑平台
2、标准规范建设
大数据中心的标准规范建设包含许多具体工作,同时要通过组织和流程加以保障,以规范信息的生成、存储、共享
采用了“5+3”的数据生态环境治理技术,“5” 是指数据的采集、高效传输、集成、清洗、共享;“3”是指元数据、 数据标准和数据质量管理技术。通过以上技术可以完成数据的标准化、同步与共享,净化数据环境,形成符合标准的信息资源库,将一些垃圾或非正常数据通过该技术进行有效的处理,保证了数据的可用 性和有效性。
6.2.1数据编码标准化,
建立数据编码标准化的主要原则与规范
建立数据跨部门的数据编码标准化管理组织
建立数据编码标准化管理流程
6.2.2数据项名称标准化
定义标准的数据项名称结构
一个标准的数据项名称必须有完整的中英文名称对照
6.2.3建立规范化的数据字典
系统地管理企业数据编码、数据项名称、数据库位置等,关注最终用户的使用情况
6.2.4标准报表格式设计
依照信息的分类组成、数据编码、数据项目标准名称、业务规则和流程要求,定义内容和格式
根据信息收集和分析要求,定义报表格式
标准规范建设,建立大数据标准规范
3、信息资源规划和数据库建设
信息资源规划
大数据分析平台的整体架构如下:
1)获取层:数据采集(ETL)
负责源数据的采集、清洗、转换和加载包括:
I)把原始数据加载到Hadoop平台。
II)把加工后的数据加载分布式数据库和主数据仓库
2)数据层:Hadoop平台:
负责存储海量的流量话单数据,提供并行的计算和非结构化数据的处理能力,实现低成本的存储和低时延、高并发的查询能力
Hadoop平台提供了海量数据的分布式存储与处理的框架。基于服务器本地的计算与存储资源, Hadoop集群可以扩展到上千台服务器。同时,Hadoop在设计时充分考虑了硬件设备的不可靠因素,在软件层面提供数据和计算的高可靠保证。
l HDFS:分布式文件系统
ü 有较强的容错性
ü 可在x86平台上运行,减少总体成本
ü 可扩展,能构建大规模的应用
l HBase:非结构化NoSQl分布式数据库
ü 基于分布式文件系统HDFS,保证数据安全
ü 列式存储,节省存储空间
ü 提供大数据量的高速读写操作
l Hive:分布式关系型数据库
ü 数据可保存在HDFS,可提供海量的数据存储
ü 类SQL的查询语句,提供大数据的统计和分析操作,适合海量数据的批处理
ü 通过MapReduce实现大规划并行计算
l MapReduce:大规划并行计算引擎
ü 可将任务分布并行运行在一个集群服务器中
分布式数据库(MPP):
存储加工、关联、汇总后的业务数据,并提供分布式计算,支撑数据深度分析和数据挖掘能力,向主数据仓库输出高度汇总数据。
主数据仓库(与MPP合设):存储高度汇总数据。
新型MPP数据库主要构建在x86平台上,为无共享架构(Share Nothing),依靠软件架构上的创新和数据多副本机制,实现系统的高可用性和可扩展性。负责深度分析、复杂查询、KPI计算、数据挖掘以及多变的自助分析应用等,支持PB级的数据存储。
4)能力层:数据开放接口,向大数据应用方提供大数据平台的能力。
多维分析,把分立的数据“相联”,进行多维的分析,可以从任意的维度交叉和细分问题,用户能根据自己的需要,随时创建“万维”动态报表
数据挖掘 通过特定的计算机算法对大量的数据进行自动分析,从而揭示数据之间的关系,发现数据之下的历史规律和趋势,为决策者提供新的知识,对未来进行预测。
5)应用层,研究并展现各行业的数据模型,提供分析和决策辅助支持
数据库建设
应用层:应用系统的私有数据,应用
展开阅读全文