物联网大数据分析实验室建设方案.doc

物联网大数据分析实验室建设方案一、项目背景“十三五”期间,随着国内当代信息技术蓬勃发展,信息化建设模式发生主线性转变,一场以云计算、大数据、物联网、移动应用等技术为核心“新 IT”浪潮风起云涌,信息化应用进入一种“新常态”。章鱼大数据为积极应对“互联网+”和大数据时代机遇和挑战,适应经济社会发展与改革规定,开发建设物联网大数据平台。物联网大数据平台打造集数据采集、数据解决、监测管理、预测预警、应急指挥、可视化平台于一体大数据平台,以信息化提高数据化管理与服务能力,及时精确掌握社会经济发展状况,做到“用数据说话、用数据管理、用数据决策、用数据创新”,牢牢把握社会经济发展积极权和话语权。二、物联网行业现状数字传感器大量应用及移动设备大面积普及,才会导致全球数字信息总量极速增长。依照工信部记录成果,中华人民共和国物联网产业规模在已经超过2300亿元,虽然和盼望“万亿规模产业”尚有一定距离,但已经不可小视。其中传感器设备市场规模超过900亿元,RFID产业规模190亿元,M2M终端数量也已超过2100万个。另一种方面,国内物联网公司也呈现出汇集效应,例如北京中关村已有物联网有关公司600余家,无锡国家示范区有608家,重庆、西安等都市也有近300家。从区域发展来看,形成了环渤海、长三角、珠三角等核心区以及中西部地区特色产业集群。在此前,也许没有哪家公司说自己是物联网公司。一夜之间产生上千家物联网公司,她们核心能力、产品或服务价值定位、目的客户和赚钱模式都是如何呢?一方面来看这些物联网公司从哪里来。当前物联网公司重要分为三类,第一类是此前公用公司转型,最典型是电信运营商,她们有自己基本设施,有客户资源,因而自然转型到物联网行业。除了电信运营商,某些交通基本设施运营商、甚至是气象设施运营商,也都转型为物联网公司。第二类是老式IT公司,例如华为、神州数码,以及众多上市公司等。这一类公司也是在老式优势积累基本上开拓物联网新业务。第三类是某些制造公司,涉及传感设备制造公司,网络核心设备制造公司,还涉及如家电等一批老式制造公司。这一类公司不能说没有大公司,但是绝大多数都是中小型公司。这些公司核心能力重要体当前三个方面,第一是传感器和智能仪表,第二是嵌入式系统和智能装备,第三是软件与集成服务。再来看国内物联网应用领域。通过对各种部委和地区物联网专项进行汇总,下图列出了当前提到最多,也是应用最成熟八个领域。但是换个角度再看,不论是工业控制、供应链管理、精准农业,还是建筑自动化、远程抄表、ETC,其实都并不是新技术领域,而是在物联网这个大概念下重新包装后再次引起了人们兴趣。总来说,物联网应用传感器改进了信息获取实时性和精确性,同步智能终端变化了人们运用和使用信息习惯。当前存在重要问题涉及应用过于碎片化,缺少满足顾客需求创新型产品/服务,行业间缺少信息共享和应用协同渠道,以及安全和隐私保护注重不够。三、建设目的章鱼大数据物联网大数据平台是顺应当前信息化技术水平发展、服务政府职能改革架构平台。它重要目的是强化经济运营监测分析,实现公司信用社会化监督,建立规范化共建共享投资项目管理体系,推动政务数据共享和业务协同,为决策提供及时、精确、可靠信息根据,提高政务工作前瞻性和针对性,加大宏观调控力度,增进经济持续健康发展。1、 制定统一信息资源管理规范,拓宽数据获取渠道,整合业务信息系统数据、公司单位数据和互联网抓取数据,构建汇聚式一体化数据库,为平台打下坚实稳固数据基本。2、 梳理各有关系统数据资源关联性,编制数据资源目录,建立信息资源互换管理原则体系,在业务可行性基本上,实现数据信息共享,推动信息公开,建立跨部门跨领域经济形势分析制度。3、 在大数据分析监测基本上,为政府把握经济发展趋势、预见经济发展潜在问题、辅助经济决策提供基本支撑。四、建设原则物联网大数据平台以物联网数据资源为重点,以大数据应用为核心,坚持“统筹规划、分步实行,整合资源、协同共享,突出重点、注重实效,深化应用、创新驱动”原则,全面提高信息化建设水平,增进全省经济持续健康发展。 1、统筹规划、分步实行。结合我省经济发展与改革领域实际需求,明确总体目的和阶段性任务,科学规划建设项目。先期完毕大数据平台整体架构建设,后期分步完毕业务系统整合及互相间数据共享问题。 2、整合资源、协同共享。对信息资源统一梳理,建立经济发展与改革信息原则资源库和数据规范,逐渐消灭“信息孤岛”,加快推动数据资源整合,建设共享共用大数据中心,实现业务协同。 3、突出重点、注重实效。以顾客为中心,以需求为导向,以服务为目,突出重点,注重实效,加强平台可用性和易用性。 4、深化应用、创新驱动。进一步理解顾客需求,密切跟踪信息技术发展趋势,不断深化应用、拓展新技术在应用中广度和深度,增进跨界融合,丰富管理和服务手段。五、建设方案为了保证项目顺利进行和建设目的可行性,章鱼大数据采用如下几种建设方案。 1、数据采集方案。我们统一信息资源原则规范,建立多维度数据库,拓宽数据来源,通过不同方式汇聚数据,增强分析力度,提高监测预警精确性和时效性。1、 预留接口,支持其他系统各种数据上传导入解决。将现存关于经济运营业务系统中历史数据和时效数据,通过上传数据文献至服务器、分析提取有效数据导入服务器数据库等方式采集起来,在本平台上复用。2、 支持外接数据上传导入解决。可以将公司单位或定点监测机构数据通过同样方式采集起来,在本平台上复用。3、 支持非构造化数据,即搜索引擎数据、社交媒体数据、地理空间数据和音视频数据等等。 2、数据分析方案。物联网大数据之大并不是难点所在,其真正难以对付挑战来自于数据类型多样、规定及时响应和数据不拟定性,而我们所面临也正是如此。我们采用批量数据解决系统,借助于深度学习、知识计算和可视化等大数据分析技术,通过对数据批量解决挖掘其中价值来支持决策和发现新洞察。 3、业务整合方案。在对社会发展有关业务子系统充分调研基本上,结合项目需求,可对其进行整合或嵌入解决(本方案整合公共信用信息服务平台、投资项目信息管理平台等)。1、 整合解决。将原有数据通过上传或导入方式进行采集,原有功能模块整合到本平台中,合二为一,完美将数据汇聚起来。缺陷是耗时较长。2、 嵌入解决。以单点登录方式将原有系统链接嵌入到本平台中,作为子系统单独存在。缺陷在于数据共享难以实现。六、建设内容 1、宏观经济监测预测及可视化平台政府信息化最后目的是提高政府决策水平,其中经济决策是核心内容。为了提高宏观调控决策水平,我们必要从依托老式记录数据向依托物联网非记录数据转变,从监测预测宏观经济总量向监测预测宏观经济先行指标转变,从中长期监测预测向实时监测预测转变。宏观经济监测预测及可视化平台环绕网络搜索、社交媒体、电子商务、终端定位和业务交易等五个方面全面整合互联网有关数据资源,建设以“容量大、形式多、分类细、响应快”为目的宏观经济监测预测数据库,构建基于互联网数据宏观经济非记录指标监测预测应用平台。环绕重点产业活跃度、区域经济关联度、宏观经济走向社会预期、社会消费热点、大宗商品供求及价格走势、就业形势、外贸订单变化趋势等方面,构建物联网大数据宏观经济先行指标和现时预测指标库,研究能客观、精确反映我省宏观经济运营状况指标体系,编制“山东指数”。在健全完善监测预警数据库基本上,充分运用大数据技术和理念,加强数据挖掘力度,强化定量分析,建立宏观经济分析系列模型,切实提高预测分析前瞻性、精确性和可靠性。积极拓宽信息发布渠道,建立可视化平台,如采用Unity3D引擎,三维界面高度仿真,所见即所得。平台针对多源易构海量数据,通过数据解决、存储管理、可视化交互分析等技术,实现图形化数据查询、可视化关联分析、证据链和情报线索发掘等功能。运用预测信号灯系统,形象地刻画出宏观经济总体运营状况,分析经济波动因素,及时理解各地区经济发展不平衡性,精确判断和测定经济景气循环运营状态,提高宏观经济决策水平。 2、建立食品安全风险监测大数据分析平台食品安全风险监测大数据平台基本是感知、收集、分析和共享覆盖食品生产全过程有关数据。国家应制定有关法规,强制履行在农、林、牧、副、渔及食品生产公司和有关主体建立覆盖食品生产全过程食品安全风险监测网点,进行动态数据标示与感知,设立食品安全风险监测省级及地方大数据分平台,负责动态收集、分析我省及地方食品安全监测数据,对我省及地方食品安全状况做出评估,对监测发现也许存在食品安全隐患及时发布预警,并将数据及时汇总到食品安全风险监测管理部门。 3、物联网数据共享互换平台物联网数据共享互换平台是各个平台中基本性和综合性平台,是解决“信息孤岛”、实现数据互连互通基本设施,有助于提高各类信息资源整合共享,以及信息资源综合运用。建设物联网数据共享互换平台首要目的就是要创造一种信息互换、信息共享方式和环境,按照统一原则和规范,建立信息资源整合机制,规范数据采集口径、采集方式,规范数据服务方式,建立统一资源信息整合与互换机制。我们按照统一、集约、高效数据开发运用理念,通过研究建立多级互换管理体系,形成政务信息资源物理分散、逻辑集中信息共享模式,通过以应用为抓手,进一步打通数据流,满足政府部门多方位、多层次数据需求,为跨地区、跨部门、跨平台不同应用系统、不同数据库之间互连互通提供包括提取、转换、传播和加密等操作数据互换服务。通过度布式布置和集中式管理架构,有效解决各节点间数据及时、高效上传下达,在安全、快捷、以便进行信息互换同步精准保证数据一致性和精确性。章鱼大数据物联网数据共享互换平台全局目的是建立一种可扩展、可集成、有统一数据模型、可互换和安全可靠分布式系统,对各类物联网资源进行组织和管理。解决物联网信息资源发现与定位问题,解决物联网信息资源规划与整顿问题。支持物联网信息集成整合应用、各业务部门办公应用和政府职能决策应用。面向政务协作、宏观决策、市场监管和社会管理服务。七、技术支持与平台性能 1、系统架构建立基于分布式物联网大数据集群管理系统,提供物联网大数据集群管理系统,功能包括Hadoop、Hive、HBase、Sqoop、Flume、Spark等节点部属及管理,提供实时监控集群CPU、内存、硬盘等使用率及有关信息,可以对管理节点、计算节点进行启动、停止等操作管理。系统架构图如下:2、Hadoop集群生态系统技术架构3、Hadoop核心重要功能设计4、HDFS简介-文献读流程Client向NameNode发起文献读取祈求。NameNode返回文献存储DataNode信息。Client读取文献信息。5、HDFS简介-文献写流程Client向NameNode发起文献写入祈求。NameNode依照文献大小和文献块配备状况,返回给Client它所管理某些DataNode信息。Client将文献划分为各种Block,依照DataNode地址信息,按顺序写入到每一种DataNode块中。6、MapReduce映射、化简编程模型输入数据-Map分解任务-执行并返回成果-Reduce汇总成果-输出成果7、HBase分布式数据存储系统Client:使用HBase RPC机制与HMaster和HRegionServer进行通信Zookeeper:协同服务管理,HMaster通过Zookeepe可以随时感知各个HRegionServer健康状况HMaster:管理顾客对表增删改查操作HRegionServer:HBase中最核心模块,重要负责响应顾客I/O祈求,向HDFS文献系统中读写数据HRegion:Hbase中分布式存储最小单元,可以理解成一种TableHStore:HBase存储核心。由MemStore和StoreFile构成。HLog:每次顾客操作写入Memstore同步,也会写一份数据到HLog文献 2、平台性能及优势1、先进性、开放性。基于Hadoop/Spark主流大数据构造应用技术和开放式体系框架,构造化设计,灵活可拆分,具备灵活可扩充接口,易于修改调节、二次开发和扩充,最大限度减少因上游技术升级带来系统实行风险,保证投资有效性和延续性。2、 可扩展性。由于采用了平台化构建思想,章鱼大数据整个系统可做到与底层各种硬件环境、操作系统、数据接口自由适配,保证系统在软件、硬件环境方面灵活配备以及将来拓展应用。采用基于开放模块化设计,可依照需要进行灵活动态模块扩充,并保证原系统环境不受影响。系统提供开放原则接口,可实现与外围业务系统无缝集成应用,灵活扩展系统业务应用范畴。3、 稳定性、可靠性。系统采用集群构造应用模式,集中安装布置,客户端零安装,因此系统运营不受任何客户端单点故障影响。技术框架支撑,可以实现数据信息持久、稳定连接,保证事务解决持续和完整,保证业务数据精确完全。4、 其她优势。八、硬件系统建设1、服务器采用二十台高性能品牌服务器作为大数据节点进行建设,采用公司级全千兆三层互换机进行网络数据互换。每台节点配备如下:解决器每节点支持2个英特尔 至强 解决器 E5-2620v4 CPU高速缓存15MBQPI总线速率7.2GT/s内存提供12个内存插槽,标配192G内存,支持高档内存纠错,内存镜像,内存热备等高档功能磁盘标配3块3TB SAS硬盘标配2块480G SSD 硬盘网络控制器集成1个高性能千兆以太网控制器(双口),支持虚拟化加速,网络加速,负载均衡,冗余等高档功能电源标配大功率高效白金级电源,1+1冗余虚拟化技术支持VMware vSphere、Docker、OpenStack等2、实验终端设备采用20台普通品牌PC机作为物联网大数据实验终端设备。每台终端配备如下:解决器第四代智能英特尔酷睿I3解决器内存DDR3 8G内存磁盘500GB SATA硬盘显卡集成H110芯片显卡声卡集成声卡网络控制器集成1个高性能千兆以太网控制器显示屏20英寸显示屏软件系统Windows 10键盘鼠标有线鼠标、有线键盘