南京物联网研究院云计算方案书.doc

南京物联网研究院云计算方案书

南京物联网研究院云计算方案书

1 方案概述 3
2 总体架构 4
3 分布式数据库--数据立方 5
3.1 数据立方(DataCube) 6
3.2 软件规格说明 6
3.3 优势 8
4 任务调度引擎--JobKeeper 8
5 硬件规格 11
6 市场应用 14

1 方案概述
当今时代是数据爆炸时代，全球数据总量每过18个月就会在原有数据总和基础上翻一番。IDC研究表明，仅从2006年到2010年，全球信息总量增长6倍以上，从161EB增加到了988EB。随着互联网向物联网、移动互联网的扩展，网络将连接起更多的人和物，信息海量化趋势将进一步加剧。在这样的背景下，各行各业，各大领域的公司、政府机构需要将TB乃至PB级的数据存储起来，并从中挖掘出有用的信息，对这些海量的数据进行快捷、高效的处理。云计算与云存储在这样强烈的市场需求之下应运而生。
作为重要的社会基础物联信息系统，每年产生及需要管理的数据也是相当惊人的，尤其是公路和航道数据信息管理方面，传统处理方式已无法实现如此海量数据的存储与高效处理。因此，为加强物联系统管理能力，进一步提升物联信息科技水平，提高信息处理效率，应用云计算与云存储管理相关系统，已成为物联管理科技发展的必然趋势。
作为当今处理海量数据存储与计算的最佳方案，云计算是一种基于互联网的、大众参与的计算模式，其计算资源（计算能力、存储能力、交互能力）是动态、可伸缩、且被虚拟化的。云计算已被公认为能够改变人类信息生活的革命性技术，其计算资源组织、分配和使用模式，有利于合理配置计算资源并提高其利用率，促进节能减排，实现绿色计算。
本方案针对物联信息系统实际应用特点，结合云计算、云存储优势，利用云创存储自身云计算与云存储产品，创新地开发设计了物联云系统平台，通过整合各个物联信息相关部门系统现有资源，结合云创cStor海量云存储系统、cProc高效云处理平台、cVideo云视频监控管理系统、cTrans高速云传输系统四大系统产品，充分发挥云存储与云计算针对海量数据处理时的优势，达到海量监控信息存储与管理的目的，从而进一步提升物联平台数据管理能力，物联信息处理效率，为打造科技创新型现代物联平台做出贡献。
2 总体架构

IaaS层：利用虚拟化技术将计算、存储和网络等基础硬件资源，以逻辑方式形成基础资源池层，再将资源池提供的虚拟机、虚拟存储或虚拟端口组等经过二次封装与组合、调度使用，形成一个个面向组织用户的虚拟服务器、虚拟桌面或者云存储系统，通过这样的形式为公安系统的各业务单位提供资源服务；同时提供物理资源和虚拟资源的统一监控管理，进而提供全生命周期资源服务。
PaaS层：在IaaS层基础上，提供分布式数据库--数据立方来解决海量结构化数据的管理和数据交互，提供标准SQL接口、JDBC技术，能够与前台应用进行无缝对接；同时提供海量任务并行调度引擎JobKeeper，能够实时处理大规模并发任务的负载均衡和任务分发，做到所有任务实时分发处理，不堆积，做到高度可靠性，任何任务处理过程中不会丢失，保障所有任务都能够处理完。
SaaS层：物联云计算平台能够支撑所有物联业务系统在上面运行，所有业务数据统一管理，根据权限做到绝对安全访问，能够支撑各个部门的业务应用：
局机关：专网门户、市级电子政务横向网、综合交通数据中心、交通服务热线平台、行政权力网上公开透明运行系统、交通工程建设诚信管理系统、交通应急指挥中心（系统视频监控中心）、交通战备指挥室。
公路处:专网门户、路政管理、养护管理、公路网管理与应急指挥、GPS车辆监控与移动执法、交通量观测站流量采集传输等系统。
航道处: 专网门户、船闸视频监控系统、联网收费系统、航标遥感遥测、GPS船舶辅助调度系统、内河交通量自动观测系统、沿河航道视频监控系统。
运管处: 专网门户、“运政在线”管理信息系统、运输管理视频系统、地理信息系统、运管危货车船GPS监控管理系统、出租车叫车系统、公交调度中心和电子站牌、客运监控中心等
地方海事局：专网门户、海事现场监督业务管理系统、内河船员管理系统、交通安全质量管理体系审核信息系统、船员电子考试系统、船舶GPS监控系统、船舶文书发放管理系统、船用产品检验与管理系统、洪泽湖水上应急指挥系统等。
建设处:工程管理系统、电子政务网；
港口局和邮政局：目前没有自己信息化管理系统，将来使用电子政务网。

3 分布式数据库--数据立方
数据处理是对数据的采集、存储、检索、加工、变换和传输。数据是对事实、概念或指令的一种表达形式，可由人工或自动化装置进行处理。数据的形式可以是数字、文字、图形或声音等。数据经过解释并赋予一定的意义之后，便成为信息。数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。数据处理是系统工程和自动控制的基本环节。数据处理贯穿于社会生产和社会生活的各个领域。数据处理技术的发展及其应用的广度和深度，极大地影响着人类社会发展的进程。
3.1 数据立方(DataCube)
我们以B+树的结构建立了字段的索引，每个B+树结构的字段索引相当于一个数据平面，这样一个全局数据表与其多个重要字段的索引就组成了一个类似于立方体的数据组织结构，我们称之为“数据立方(DataCube)”。如下图所示：

数据立方(DataCube)是一种用于数据分析与索引的技术架构。它是针对大数据(big data)的处理利器，可以对元数据进行任意多关键字实时索引。通过数据立方对元数据进行分析之后，可以大大加快数据的查询和检索效率。
数据立方是凌驾于数据存储层和数据库系统之上的，通过数据立方解析后，可以大大增加数据查询和检索等业务，可以让系统平台具备数据实时入库、实时查询、查询结果实时传输等优势。
3.2 软件规格说明
规

格

说

明

项目
内容
可管理的数据总量（★）
支持100PB量级的数据管理
实时索引的数据流量（★）
支持100Gbps以上量级的数据流实时索引
任意关键字段实时创建索引（★）
根据提供的表结构解析元数据，并根据提供的任意关键字段实时创建索引。
可移植性（★）
Java语言实现，具有跨平台性，一次编程，任意操作系统都可运行。
实时查询（★）
1小时范围查询：1－3秒内响应，
24小时范围查询：3－5秒内响应，
7*24小时范围查询：5－10秒内响应。
支持简单SQL组合查询（★）
采用和关系数据库混合模式，绝大部分海量数据存放于分布式平台并进行分布式处理，少量实时性要求很高的数据存放于关系数据库，可支撑各种类型的业务。不仅支撑查询、统计、分析业务，还可支撑深度数据挖掘和商业智能分析业务。
负载均衡可靠性（★）
拔掉或增加一台节点后，仍能均匀地向各处理节点分发数据。
支持并发查询（★）
1、 20个查询都能正常下发执行、且都能正常返回结果，
2、 20个查询任务的总耗时差距不大，根据机器负载进行均衡分配查询任务。
数据准确性（★）
查询条件相同情况下，每次查询结果相同。
稳定性（★）
1、 系统连续运行7*24小时，无任何故障，
2、 所有周期任务均正常执行，且执行结果正确。
可靠性（★）
没有单点故障，任意节点宕机，系统工作正常，可以继续进行数据处理和应用查询,不会影响分布式系统运行和查询结果的准确性。
扩展性（★）
既可以在很小规模机器上跑,也可以在成千上万台的机器上运行，而且经过很简单的操作就可以把规模扩展到成千上万台服务器上,而且可靠性随着加入节点的增加成线性上升。
分布式计算能力（★）
集群能增加节点、并且能正常执行查询任务，在流量没变、资源增加的情况下，增加机器前后，查询任务耗时按比例降低。
支持对外接口（★）
支持Web访问和Web Services接口进行对外数据交互操作。
监控功能
提供web界面对分布式文件进行监控，支持查看、下载索引文件和元数据文件。
3.3 优势
实时性：平台在高效率并行分布式软件的支撑下，可以实时完成数据处理和分析工作，如数据处理、数据查询、和统计分析等。数据处理不会出现数据堆积现象，各类分析和查询工作基本都在秒级完成，具有前所未有的高效性。
响应速度快速：在海量数据领域，DataCube的响应速度远远快于传统的数据库。采用分布式处理的方式，性能与节点数成正比，通过增加节点的方式，可将性能提升，以达到满足需求的处理要求。
高可靠性：基于对云处理可靠性深厚的研究积累，彻底解决了当前分布式处理平台易出现的单点故障问题。任何一个节点出现故障，系统将自动屏蔽，而且不会出现丢失数据的现象。
可伸缩性：在不停机的情况下，增加节点，平台的处理能力自动增加；减少节点，平台的处理能力自动缩减。这样，可以做到与资源池的无缝对接，根据处理和存储任务动态地申请或释放资源，最大限度地提高资源利用率。
高性价比：采用X86架构廉价处理机构建云处理平台，用软件容错替代硬件容错，大大节省成本。在目标性能和可靠性条件下，可比传统的小型机加商用数据库方案节省10倍左右的成本。
全业务支持：采用NoSQL＋关系数据库混合模式，绝大部分海量数据存放于分布式平台并进行分布式处理，少量实时性要求很高的数据存放于关系数据库，可支撑各种类型的业务。不仅支撑查询、统计、分析业务，还可支撑深度数据挖掘和商业智能分析业务。
4 任务调度引擎--JobKeeper

JobKeeper调度平台是建立于虚拟化资源层之上，统一调度，统一配置的管理平台，用于对集群中任务实时的处理调度，实时结果集的反馈，集群的负载均衡，失败调度，集中管理，集中配置的平台。用来保证整个集群的超低人员干预。同时，提供完善的集群伸缩机制为整个服务提供更高的可靠性。
JobKeeper云调度技术架构图

应用层是一组用于管理和结果反馈的显示组件。用于显示任务的处理情况以及集群中机器的活动情况，同时其也是一个上层应用和底层服务的对接平台。是整个系统面向用户和开发人员的基础承载。
业务层是对于应用层的相关功能的业务化，数字化处理，用于将应用层的需求任务进行规则化划分，形成统一的处理化模式。
数据处理层是独立的数据处理程序，是对不同需求数据的统一处理方案，他的运行与监控的工作将由JobKeeper调度平台进行统一的配置管理。
存储层是用来存储数据存储层的处理结果集或者其他中间结果集的单元。
虚拟化资源层是将实体的机器进行虚拟化，形成更大范围的服务集群。
JobKeeper调度平台是由一组管理节点（Master Node）和一组处理节点（Task Node）组成，管理节点组是一组基于Webserver的RPC(RPC采用客户机/服务器模式。请求程序就是一个客户机，而服务提供程序就是一个服务器。首先，客户机调用进程发送一个有进程参数的调用信息到服务进程，然后等待应答信息。在服务器端，进程保持睡眠状态直到调用信息的到达为止。当一个调用信息到达，服务器获得进程参数，计算结果，发送答复信息，然后等待下一个调用信息，最后，客户端调用进程接收答复信息，获得进程结果，然后调用执行继续进行。)服务器，负责对处理节点的系统信息以及任务处理信息进行实时的跟踪和保存，对应的信息镜像存储在基于cStor或者NFS服务的存储系统上，保证每个管理节点中的镜像信息的实时同步。同时架设在管理节点上的ZooKeeper服务(ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，包含一个简单的原语集。分布式应用可以使用它来实现诸如：统一命名服务、配置管理、分布式锁服务、集群管理等功能。)用于对整个管理节点组进行统一的配置化管理。处理节点组通过RPC的远程调用获取各自节点的任务处理目标，并实时的和处理节点上的任务处理目标进行对比，控制程序的执行和结束。（注：这里的程序，可以是任何语言任何形式的独立程序，但是必须提供执行脚本，和运行参数选项）处理节点组会在一个设定的心跳间隔内主动的和管理节点组联系一次，报告节点存活状态。如果在若干个心跳间隔后管理节点组仍然没有获取到处理节点心跳报告，那么该处理节点将会被踢出处理节点组，同时该节点处理的所有处理任务也会被重新调度。随着集群处理数据量的不断增大，处理节点组提供了简单高效的自动化部署方案，当新机器加入处理集群后，会主动的与管理节点组同步心跳信息，从同一配置服务器ZooKeeper上获取相关配置信息，通过WebServer服务获取任务列表，开始执行数据处理工作。
JobKeeper调度平台提供了一套基于Web的管理化界面，可以实时的观察各个处理节点的任务运行状态，以及任务列表的分配情况，机器的负载情况等。用户在管理系统界面上可以完成所有的工作，如新任务的添加，任务的手动调度以及集群日志的查看与分析等。

任务处理节点和管理节点之间维护一个心跳时间，实时向管理节点汇报任务处理信息，同时，任务处理节点在每个心跳时间内向管理节点获取该处理的任务列表，并和本机正在处理的任务列表进行比对，完成相关的任务调度工作。若一个处理节点在多个心跳时间范围内仍然没有主动的和管理节点相互联系，那么管理节点将会根据各机器的负载情况，将失去心跳连接的处理节点上的任务进行任务的重新分配和执行。
5 硬件规格
数据立方云计算一体机D1000系列
经济型配置 100TB容量产品报价￥1,200,000元
设备型号
参数配置
部件清单
型号
控制节点服务器
主板
Intel5600芯片组
CPU
双路四核，主频2GHz以上
内存
32GB DDR3
硬盘
3.5寸SATA企业盘*1
电源
625W冗余电源1+1
机箱
2U机架式服务器机箱
处理节点服务器
主板
Intel5600芯片组
CPU
双路四核，主频2GHz以上
内存
32GB DDR3
硬盘
3.5寸3TB SATA企业盘*12
扩展卡
高速内置接口SAS端口 6Gb/s
4端口进阶型 SerialATA 3G 1.5G
电源
625W冗余电源1+1
机箱
2U机架式服务器机箱
配套设施
交换机
千兆交换机冗余
机柜
42U 高通风率六角弧形网 SPCC优质冷扎钢板制

数据立方云计算一体机D1000系列
标准型配置 200TB容量产品报价￥2,200,000元
设备型号
参数配置
部件清单
型号
控制节点服务器
主板
Intel芯片组
CPU
Intel E5系列*2
内存
32GB DDR3
硬盘
3.5寸SATA企业盘*1
电源
750W 高效冗余电源 1+1
机箱
1U机架式服务器机箱
处理节点服务器
主板
Intel芯片组
CPU
Intel E5系列*2
内存
48GB DDR3
硬盘
3.5寸3TB SATA企业盘*12
扩展卡
Intel RAID Expander RES2SV240
电源
750W高效冗余电源 1+1
机箱
2U机架式服务器机箱
配套设施
交换机
千兆交换机冗余
机柜
42U 高通风率六角弧形网 SPCC优质冷扎钢板制

数据立方云计算一体机D1000系列
增强型配置 320TB容量产品报价￥3,600,000元
设备型号
参数配置
部件清单
型号
控制节点服务器
主板
Intel芯片组
CPU
Intel E5系列*2
内存
32GB DDR3
硬盘
3.5寸SATA企业盘*1
电源
750W 高效冗余电源 1+1
机箱
1U机架式服务器机箱
处理节点服务器
主板
Intel芯片组（高温主板）
CPU
Intel E5系列8核*2
内存
48GB DDR3
硬盘
3.5寸3TB SATA企业盘*12
扩展卡
Intel RAID Expander RES2SV240
电源
750W高效冗余电源 1+1
机箱
2U机架式服务器机箱
配套设施
交换机
InfiniBand 交换机
机柜
42U 高通风率六角弧形网 SPCC优质冷扎钢板制
6 市场应用
应用范围
应用描述
成功案例
典型用户
移动网络优化
海量数据存储、结构化数据实时索引、实时处理、提供API接口、Web Services接口，与应用层无缝对接
广东移动信令共享云平台、江苏移动信令共享云平台、辽宁移动信令共享云平台
中国移动、中国联通、中国电信
平安城市

海量数据存储、实时视频流处理、视频内容识别
南京智能安防监控平台
南京市公安局
智能交通
数据集中式存储、智能识别道路车流和排队情况，向各种终端提供自适应的并发访问
智能交通云平台
南京市交管局
媒体
海量数据存储、海量数据处理
天华传媒云转码系统
深圳天华传媒、
视频点播行业
......

14 / 14
南京云创存储科技有限公司 2013-03-01