交通云存储系统云存储设计方案.docx

交通云存储系统云存储设计方案
云存储管理服务器设计
1.1.1数量配置
考虑到未来系统中的前端录像通道和抓拍车道数量总和会超过1024路，故采用管理服务器集群模式。集群部署可以保持线性增长，三台管理服务器集群可以支撑40路以内的摄像机通道规模。如果摄像机通道规模更大可以通过增加管理服务器台数来提高集群的性能，如5台管理服务器可支撑60路、7台管理服务器可支撑80路。管理服务器的数量必须为奇数。
管理节点集群部署是一种高可靠性、高稳定性的部署方式，此种方式是采用三台或三台以上奇数台服务器组成，安装交通云存储管理软件并运行集群工作模式，形成交通云存储管理集群。
此种集群工作模式，可实现单台或多台服务器应用的故障切换和负载均衡，
提高了交通云存储管理节点的可靠性和稳定性
系统性能也得到了很大的提高，

是大型视频监控项目首选的部署方式。
集群部署物理拓扑如下图所示:
接入
Qi Fiwn
高清掀拍用机
高清抓拍招机
图1.管理节点集群部署方式
网站高沽
堡愧机
网璃高清
5S懂机……
U I*
集群部署
存Aim厚

1.1.2硬件配置

存储管理服务器是基于Intel最新的Romley平台开发的一款高性能双路服务器，该服务器采用了全新的架构设计：在CPU内集成了 PCI-E，为CPU互联提供更多的QPI总线，更多的CPU内核数量等都直接带来了性能的大幅提升，相比上一代性能提升最高可达80%。存储服务器最大可以支持内存容量512GB，集成高性能SAS控制器，支持最多达8块热插拔3.5寸SAS/SATA硬盘或2.5寸SAS/SATA硬盘，内部横插卡的设计可以满足全高扩展卡的需求，强大的扩展性足以支撑关键任务的运行，满足资源密集型应用的需要。更多的PCI-E插槽、更高速率的PCI-E总线让用户轻松实现扩展。存储管理服务器非常适用于对服务器性能、扩展性及可靠性要求苛刻的数据中心环境。
1 )产品特点：
全新处理器架构带来性能飚升；
真正企业级的可靠和可用性；
IO超强扩展；
横插卡设计支持全高扩展卡；
模块化设计，免工具拆卸。
2)配置要求：
E5-2620 V2(6 核 2.1GHz) x 2/8GB DDR3 ECC x 4/6G 15K SAS x 2/热插拔/DVD/10M NIC x 2/(1+1)冗余电源/导轨/2U
云存储存储设备设计
1.1.3存储容量计算
混合云存储的存储容量包括视频容量计算和图片容量计算两部分。
视频监控录像存储容量
视频录像数据包括:监控摄像机全天候定时录像、事件触发录像、手动录像。
视频监控系统一般采用H.264编码算法：
1 ）设计码流为1080P@30帧（1920 x 1080 ） 6〜8Mbps,这样的算法和带宽可以确保图像清晰度、色彩还原及编解码延时等几个关键指标的综合最佳效果。
1路1080P摄像机按照这样的码流计算旦 天的存储空间：8Mbpsx 36秒x 24 小时 x 30 天/1024/1024/8=2.48TB,
根据具体情况（共规划建设视频监控系统XX套），存储容量总需求为：XXTB,系统建设存储设备总容量约为XXTBO
2）设计码流为720P@25帧（1280 x 720 ） 3〜4Mbps,这样的算法和带宽可以确保图像清晰度、色彩还原及编解码延时等几个关键指标的综合最佳效果。
1路720P摄像机按照这样的码流计算业天的存储空间：4Mbps x 36秒x 24 小时 x 30 天/1024/1024/8=1.24TB,
根据具体情况（共规划建设视频监控系统XX套），存储容量总需求为：XXTB,系统建设存储设备总容量约为XXTBO
建议在项目设计规划好适当冗余空间，一般为总容量的110%-125%。
车辆图片数据存储容量
车辆图片信息采用JPEG编码格式，符合ISO/IEC15444 : 20要求，压缩因子不高于70, 2万高清摄像机输出照片文件平均大小为3Kb, 3万高清摄像机输出照片文件平均大小为4Kb, 6万高清摄像机输出照片文件平均大小为6Kb。例如对于2万高清摄像机按单车道日均20辆流量估算，一个车道的图片信息按6个月的时间的容量计算公式如下：
20 辆 x 0.3MB x 1 车道 x 30 天/月 x 6 个月/1024/1024 = 0.1TB
总存储容量=0.1 x卡数量x车道数
车辆图片数据根据具体情况（按照XX个车辆卡，双向四车道计算），存储容量需求为：0.1xXXx4=XXTB。
因此系统建设存储设备容量为XXTBO
建议在项目设计规划好适当冗余空间，一般为总容量的110%-125%。
1.1.4存储设备数量配置
以36盘位网络存储设备为例，为了保证数据的可靠性，存储设备一般采用如下冗余措施：每台设备配置1片热备盘，剩余35片盘做3组RAID5。（建议:16盘位和24盘位做2组RAID5，36盘位做3组RAID5，48盘位做4组RAID5）。
1）计算单块硬盘的实际可用存储容量
采用3TB企业级硬盘，标准3TB硬盘的由于十进制与二进制计数的不同，其实际容量为 30GB- （ 1. 024 x 1.024 x 1. 024 ） =2794GB;
2）计算单台网络存储设备的实际可用存储容量
考虑到RAID5冗余措施，每台设备可用的有效存储硬盘位32片，同时考虑5%的格式化空间损失，则每台存储设备的净存储空间为：
单台存储设备净存储空间=3组RAID容量之和
2794GB x11x0.95 - 1024 + 2794GB x11x0.95 - 1024 + 2794GB x10x0.95：1024 铝 82.94TB
3）根据总容量计算出所需要的设备数量和硬盘数量（考虑到存储数据一致性原则，建议视频和图片存储设备分别计算后得出系统总的存储设备数量）
视频存储设备台数M1=视频总存储容量/每台设备的净存储空间
图片存储设备台数M2=图片总存储容量/每台设备的净存储空间
系统需要的存储设备数量M=M1+M2台
硬盘数量入=存储设备台数M x 36块
1.1.5存储设备硬件配置
海康威视安防云存储设备，采用模块化结构，提供高性能的视频图片存储服务，快速响应高并发数据访问能力，高可靠业务保护，为大数据安防云存储系统提供高性价比的解决方案。
1）产品特点
高密机箱设计：4U机箱可支持36块硬盘，节省结构空间，节省项目建设
资源。
高可靠系统设计:系统关键部件冗余设计，模块化抽屉式结构设计，全面提升系统可靠性；基于集群化技术，存储节点间负载均衡，互为备份，多节点故障时，业务自动调整服务不中断。
高性能应用服务:基于离散存储技术，多设备可并发快速响应数据读取服务，可满足海量数据检索秒级呈现，数据高速下载的需求；基于虚拟化技术，所有存储节点空间虚拟化成统一可用资源，用户通过接即可访问，空间资源可灵活划分，录像空间支持动态扩大和缩小，且数据不丢失。
低成本系统建设:支持视频、图片混合存储，且直接写入存储设备，无需流媒体服务器和图片服务器;支持流媒体转发服务，可节省转发服务器。
高效能运维服务:具有完备的维护机制，提供维护工具；支持对CPU、内存、网卡、磁盘等硬件的运行状态监控；支持软、硬件系统故障主动报警；支持设备故障、掉线主动报警。
易扩展:通过堆叠或级联的方式实现存储容量和性能的线性增长，且扩容过程中服务部中断，轻松实现几十TB到上百PB的快速扩容。
磁盘检测修复及RAID优化技术:提供磁盘使用前的预检技术，做到未使用先预防；提供磁盘使用中的巡检技术，做到及时报警；提供磁盘故障后的修复技术和复活技术，提高磁盘使用效率。支持RAID 0、1、3、5、6、10、50多种RAID模式；支持RAID即建即用，支持逻辑卷的动态在线扩展。
绿色节能:CPU根据负载动态调节工作频率，降低系统功耗；提供智能精细化调速策略，有效提高散热效率、降低噪声；可依据业务负载的情况，使部分或全部无读写的硬盘进入休眠模式，减少能源浪费，延长硬盘寿命；采用金牌高效电源，提高电源转换效率，降低电能损耗
兼容开放：可提供全套API接与第三方云存储系统对接；支持标准ONVIF、GB/T28181等标准前端接入。
2)技术参数
单控存储设备(DS-A71036R-CVS)
序号
项目
技术规格
1
处理器
高性能Intel 64位四核CPU
2
高速缓存
配置8G，可扩展至32G
3
主机接
配置2个千兆以太网，可增配4个千兆网或2个万兆网
4
RAID类型
支持 RAID0、1、3、5、6、10、50
5
冗余电源
配置金牌冗余电源
6
冗余冷却系统
配置冗余风扇
7
硬盘槽位
4U,最大硬盘数＞36
8
硬盘类型
支持SSD/SATA硬盘混插；支持3.5"硬盘，支持1TB、2TB、3TB、
4T硬盘
9
扩展性
配置6Gb SAS扩展接
10
容错管理
支持坏扇区容错，降低掉盘率，不影响业务，并可自动进行故
障扇区修复；
11
管理软件
支持基于WEB的中文GUI和可编程的CLI管理方式
12
云存储录像指
标（主动）
448路*2M，并发32路预览+32路回放
13
云存储图片指
标（被动）
4路写入；1路下载

双控存储设备（DS-A72036R-CVS ）
序号
项目
技术规格
1
处理器
两颗高性能Intel 64位六核CPU
2
高速缓存
配置16G，可扩展至48G
3
主机接
配置4个千兆以太网，可增配4个千兆网或2个万兆网
4
RAID类型
支持 RAID0、1、3、5、6、10、50
5
冗余电源
配置金牌冗余电源
6
冗余冷却系
统
配置冗余风扇
7
硬盘槽位
4U，最大硬盘数＞36

8
硬盘类型
支持SSD/SATA硬盘混插；支持3.5"硬盘，支持1TB、2TB、3TB、
4T硬盘
9
扩展性
配置6Gb SAS扩展接
10
容错管理
支持坏扇区容错，降低掉盘率，不影响业务，并可自动进行故
障扇区修复；
11
管理软件
支持基于WEB的中文GUI和可编程的CLI管理方式
12
云存储录像
指标（主动）
448路*2M，并发32路预览+32路回放
13
云存储图片
指标（被动）
6路写入；1路下载