学校视频监控云存储解决方案.doc

UIT云存储解决方案XXX学校视频监控云存储解决方案创新科存储技术有限公司1 项目背景“百年大计，教育为本，学生的成长和教育问题一直是政府、学校、家长及全社会广泛关注的问题。近年来，校园的各类安全问题得到了政府和社会的高度重视,校园安保已经不再是简单的校园自身安全管理问题,而是保障现代教育环境和谐有序不可忽视的社会治安问题。随着高清视频监控和智能安防技术的日益成熟和广泛应用，现代校园安保也越来越多地借助到信息化手段来提高其能力和效率.然而高清智能的视频数据采集、传输、存储以及管理应用对其配套软硬件环境具有严格的要求,系统的安全可靠性及智能高效性成为校园安保关注的焦点.当前，传统的校园信息化架构往往无法满足高清视频监控的灵活部署和大规模应用，更加安全、高效、可靠、便捷的校园安保系统将成为未来平安校园建设的必然趋势。然而现代平安校园在建设过程中，面临着多方面挑战和压力：数据量大且复杂：现代校园大而分散，人车流混杂,人员身份复杂且分布不均，流动性较强，使得校园内空旷之地和人员密集区域均存在安全隐患,时刻产生大量复杂的前端动态视频数据。效率低下:在突发事件面前，传统安防系统只能做到被动响应和事后取证,既无法第一时间智能预警，也不能在有效时间内找出精准的关键事件依据，严重影响校园事件处理效率。系统老旧复杂：传统校园安防系统资源分散,互通性差，且设备复杂繁重，扩容改造困难，应用和维护管理复杂，往往与新设备无法实现联动追踪。XXX学校视频监控系统具体需求如下：l 存储模式：集中存储；l 存储规模:600路高清摄像头；l 存储码流：2Mbps；l 存储时间:每天24小时，共存储90天;l 可靠性要求：存储设备整机故障，录像不中断；2 推荐产品型号为充分满足项目要求,并结合系统可靠性、设备稳定性及先进性原则，我们选择创新科存储技术有限公司的NS9000云存储系统作为本方案的选型存储产品。 产品型号：NS9000云存储系统NS9000云存储系统基于集群存储架构设计,每套存储节点为16、24、36不同盘位设计,支持横向扩展,最大可管理超过1000套存储节点,最大容量超过数千PB，支持将所有存储节点虚拟化整合,形成一个大的虚拟池，组成全局统一命名空间。NS9000云存储系统采用专利技术的副本技术,支持重要数据的镜像冗余存储模式,任意存储节点整机故障，数据不丢失,业务不中断;NS9000云存储系统存储节点支持SATA/SAS硬盘,支持多种RAID级别，任意硬盘故障数据不丢失；同时支持整台存储节点故障时录像不中断，当存储节点整机故障后，NS9000云存储系统侦测故障并利用IO重定向技术，将故障设备的录像业务重定向写入其它正常的存储设备,保障用户录像业务不中断，数据无丢失；结合监控平台厂商提供的录像服务器冗余方案，整套存储系统可以达到磁盘、设备、服务器三级冗余，达到99。99的存储系统高可用性要求.3 解决方案3.1云存储总体设计考虑业务高可靠性和后期在线扩展，XXX学校项目采用NS9000云存储系统方案，整合所有存储空间为全局统一命名空间，并实现高性能、高可扩展性、高可靠性,NS9000云存储系统支持标准NAS共享协议，其中私有协议支持国际标准化POSIX文件系统接口，前端应用无需修改,可以直接运行在NS9000云存储系统上。云存储系统位于业务流程的底层,前端监控设备采集的视频数据通过传输网络在监控中心汇聚，通过流媒体/录像服务器将所有监控录像保存到云存储集中存储系统；云存储系统设计的重点就是要保证录像、回放业务的不间断性和视频数据的完整性；如下图所示:前端采集层：主要负责数据采集，并将视频或图片数据以数据流或文件的形式传输到流媒体/录像服务器.录像/应用层:主要包括流媒体/录像服务器、检索服务器、数据分析服务器、及第三方应用接入服务器等，安装有监控系统的各个功能模块。云存储层位于整个系统底层，也是整个校园监控应用的基础，由存储设备层和虚拟化层组成；提供安全可靠的数据存储空间，采用集群的方式，实现多台存储设备的虚拟化整合，提高系统的抗风险能力，保障数据的安全和业务的连续性。这三层相对独立,却又紧密联系。是整个视频监控系统的支撑，每一层都可以实现冗余设计,且方便设备故障问题检测。以UIT创新科NS9000为核心的云存储系统相比传统IPSAN存储方案，支持存储设备整机故障录像不中断副本实现数据不丢失,具备独有的业务高可靠优势，同时具有强大的存储容量在线扩展能力和存储空间按需分配优势,从系统高可靠性、高可扩展性、存储空间弹性利用等方面完全满足XXX学校视频监控系统的建设需要。3。2可靠性设计3.2.1硬盘故障冗余NS9000云存储系统中的每一台存储节点都支持多种纠删码级别，纠删码是保障视频监控录像数据的安全性和存储业务连续性的根本所在,从成本和可靠性出发，UIT创新科建议存储盘阵采用8+2组建纠删码的的方式。纠删码在任意1块硬盘故障的情况下，数据不丢失，存储业务不中断，降低了硬盘故障所带来的风险。3.2.2存储设备整机故障冗余NS9000云存储系统的所有存储节点均以并行化方式工作，实现全局负载均衡;同时支持任意存储节点整机故障的无缝消除,表现在以下两个方面：l 在不额外增加存储节点硬件投入的情况下，可以实现写入业务不中断；支持多台存储节点同时故障，最多可以损坏50%的存储节点,实现N+N设备级故障冗余；3.2。3多冗余元数据控制单元NS9000云存储系统支持元数据与数据分离的带外存储架构，其中元数据由独立的元数据控制单元来管理和存储,是整个云存储系统架构的核心设备，UIT创新科采用3台独立的MDC设备互为冗余，形成HA高可用管理机制。这一套元数据控制单元拥有高效和完善的故障检测机制，实现设备故障毫秒级切换,保障整个云存储系统的稳定、持续、高效运转。3。2。4网络冗余存储网络是整个云存储系统正常运行的核心,UIT创新科建议存储盘阵与交换机之间做链路冗余设计,UIT创新科NS9000云存储系统采用的存储设备的4个网口做负载均衡，每台NS9000元数据控制单元的4个网口也做负载均衡。3.2.5存储服务器冗余在视频监控系统中，和云存储系统关系比较密切的是录像服务器。录像服务器承担前端多路摄像码流的文件打包，并向云存储系统发起读取和写入请求;UIT创新科NS9000云存储系统支持全局数据共享功能,允许存储服务器以集群N+1冗余的方式工作，结合监控平台厂商提供的录像服务器冗余方案,整套存储系统可以达到磁盘、设备、服务器三级冗余,达到99。99的存储系统高可用性要求.3。3扩展性设计3。3.1全局统一命名空间NS9000云存储系统采用开放式集群存储架构，基于IP以太网交换网络核心，通过IP网络共享所有存储空间给存储服务器使用.NS9000云存储系统内置具有自主知识产权的集群文件系统UFS,将所有存储盘阵进行统一整合，聚合所有的存储空间为统一的大的虚拟存储池,并以NAS共享协议或私有文件系统等标准访问方式共享给应用服务器;同时，聚合所有存储盘阵的带宽性能。整个存储架构具有存储空间整合、存储盘阵性能聚合、设备动态扩展、集群管理的特点。3。3。2在线横向扩展在视频监控系统正常运转情况下,只需要将存储盘阵接入内部IP以太网交换网络，然后通过NS9000云存储系统动态加入到统一的大的虚拟池，就完成存储空间和存储性能的线性扩展。同时，应用服务器无需下线，也无需任何设置就可以使用新扩展的存储盘阵，获得更好的存储性能，实现性能与容量的线性扩展;整个NS9000云存储系统支持在线扩展至超过数千PB的海量存储空间，完全满足XXX学校视频监控系统未来规划设计.3.4运维管理3。4。1集群部署NS9000云存储系统支持集群部署功能，通过WEB管理界面打开集群部署界面,只需要一个操作就可以完成对所有存储盘阵的操作配置。在集群部署过程中，只要使用1台管理终端接入视频监控网络就可以打开WEB管理界面，进行集群部署，具有操作简便、部署快捷、节省人力成本特点。3。5存储容量3。5.1净容量需求XXX学校视频监控系统高清摄像头路数：600路；码流大小：2Mbps存储码流;存储时间：每天24小时，按90天存储时间计算.整个XXX学校视频监控系统所需要的存储净容量：监控中心路数码率录像时间保存天数所需净容量前端摄像机6002Mbps24小时90天1113TB计算方法如下：所需净容量监控路数4Mb/s824小时3600秒30天/1024/1024注1:1024为MB、GB和TB各单位之间的转换系数,1TB1024GB，1GB=1024MB.3。5.2存储配置NS9000云存储系统采用36盘位存储节点,配置采用企业级SATAIII4TB硬盘，其中8+2块4TB硬盘组成一个纠删码组.则存储设备数量和硬盘数量计算如下：集中监控中心所需净容量纠删码配置单台净容量36盘位存储设备数量4T硬盘数量监控中心1113TB纠删码（8+2）115。2TB10台360块计算方法如下：单台存储净容量4000GB(36块盘）0.8=115.2TB存储盘阵数量净容量115.2TB(单台设净容量)硬盘数量=存储盘阵数量单台设备硬盘数注：为增加系统的高可用性,建议所有机箱满配硬盘;3。6性能设计3.6.1优化的检索性能在基于独立元数据控制器的NS9000云存储的方案中，由于实现了带外数据管理方式，从海量数据中定位某段视频的检索方法发生了变化,从传统的“应用索引存储设备本地文件系统子目录文件”检索方式,转变为“应用索引集群文件系统元数据索引对应数据块地址”快速索引检索方式，通过优化的元数据检索算法，大大提高了文件和视频检索性能,模拟测试显示在2000TB级的海量数据中,检索到任意一段视频的检索时间不大于100ms，检索性能在视频监控行业具备领先地位。3。6。2存储设备负载均衡NS9000云存储系统支持所有存储设备的并行化工作，支持选择不同的资源分配算法实现全局负载均衡和顺序方式工作，在负载均衡工作模式下,可以聚合所有存储设备的带宽，实现100Gbps以上的总聚合性能，同时，当任意一台存储设备故障,其它所有正常存储设备可以接管故障设备的业务数据,并重新进行负载均衡，支持存储性能线性扩展。3。7方案拓扑图在本方案中,XXX学校视频监控中心采用一套NS9000云存储系统负责保存前端视频数据，相比传统IPSAN方案，NS9000云存储系统可以聚合所有存储设备容量为统一存储池，实现高性能并发录像与回放带宽、数据全局共享、后期在线扩展等优势,其网络拓扑图如下所示:图3-1监控中心云存储系统网络拓扑图前端高清摄像码流通过视频监控专网传输至集中监控中心，通过平台软件流媒体服务器转发至存储服务器，由存储服务器以标准POSIX接口写入NS9000云存储系统中,实现数据集中存储;在平台软件的统一调度下,通过流媒体服务器可以从NS9000云存储系统中检索出历史视频用于客户端回放。NS9000云存储系统通过元数据控制单元对所有存储节点的存储空间进行虚拟化整合,形成一个统一的大的虚拟存储池，最大可整合超过1000台存储节点，最大容量超过数千PB;NS9000云存储系统支持设备故障自动切换；支持容量动态扩展和动态分配；支持系统性能动态扩展；且云存储系统内部发生的设备故障冗余、节能切换、容量扩展等操作对应用完全透明.3。8方案优势NS9000云存储系统解决方案，具有如下优势:l 高可靠性，支持设备级N+N设备级故障冗余，在不额外增加存储设备的情况下，存储设备故障支持录像应用不中断.l 高性能,支持元数据与数据分离,数据路径与元数据路径独立，消除性能瓶颈,通过对所有存储设备的性能进行聚合,对外提供并发高性能录像与回放,满足多点并发浏览/回放的高性能需求。l 智能MAID节能，可以设定轮流工作策略，允许负载空闲的存储设备休眠，延长硬盘寿命;l 在线扩展架构,支持横向扩展，可在线添加存储节点，容量在线扩展，秒级完成,随着设备数量增加,性能线性提升；l 全局数据共享,全局统一命名空间，支持前端应用的有效负载均衡和故障切换，支持视频分析类应用的无缝接入;l 空间动态按需分配，所有存储节点的容量都纳入统一存储空间管理，存储容量按需使用,降低容量管理成本；l 降低建设成本，采用成熟廉价的IP以太网网络，降低整个项目的硬件采购成本。同时，通过对磁盘阵列容量整合、性能整合,设置设备间的安全冗余,可以更好地满足项目需求。l 本地化服务，UIT创新科存储技术有限公司在全国各省建设有技术服务中心，拥有雄厚的技术服务团队,快速、持续的满足用户新的需求，成为用户技术服务的有力保障.UIT创新科公司拥有过硬的技术支持，掌握核心技术开发，随时响应用户的需要.4 产品介绍4。1UIT NS9000云存储系统概述NS9000云存储系统是UIT推出的全新一代超大规模分布式云存储系统,采用元数据控制路径与数据路径分离的非对称分布式架构，支持scale-out横向无缝扩展,在统一命名空间下提供上百PB的超大容量及超高聚合带宽。NS9000云存储系统同时支持POSIX（Portable Operating System Interface）和NFS（Network File System)文件协议，充分满足视频应用、媒资分析、文件归档等以文件处理为主的应用存储需求。NS9000云存储系统同时还具有高性能、高可靠、易管理、易扩容等特点，为客户提供最高性能和最低运营成本的文件存储解决方案，最大限度提高投资回报.NS9000新一代超大规模分布式云存储系统4。2UIT NS9000云存储系统定位NS9000云存储系统是专门为超大规模文件存储需求设计的云存储系统，特别适用于以下需求的应用场景: 以非结构化数据（文件）存储为主; 超大容量、增长快，需要灵活扩容； 超高性能及聚合带宽需求； 统一命名空间，文件易于在各应用服务器间共享.基于以上需求特点及行业应用情况，可以发现,NS9000云存储系统主要适用于以下行业应用。 广电非编、媒资、IPTV、内容分发、渲染、归档； 石油、勘探、地震、天气预报、高能物理、空间信息处理等高性能计算应用； 各行业的档案管理、数字图书馆等文件归档类应用； 互联网行业的流媒体、web2。0等应用； 电信、金融等行业的数据挖掘、智能数据分析类应用；4。3UIT NS9000云存储系统系统架构NS9000云存储系统采取控制路径和数据路径分离的非对称分布式架构，元数据由控制节点负责处理，数据存储则由存储节点处理。控制节点与存储节点均采用集群架构,节点间互为热备，确保系统的高可用.非对称分布式架构使得NS9000能够无缝横向扩展,容量和性能均随存储节点的增加而线性增长,能够支撑超大规模以及超高聚合带宽的用户存储需求.NS9000系统架构如下图所示:NS9000系统架构图NS9000云存储系统由以下部分组成：1） 控制节点集群：NS9000云存储系统采用3个控制节点组成集群，保障系统高可靠性。控制节点负责以下功能： 管理系统所有的元数据（metadata），包括文件目录组织、属性维护、访问控制信息、文件操作日志记录、文件到块的映射信息、块当前所在的位置等. 控制节点管理整个存储系统的命名空间，对外提供统一的命名空间。 协调指挥客户端和存储节点之间的活动，实现性能与容量的自动负载均衡.2） 存储节点集群：NS9000云存储系统采用横向扩展集群设计，集群中的存储节点互为热备,节点故障自动由其它节点接管，保证整个系统高可靠和高可用。NS9000支持超大规模的存储节点集群，存储空间可达EB级别；支持存储节点在线透明增删，性能和容量随存储节点的增长线性增加，为用户应用提供超高容量、弹性伸缩的存储空间。3） 管理节点NS9000云存储系统的管理节点负责整个集群的配置管理和运维管理，对系统中的各种设备（控制节点、存储节点等）及资源（磁盘、存储空间、文件等）进行统一集中管理，包括设备发现、配置管理、故障管理、用户认证管理、性能管理、安全管理、网络资源管理等。通过安全便捷的图形管理界面，快速安装、向导操作、默认配置、告警屏蔽等人性化的设计帮助管理员轻松管理NS9000的海量空间.NS9000云存储系统的管理节点可独立设置也可与控制节点合设，最大限度节约用户成本.4） UFS海量文件系统NS9000云存储系统搭载UIT自主开发和设计的UFS海量文件系统，UIT拥有完全知识产权。UFS海量文件系统采取元数据控制和数据存储逻辑分离的模块化设计,为各类应用提供统一的文件命名空间、高性能的文件处理、稳定的读写带宽以及高可靠的数据保护功能。5） 客户端NS9000云存储系统的客户端安装在应用系统的服务器上,为应用系统提供简单易用的磁盘挂载、文件存储等接口功能.NS9000的客户端遵循Posix接口规范，这使得应用系统使用NS9000提供的存储服务与使用本地文件系统一样简单和快捷，并拥有更可靠的数据保护、更便捷的文件共享等服务。另外,NS9000同时支持NFS（Network File System）文件协议，充分满足各类应用需求。4。4UIT NS9000云存储系统特性4.4。1超大容量，弹性扩展NS9000云存储系统专门为海量非结构化数据的存储设计，采用控制路径与数据路径分离的非对称分布式架构,控制节点与存储节点在逻辑上完全分离，有效避免了传统存储及普通集群存储所存在的扩容瓶颈，使得整个集群的存储空间可以从小规模无缝扩展到EB级别，充分满足海量文件存储的容量需求。NS9000云存储系统支持存储节点在线透明增删,整个扩容过程业务无中断，容量和性能随节点数增加线性增长。NS9000良好的扩容能力允许用户从小规模集群起步,根据业务发展对容量和性能的需求,逐步弹性扩容、按需配置，避免过度投入、资源闲置和浪费。4。4。2超高性能NS9000云存储系统通过文件分块处理、高速缓存、SSD优化、负载均衡策略等技术手段，充分利用系统内丰富的网络、磁盘、内存、处理器等资源，实现了极高的聚合带宽和低时延。同时,NS9000对外聚合带宽随存储节点数量线性增长. 文件分块处理:来自客户端的文件数据采用分块存放，文件数据分块存储在不同节点的不同硬盘上，并且采用副本数据保护方式。不同节点和硬盘上的数据分块和副本均可同时向客户端提供服务,从而保证文件存储性能。 高速缓存:客户端采用缓存及增量方式对目录、文件的读写操作。配合硬件系统的高速缓存处理,确保文件访问的高性能.客户端采用的预读机制能适应不同应用软件的不同行为模式，且预读方式可配置。 SSD优化：NS9000云存储系统的控制节点使用SSD（solid-state drives）硬盘作为系统盘，SSD硬盘随机IO性能是传统硬盘的数十倍,通过SSD硬盘加速实现对元数据的高速访问，减小或消除通过网络访问带来的时延，保证了整个系统的文件存储性能. 负载均衡：控制服务实时了解并掌握各存储节点及客户端的IO访问状态,并据此进行统一调度管理。当出现写热点时，会将数据定位至压力相对较小的存储节点;当出现读热点时，利用来自不同存储节点上的副本同时向客户端提供服务.NS9000还会根据数据分布情况，在合适的时机在不同存储节点间进行内部数据迁移，达到整体的容量与性能平衡.NS9000云存储系统针对性能要求较为苛刻的流媒体类应用进行了专门优化,通过IO序列优化、磁盘调度、端口并行操作（多IP路由，非传统bonding)等手段，满足视频流应用的稳定带宽及低时延需求。4.4。3简单管理NS9000云存储系统通过单一IP网络部署、全局命名空间、副本数据保护方式以及图形管理界面等设计，使得系统的部署、使用和运维都非常简单，保证业务快速上线的同时降低运维成本，使客户获得最低的总体拥有成本. 单一网络架构：NS9000采用单一IP网络架构，业务系统通过以太网访问NS9000产品提供的存储空间，无需另外部署传统存储的FC网络,在便于管理的同时也降低了成本。 全局命名空间：NS9000云存储系统通过统一的IP地址或者域名提供全局命名空间，业务系统之间只需通过挂载客户端，即可实现对存储空间的共享访问，无需共享软件或者文件系统来辅助实现共享。 副本数据保护方式：NS9000云存储系统采用数据分块以及副本数据保护方式，避免了传统基于RAID存储系统复杂的容量规划、RAID创建等工作，达到系统即插即用的效果。另外,传统基于RAID的存储系统,但磁盘出现故障时，数据保护等级即刻降级，必须马上更换处理，并且数据重建时间动辄十几个小时，维护工作量非常大.而NS9000由于采用副本数据保护方式，磁盘故障并不会降低数据保护等级,只需定期进行维护,并且数据恢复时只需重建相应数据块，大幅减少磁盘故障的数据恢复时间。 图形管理界面:NS9000云存储系统采用基于web的图形化管理界面，支持中、英文两种语言.设备管理、文件管理、用户组管理、系统监控等常规配置管理操作都可以在直观的管理界面上轻松实现。4.4。4安全可靠数据的高可用、高可靠、及安全访问永远是存储系统最核心、最基本的要求.NS9000云存储系统通过安全的数据存储方式、多级别的数据保护技术、完善的操作管理以及用户权限控制等策略，确保系统高可用、高可靠及数据安全。 数据存储安全:NS9000系列将数据分块后，再通过私有存储协议保存到不同节点的不同硬盘上，非法用户即使获取到部分数据片段也无法窃取原文件数据内容，从而保证了数据的安全性。同时存储硬件的冗余设计及数据冗余技术等也保证了存储数据的高可靠性。 多级别数据保护方式:NS9000云存储系统支持根据目录设置复制因子，可根据用户数据的重要级别不同而定义不同的复制因子,达到容量利用率和数据保护等级的最优组合。 回收站功能：NS9000云存储系统支持回收站功能。文件被用户删除后，将被置入回收站.当回收站空间全部被占用时，将按删除时间对回收站文件进行清理.回收站功能可在很大程度上避免因误操作而导致的数据丢失. 数据访问安全：NS9000云存储系统提供了丰富的访问控制功能，支持ACL（访问控制列表）或用户组（UGO）两种权限管理方式，基于目录进行访问控制。另外，NS9000云存储系统支持AD/LDAP用户整合,并可以对不同平台（Windows, Linux， MAC)的客户端进行统一权限管理. 操作维护安全：系统管理界面采用权限访问控制机制,操作员登录系统必须提供用户名和密码.安全日志:系统管理界面对于重要操作，包括登录、注销等都记录了相应的操作日志，可以供后续系统安全审计使用.产品规格硬件特性节点数3个节点1个上千个节点规格2U机架式3U16盘位机架式4U24盘位机架式4U36盘位机架式CPU1颗Intel Xeon E31220V2 4核1颗Intel 酷睿i33220双核或Xeon E31220V2 4核内存4G，可扩展为32G4G，可扩展为32G网口4 1GE4 1GE,可扩充到61GE系统盘内置100G 或400G SSD盘1块3.5吋硬盘硬盘数量1块3。5吋备份盘16块3.5吋硬盘24块3.5吋硬盘36块3.5吋硬盘硬盘类型3.5吋SATA盘2T,3T，4T 3。5吋SATA盘BBU内置BBU电源，放电保护时间5分钟无电源1+1冗余热插拔交流电源模块软件特性文件系统UFS海量文件系统，支持全局统一命名空间数据保护副本方式，可按目录设置不同的保护级别,副本数目：15节点RAID，支持RAID 0，1，5配额管理按目录进行存储容量配合管理，可在线动态调整配额文件分片按目录或文件类型设置文件分片大小，提升存储空间用率。扩展性支持存储节点和硬盘在线移除和增加.数据自愈数据自动并行恢复系统管理图形管理界面，支持系统监控、状态查询等功能,支持SSH、WEB方式远程维护。故障告警界面告警、邮件告警操作系统支持Windows、Linux、Mac OS协议支持POSIX、NFS物理特性尺寸88(H）x433(W）x660(D）132.5(H）x433(W）x660(D）177（H）x433（W)x660(D）177（H）x433(W)x660（D）重量15kg5（主机不含磁盘）20kg5（主机不含磁盘）22kg5(主机不含磁盘）22kg5（主机不含磁盘）功耗160w350w400w550w供电要求AC:100240 V,47/63Hz环境温度+10+35环境湿度+8%+9016 创新科存储技术有限公司