从传统存储到云存储——视频监控存储产品的发展与演变.doc

从传统存储到云存储视频监控存储产品的发展与演变一、传统视频监控系统主要存储网络架构比较传统视频监控存储系统网络架构有DAS、NAS、SAN 三种，其中SAN 网络环境中，根据采用存储设备类型的不同又可以分为FC-SAN(采用光纤通道存储产品，仅支持FC硬盘)和IP-SAN(采用iSCSI存储设备，支持SAS与SATA硬盘)。除此之外，一种新兴的存储架构正在逐步进入视频监控存储领域，即一体化存储。一体化存储设备将视频的转发、存储同时合入存储系统，可通过多种组网形式与服务器相连，是一种灵活高效的存储组网方式。1.DAS存储方案DAS(Direct Attached Storage，直连存储)是指将存储设备通过SCSI接口、iSCSI接口或光纤通道直接连接到一台计算机上。服务器或少数PC式DVR可以通过硬盘控制卡外挂其专用硬盘阵列柜，将视频数据存在专门的硬盘柜中，这种服务器与外挂硬盘柜单独相连的存储方式就是DAS存储方案。DAS存储解决方案的缺点：一是扩展性差。在保证存储系统性能的前提下，一般一台服务器只能连接两台阵列，其扩展性无法满足大规模监控系统产生的海量数据存储需要。二是资源利用率低，无法实现存储资源的共享。DAS方式的存储使得存储空间无法充分利用，存在浪费。不同的应用服务器面对的存储数据量是不一致的，同时业务发展的状况也决定着存储数据量的不断变化。因此，出现了部分应用的存储空间不够用，另一些却有大量的存储空间闲置的不均衡情况。三是可管理性差。管理分散繁琐，无法集中;异构化严重，DAS方式使得企业在不同阶段采购了不同型号不同厂商的存储设备，设备之间异构化现象严重，维护成本居高不下。2.NAS存储方案NAS(Network Attached Storage网络附加存储)，是一种存储共享服务，通过文件系统对外提供文件访问服务。NAS设备提供统一的存储空间，是基于“文件级”的存储方式，为系统上业务应用端服务器提供文件存储读写访问服务。NAS的存储解决方案其缺点在于：一是访问效率低，常见的CIFS或NFS文件系统不适于持续码流传输的应用，对于视频监控系统而言，文件传输效率不高，若使用监控文件系统，NAS性能可大幅提高。二是大容量NAS成本高，大容量的高端NAS设备价格高昂，且后期扩展费用也很高。3.IP-SAN存储方案存储区域网络SAN(Storage Aera Network)，是一种通过网络方式连接存储设备和应用服务器的存储构架，在最纯粹的意义上是一个网络，SAN存储是基于“数据块级”的存储方式。传统的SAN是指FC-SAN，目前随着iSCSI技术的高速发展，IP-SAN已成为SAN存储的主流。IP-SAN的优点主要表现有：一是设备整合，多台服务器可以通过存储网络同时访问后端存储系统，降低存储设备异构化程度，减轻维护工作量，降低维护费用。二是专有存储区域网络架构不占用业务带宽，组建灵活，便于扩展。三是集中管理，可通过一个客户端集中管理局域网内的全部存储设备，大大降低长期管理维护的开销。4.传统存储方案的新发展：存储+转发一体化存储方案一体化存储是中小规模视频项目中的主流方案，视频监控领军企业，如海康威视、中兴力维等都先后推出了CVR、CMR一体化存储方案，在市场上广受欢迎。一体化存储方案主要强调单个物理产品的性能及技术指标，该方案集多功能、高性能、易管理等优点于一身，是目前业界新兴的一种存储服务方式。一体化存储设备可以通过直连或组网的方式与服务器相连，灵活多样，易于管理;同时，硬盘阵列直接对前端的视频数据进行转发，并将视频数据以文件的形式进行本地存储。一体化存储的优点有：(1)功能整合。存储设备支持转发功能，一机两用，添加一体化存储设备，则同时增强系统的转发能力与录制能力，节约硬件购置、维护成本。(2)性能强大。搭配视频监控文件系统，将视频数据保存在预分配的存储空间中，大幅提高存储设备读写性能。(3)避免录像服务器单点故障与性能瓶颈，消除由于存储服务器掉电、断网等原因造成的文件系统损坏、存储空间数据只读甚至丢失等问题。(4)集中管理。可通过一个客户端集中管理局域网内的全部存储设备，降低长期管理维护的开销。二、云存储根据IDC近期研究报告指出，目前全球存储市场总出货量的80%都被文件级数据所占据。基于文件 或“非结构化”内容(例如视频、音频、图形和 web应用程序)生成的天文数量的存储数据正在而且会继续呈指数增加。面对爆炸性的文件数据增长，存储、交付并有效管理它们越来越成为企业IT管理人员的严峻挑战。 面对这一困境，唯一的出路便是彻底改变传统存储模式，借助集虚拟化、可扩展和可共享能力于一身的存储系统解决方案，在此背景下，云存储顺势而生。1.传统存储系统存在的弊端(1)各业务平台的存储系统独立建设，均由相应的存储资源、网络资源等构成，各业务平台重复建设以上设备，导致CAPEX较高。(2)新业务部署成本高、周期长。由于新的业务部署在新的存储平台上，存储业务模式和接口升级后各业务存储设备和空间共享不足，导致部署新业务时经历采购、运输、安装、调测等一个完整建设周期，致使新业务部署时间比较长。 (3)由于技术选型的需要，存在不同的设备需求和运维手段，导致OPEX较高。(4)据统计数据分析表明，存储设备日常运行中负荷不均，平均利用率大概在40%左右。大量的存储、网络设备的空闲是一种资源的浪费，维持所需要的机房、供电、制冷等OPEX较高。一方面为部署新业务不断的增加新的存储资源、网络资源，另一方面各种存储资源能力的过剩、利用率过低导致资源的浪费，两种矛盾的现象并存，需要一种模式来平衡业务建设需求与资源利用率的提升。2.云存储系统应用将带来的优势(1)更低的资源利用率和能耗。通过引入云存储技术，细化存储资源分配单元，提高存储资源分布密度，提高使用效率，降低对物理设备的需求，进一步降低IT设备投入，降低能耗。(2)更快速的存储资源管理。在传统模式下，如果需要提供新的存储能力，预算周期耗时很长，需要先得到预算的批准，需要讨论具体的实施细节，比如存储、网络等各个方面，将会需要大量的文档工作。这在云存储系统中扩展流程将会得到简化，实施部署细节变得简单，决策周期大为缩短，预算的重点也将落在业务需求上。(3)“按需而用”更快速的部署，将把存储和业务目标结合得更加紧密，同时让业务部门变得更加敏捷。云存储的重点更侧重于实现资源更快速的供给，支持不中断业务在线弹性伸缩。(4)更敏捷的业务规划。按需使用的资源池让业务部门可以根据需要获得刚好够用的资源。(5)预算更加可控。按照使用率付费和某一时间内单位价格固定让业务部门的预算更加容易预测，同时可以提高资源的利用率。(6)效率增加。私有云往往提供备份、模板等一些功能，这让某些业务(如开发测试、培训和客户沟通)的开展效率大为增加。传统存储 云存储一个命名空间提供数十 TB 的容量 PB 、EB级分布式生产系统 数百万个文件 单个生产系统可包含超过 100 亿个对象 以每秒的 I/O 数为导向 每秒处理 10,000 个对象 难以支持多个站点或业务模型 生产环境支持多个多站点系统；通过智能数据管理节省了数百万的资金 采用票证系统和标准流程，访问存储需要一个月时间 采用自助流程，配置访问存储只需几分钟时间 需要数个月的开发和部署才能实施自助服务 在 90 天内完成自助式生产部署，在线伸缩分钟级完成部署。表1 云存储相对于传统存储的优势3.主流云存储技术架构与单机的文件系统不同，分布式文件系统不是将这些数据放在一块磁盘上由上层操作系统来管理，而是分别存放在集群化的存储节点上，由这些存储节点各尽其责，通力合作，提供整个文件系统的服务。下面以ZNV-CFS云存储系统为例，说明云存储系统的典型架构。ZNV-CFS系统架构及基本产品形态ZNV-CFS分布式文件系统采用非对称分布式系统架构，主要包括元数据节点、数据节点、客户端和管理节点四个部分，系统构建在基于x86平台的存储之上，通过操作系统的API管理磁盘上的数据。(1)元数据节点：元数据管理包括元数据的创建、查询等和提供数据存储的大容量空间管理。元数据主要包括文件系统的目录结构数据、各个文件的分块信息、数据块的位置信息。元数据节点相当于整个文件系统的大脑，管理各个数据节点，收集数据节点信息，了解所有数据节点的现状，然后给它们分配任务，协调指示各数据节点为系统服务。建议在ZNV-CFS云存储系统中采用三台元数据节点，可以起到对元数据的重要保护(冗余)作用，并且具有选举机制，能有效提升系统性能。(2)数据节点：构建数据集群，保存数据切片，承担数据冗余保护和对数据访问的负载均衡。数据节点定期向元数据节点汇报其状况，等待并处理命令，实现数据高效、安全读写。在ZNV-CFS中，可采用副本保护数据文件，也可选用RAID技术保护数据。在ZNV-CFS中，数据切片的大小可以调整，切片大小可调整范围为4K至8M，以满足不同客户或行业对数据文件存储策略的设定要求。(3)管理节点(目前该节点功能配置在元数据节点中，无独立管理节点)：提供日志管理、性能监控、配置管理、故障管理等能力，方便系统管理维护人员管理云存储系统。(4)客户端：客户端在一个独立的进程中提供服务，当用户需要使用分布式文件系统进行文件读写的时候，将客户端安装至需使用ZNV-CFS的服务器，即可使用ZNV-CFS提供的服务。客户端是以一个类库(包)的模式存在，为用户提供了文件读写、目录操作等APIs。如此架构的云存储系统其优势特点主要有：一是提供更大的存储容量可在线升级扩展。云存储系统能够通过集群技术很容易获得PB级以上存储容量，存储扩展没有限制可随时随地在线增加存储节点来满足存储容量扩展需求。二是高性能数据存取打破瓶颈。传统存储设备的性能是有上限的，这个性能瓶颈在云存储系统中能够得到有效的解决，通过云存储技术可将存储节点的带宽聚合，随着存储节点的增加可以实现带宽的线性增长，理论上带宽是无限的。三是数据访问的安全性。云存储系统中数据是经过加密传输将数据存储上去的，首先用户并不知道数据存在哪个物理硬盘上，而且数据在存储设备上是按文件块存储的无法直接进行访问，保证了用户数据的安全性和私密性。四是采用标准协议实现共享访问。云存储系统可以把一个存储池共享给多个用户进行访问。五是强大的冗余容错能力。云存储系统中数据是以块方式跨多个物理设备进行条带化存储的，同时根据策略自动创建多个复本，这样可以保证当单个或多个物理存储节点出现故障时数据是安全的。除此之外，系统还具有数据安全性高可靠性保证、分级权限管理、简易高效的集中管理、总体成本TCO低等特点。结语进入二十一世纪，云存储作为一种新的存储架构，在视频监控行业扮演着越来越重要的角色。云存储与生俱来的高扩展、易管理、高安全等特性为传统存储面临问题的解决带来了契机。利用云存储，用户可以方便地进行容量、带宽扩展，而不必停止业务或改变系统架构。同时，云存储还具有高安全、低成本、绿色节能等特点，今后基于云存储的视频监控解决方案将是客户应对挑战的最佳选择。