分散+集中存储方案---大讲课讲稿.doc

XX视频监控存储系统解决方案北京同有飞骥科技有限公司2010年X月目录第1章前言1第2章XX（用户单位）系统现状2第3章需求分析3第4章现有存储模式比较54.1传统的DVR直接存储54.2DAS直连模式54.3先进的存储局域网络SAN结构64.4IP存储网络6第5章解决方案85.1设备选型85.2解决方案105.3设备配置12第6章方案分析136.1监控专用存储系统，充分满足性能要求错误！未定义书签。6.2同时提供IP SAN和NAS错误！未定义书签。6.3高可扩充性错误！未定义书签。6.4数据存储的高可靠性和可用性错误！未定义书签。6.5高性价比错误！未定义书签。6.6极易管理 （全中文）错误！未定义书签。6.7易于扩展为备份容灾系统错误！未定义书签。第7章关键产品的介绍15附录 公司介绍错误！未定义书签。典型案例错误！未定义书签。第1章 前言监控技术从上个世纪80年代进入我国以来，随着安防需求的急剧增加和安防行业的飞速发展，从技术层面上来看，已经经历了多个不同的发展阶段。随着计算机技术的发展和网络的普及，目前，视频监控已经发展到了网络多媒体监控存储系统。新一代视频监控管理系统与前几代视频监控系统的根本区别在于，其不再局限于简单地完成对视频信号的处理、传输、控制，其核心乃是对基于IP网络的多媒体信息（视频/音频/数据）提供一个综合、完备的管理控制平台。网络多媒体监控系统以网络为依托，以数字视频的压缩、传输、存储和播放为核心，以智能实用的图像分析为特色，并与报警系统、门禁系统整合到一个使用平台上，引发了视频监控行业的一次技术革命，迅速受到了安防行业和用户的关注。网络多媒体监控管理系统，可以广泛用于多媒体视讯调度指挥、网络视频监控和网络会议、多媒体网上直播、网络教学、远程医疗等各个方面。网络多媒体监控系统由网络多媒体监控管理平台和前端信息采集设备组成，其核心是网络多媒体监控管理平台。网络多媒体监控管理平台集计算机网络、通信、视频处理、流媒体、和自动化技术于一身，是视频、音频、数据和图示一体化的解决方案，兼备网络视频监控、视频会议、视频直播等功能，具有超大规模组网能力，是构建于LAN/Internet网络之上、支持多种传输方式的综合多媒体业务管理平台，其应用已远远超出监控本身所涵盖的内容。磁盘阵列存储设备负责对前端采集的视音频数据信息进行存储的部分，它结合网络视频服务器将通过网络传输过来的视音频压缩数据以媒体流的形式集中存储在磁盘整列中。它在视频监控、网络教学、IP视频会议、视频直播及视频点播等方面都有广泛的应用。数据信息的全集中存储方式要求磁盘阵列必须提供足够的可靠性和稳定性，可以满足监控系统平台的性能要求和持续写入要求。监控视频存储系统是整个监控系统工程的重要组成部分第2章 XX（用户单位）系统现状描述用户环境及实际需求（添加内容后，记得从新更新目录）第3章 需求分析在整个监控系统中，前端监控部分经DVR/DVS设备采集模拟监控信号进行编码压缩，或者由IP Camera直接采集数字监控信号，然后通过局域网由各监控分中心视频管理服务器来分别统一管理和存取各监控子系统视频数据，并由分布式集中存储系统来存储相关监控数据。根据用户的网络和实际应用情况，对视频监控存储系统的建设要满足如下需求：l 高性能由于有多路摄像头数据并发持续写入，考虑以后摄像头的增加，并且同时有多路服务器可能读取数据，所以需要高性能处理的存储系统。存储系统要采用业内技术先进、性能优良、工作稳定的存储设备，要保证在实施后相当一段时间内能够充分满足用户的使用需求。l 海量存储空间该项目共XX路视频，要求录像保存XX天，视频码率以XX计算。总容量=路数x码率M/Sx3600秒x24小时x保存天数/1024= G。要求对所有视频数据进行集中存储，这就要求存储设备必须提供足够海量的存储空间。l 集中式共享采用数据分布式集中存储模式，实现数据和存储空间的分布存储，统一管理，使数据和空间的管理、备份非常方便。l 数据可靠性数据高度集中的系统，数据的安全是第一位的。系统的可靠性原则应贯穿于系统设计、设备选型、软硬件配置到系统施工的全过程；保证在单点或多点故障的情况下，系统能够持续运行，并能在线的恢复正常；通常情况下，采用盘阵列技术来提高数据的可靠性。只有可靠的系统，才能发挥有效的作用。l 可扩展性 随着监控范围的扩大，摄像头数据量的增加和存储天数延长，存储系统的可扩展性尤为重要，良好的扩展性可以保证业务的连续性。l 网络化监控中心建设网络化完善，容易进行数据集中存储，采用网络化的设备扩容更灵活、施工难度小，并且便于远程监控、维护简单。网络化架构有助于实现互联互通，实现视频资源的共享。l 易用性系统的操作应具有灵活简便，人机界面友好，易于掌握的特点，操作人员能够方便物进行使用及维护，使整个系统的功能得以最大实现。l 系统增值服务配合备份软硬件环境，系统可以增加备份、容灾的功能，进一步提高可靠性，保护用户数据。第4章 现有存储模式比较4.1 传统的DVR直接存储DVR是目前见常用的视频监控数据存储方式，它用设备内置的IDE硬盘存放视频数据。DVR一般有四个IDE接口，可以接8块硬盘。该模式有以下特点：1) 价格低廉，简单易用，适合于小规模监控环境；2) 硬盘顺序工作，减少硬盘损耗，但检索与回放性能较差。3) 硬盘非冗余模式工作，数据容易丢失；4) 分布式存储，DVR存储空间不能直接实现共享；5) 单设备容量有限，随着监控规模的扩大，管理、维护比较困难；4.2 DAS直连模式传统的DAS监控存储架构中，存储和监控客户端使用DAS直联的方式存取录像数据。使用一台PC机作监控客户端，同时具有一台网络视频服务器来转发视频流，多台存储设备通过级联方式挂接在视频服务器后。如下图所示：传统监控存储架构缺点：l 存储直联，使得存储利用率不高，存储容量不能共享；l 存储扩展性差，不利于后期扩容；l 线缆距离有限，不利于部署；l 数据查询效率低，不利于快速调取需要的数据；l 网络带宽不便于扩展，需要中断应用才可以实施；l 所有存储设备都需要有视频服务器进行管理，会造成系统性能瓶颈和单点故障。4.3 先进的存储局域网络SAN结构存储局域网络SAN是目前最为先进的海量数据存储架构，是建立在服务器集群和存储设备之间的网络，给服务器集群提供集中式的共享的存储空间，便于管理。SAN的优点可归纳为下几点：l SAN存储系统扩展性好、升级能力强，投资保护性好。 l 存储系统支持数据集中式管理，相关业务数据存储系统或全部的应用数据存储系统合并为统一的存储系统。l 采用开放式的体系结构，支持多种系统平台的接入，亦即实现跨平台操作。l 提供包括存储介质、接口设备及连接链路的冗余支持。l 向网络客户端和应用服务器提供高效可靠的数据存储服务时，同时对应用系统的运行效率和网络的速度不会产生明显影响。4.4 IP存储网络 传统的存储网络多采用光纤通道(FC，Fibber Channel)的方式，整个系统包括每个服务器端的光纤通道卡，光纤线，光纤通道交换机等，每片光纤通道卡以及每个光纤通道交换机端口的价格是普通千兆以太网的10至20倍以上，加上光纤的铺设在中国大部分地区不普及，整个系统的建设费用非常昂贵。IP SAN是近些年来新兴的网络存储技术，它希望用TCP/IP以太网替代光纤通道网络。IP SAN的好处在于：使用以太网络，保护了用户现有的投资；以太网系统造价低；以太网是成熟的技术，具有良好的兼容性；以太网络可以扩展到远端，便于系统的做远程的容灾备份；以太网上现有的软件也可以直接使用，例如IP SAN可以直接加上IP sec软件，以达到存储网络加密的目的；千兆以太网络的广泛使用，也使得IP SAN的性能得到提高。总之，采用IP SAN存储网络，可以达到好兼容性和最高的性能价格比。iSCSI协议是IP SAN中最为流行的协议，是IP存储的典型代表。利用IP SAN技术构建监控架构如下图：采用IPSAN存储方案的优势：a) 低成本实现监控数据的集中化存储和统一管理，可靠而稳定；b) 存储设备与视频服务器、监控客户端可以建设存储区域网络，共享性良好；c) 传输带宽更灵活，存储区域网络可以建设成百兆或千兆网络，能够最大程度的满足前端客户机的存储压力需要；d) 存储系统扩展性强，后期扩容方便；e) 录像数据查询效率高，可以实时地调出需要的数据；f) 可靠性极好，多台存储共用时彼此之间是相互独立的，避免单点故障。第5章 解决方案5.1 设备选型5.1.1. 大型监控系统对存储设备的需求平安城市项目作为典型的视频监控存储应用模式具备一切通用监控存储项目的要求，但是由于其应用要求的特殊性又具有以下特点：1.读写响应性能要求高。对监控系统而言，存储设备的并发读写性能是衡量其应用能力的关键指标。并发读写能力考验存储设备对视频数据的读写带宽的支持能力，保证多路视频同时写入存储设备是不会丢帧；多个用户访问存储设备时的数据读取响应能力。对平安城市而言，大量的视频数据要进行集中存储，对存储设备并发码流支持能力的要求很高。2.高清视频支持能力。高清化是视频监控行业不可阻挡的必然趋势，目前已经出现了4Mbps、6Mbps甚至10Mbps码流的高清视频，随着图像采集技术和视频编解码技术的发展，必将出现更高码流的视频，因此，存储设备的选型必须考虑高清视频的支持能力。3.设备安全运行能力。对于平安城市项目而言，数据安全性不言而喻；同时，平安城市监控系统是7*24*365的长时间不间断的运行，这就对存储设备的稳定性提出了很高的要求。4.设备维护性。长时间的数据持续读写，个别设备的故障在所难免，如何能够在设备故障时及时得知报警信息、及时判断故障点、及时维护是用户关心的问题，要求设备具有良好的维护性以保证故障维护的方便、快捷。5.节能性。平安城市应用系统，大量存储设备的长时间不间断运行，能源消耗巨大。在保证系统正常运行的同时降低能源消耗即是响应国家节能减排的号召同时也是降低总体运行成本的有效途径。6.应用灵活性。对于大型视频监控系统，NAS功能的支持可以使用户在个别服务器故障时配置前端摄像头，将采集的视频直接存储至NAS设备，进一步提升系统的业务持续性；同时，NAS功能的存储也可以丰富应用，在公安内部可以建立共享空间，分享心得、共享成长。7.设备集中管理。对于平安城市级别的监控存储项目，必然需要大量存储设备，众多设备的集中管理是方便用户管理，提升用户使用体验的重要功能点，所以对于多台存储设备使用的项目而言，设备集中管理软件不可或缺。 总之，针对平安城市这一特殊的应用环境，对存储设备而言提出很高的要求，在设备选型时要尽量考虑全面，以满足用户对整体系统的高要求，保证业务持续性。5.1.2 存储设备选型 针对以上应用需求，建议采用同有飞骥的NetStor iSUM420G3作为存储设备，该设备具有以下优点：u IP-SAN产品，嵌入式控制器架构，非X86服务器架构，内部连接采用Cable less无线缆设计，支持NAS功能u RAID级别0, 1, 1E， 3, 5, 6, 10, 30, 50, 60级别，专用的RAID6校验芯片。u 控制器采用64位存储专用芯片，内部集成1MB带有奇偶校验功能的SRAM，支持72小时锂电池Cache断电保护。u 4个千兆iSCSI主机通道,3U高度，单机容纳16颗硬盘，最大可扩展到112硬盘, 标配冗余电源、冗余风扇，支持MAID2.0硬盘休眠技术，支持风扇智能调速。支持磁盘容量强制匹配功能。u 支持Cache定时强制刷新功能。支持分布式元数据存储，Metadata存档在箱体的每一块磁盘。u 支持146/300/400/450/600 GB SAS磁盘，支持500/750/1000/1500/2000GB SATAII磁盘, 支持Windows NT、Windows 2000/2003、Linux、HP-UX、IBM AIX、Sun Solaris和Netware等操作系统。u 具备自动介质巡检功能, 支持坏扇区自动检测与修复，S.M.A.R.T功能。u 支持全局、局部、箱体热备援磁盘，支持自动后台Raid重建，支持在线容量扩展，及RAID级别在线迁移。u 支持RS232、WebGUI、CLI、SNMP、OPAS管理方式。u 支持针对“File Server、Video Stream、Transaction Data、Transaction Log、Other”不同应用的系统自动优化功能。u 支持USB自动日志和配置信息导出，USB自动软件升级和系统重设等操作。u 支持定时开关机和Wake on lan及Wake on sas远程唤醒。5.2 解决方案整个监控存储系统分为21个派出所监控分中心对2450路视音频数据进行集中存储，整个系统设置一个总控制中心，约有300路数量摄像机视频信息需要上传至总控制中心做集中备份。XXXX视频监控项目信息如下： 监控分中心21个，总控中心一个； 前端摄像头2450个； 视频码率 D1格式，保证25帧/秒以上，视频码率以 1.5Mb计算； 录像保存时间保存30天； 要求采用各派出所分散集中存储模式我们从系统的兼容性、稳定性与可靠性角度出发，并且考虑到保护已有的投资，选择了基于IP SAN架构的数据存储方案 。方案中主要采用北京同有飞骥的存储设备XXXX存储系统，配合以太网交换机来完成。考虑到本监控系统应用所存储数据较为重要和特殊，建议磁盘阵列采用RAID 5HotSpare冗余机制，以进一步保障存储数据的完整性和存储系统得持续运行。本设计方案是基于模块化、可扩展的SAN解决方案，它对企业的业务系统能够提供无缝的存储解决方案。方案投资不高，在原有的设备得到合理利用的前提下，基于网络的数据存储服务性能得到明显提升，业务数据实现了有效的汇集和管理，实现了性能和价格的最优组合。采用各监控中心集中存储模式，通过分散的网络将各地的视频监控数据实现集中存储和集中管理。iSCSI分散+集中式存储方案特点： 先进的IPSAN网络架构，采用监控中心集中存储模式，将前端视频资源就近存储和管理，有效的规避了网络带宽压力过大及网络不稳定问题。 对于重要监控点的重要数据采用一级中心存储的策略，充分利用网络的延展性，有利于对重要监控点的重点监控。同时，一级中心还可以随时调用分控中心的监控数据，保证调看无盲点。 RAID技术与多种硬件冗余保证系统的高可靠性，磁盘故障不会影响数据的继续访问。设备故障率降低，减少了维护成本。（容易损坏的磁盘被集中在中心，机房环境保证的设备的可靠性，冗余电源也减少了故障率） 设备管理、维护简单。磁盘的更换无需断电，也无需开启设备机箱，可以实现带电热插拔，且换盘时也完全不影响数据的访问；存储集中统一管理，无需管理每个前端存储。 提高了客户服务质量，提高了系统响应时间。（由于数据集中存储在中心服务平台，当有客户请求时，无需在通过外部网络去前端提取数据。这样使客户的数据访问路径减半，客户请求响应时间更短，服务质量更高） 高的可扩展性。存储可以实现按需分配，存储容量可以根据监控规模的发展和增长来动态增长。例如，如果所有监控内容的保存时间从1个月提升到半年。如果采用集中存储方案，只需在网络中增加更多的存储容量，而其他的部分都无需改变，就可以解决这个问题。 存储的增值服务业务。基于网络化的存储，还可以提供数据的磁带备份和光盘备份功能，通过这些功能来进一步提高服务质量。设备配置以XX派出所为例，每路每天存储容量为：1路 （1.5Mb/s 3600s）/8bit 24小时/1024 = 15.82GB，115路D1视频流存储30天容量需求为：115路 30天 15.82G/1024 = 53.3TB考虑到该115路视音频通道属于重要摄像点，所存储数据较为重要和特殊，建议磁盘阵列采用RAID 5冗余机制，以进一步保障存储数据的完整性和存储系统得持续运行。第6章 方案分析本设计方案是基于模块化、可扩展SAN解决方案，具有业务连续性等特性。它对监控系统的业务系统能够提供无缝的存储解决方案，为监控存储提供系统高效、高可靠性、高可用性支持。方案投资不高，可以把基于网络的数据存储服务性能得到明显提升，业务数据实现了有效的汇集和管理，实现了性能和价格的最优组合。方案具有如下特点：6.1 监控专业存储系统本存储系统针对监控应用的特点对存储系统进行了优化。监控应用是一种以写为主的存储应用。实际上是以大码流的多并发写为主的一种存储应用。因此，在写性能，写的高并发和写的高稳定度方面。同有飞骥的存储设备采用专业的控制器架构，具有良好的并发读写支持能力，同时支持针对流媒体的优化功能，满足用户对读写性能的要求。 6.2 高清视频支持 本存储系统针对高清视频监控应用的支持能力良好。iSUM420G3经过测试证明对3Mbps、6Mbps甚至更高清晰度码流的支持能力良好，完全满足项目对高清视频监控的应用要求。同时，IP-SAN架构，具有灵活性强和扩展能力强的优势。用户可将标清与高清视频混合存储，以达到降低数据传输和存储压力的目的，保证负载均衡，提升系统稳定性；另外，用户对现有系统进行高清化升级或者扩容均可以通过存储设备的横向扩容实现。6.3 同时提供IP-SAN与NAS监控存储方案是对现有的存储进行集中管理和存储。针对服务器的数据存储，工业界上一般是采用SAN的架构，使用iSCSI协议，提供真正的高性能的块级数据访问，实现了对服务器本地磁盘的扩展，从而提高数据存储的可靠性，可扩展性，和高性能。对于某些对性能要求不高的文件在用户之间的共享应用，可以采用NAS的存储。由于同有的存储产品同时提供IP SAN和NAS的功能，所以可以同时满足平安城市监控存储在这两方面的需求。6.4 高扩展性同有的产品采用先进的IP SAN架构，所以可以实现存储容量的高可扩充性。在应用发展，存储需求增长，现有容量不足的情况下，可以简单的购买更多的存储设备联入交换机即可，支持设备级和卷级在线扩展，在提高容量的基础上，也同时提高了性能。而且支持对多个存储设备的集中统一管理。6.5 数据高可靠性方案中，数据存储可采用RAID 5+热备盘技术。一个RAID组出现硬盘坏，RAID技术可以保证数据不丢，而且存储服务无需中断。热备盘可保证对故障盘在线进行及时替换，保障业务的可持续运行。同时，同有的iSUM420G3还支持智能介质扫描+数据预先迁移功能，用户可定制化的对硬盘进行坏块扫描，并设置一个数值，当硬盘坏块数达到该数值时启动该硬盘到热备盘之间的数据预先迁移，进一步提升系统的安全性。6.6 设备统一管理同有定制化开发的NSCC软件支持多台设备的集中管理。用户可以通过一个客户端对所有在线的同有磁盘阵列进行集中管理，将所有磁盘阵列的磁盘信息、磁盘SMART信息（Ok、Pre-Failure、Overheating、Failure-Soon等）、磁盘阵列事件（Event）和传感器信息等显示到一个统一的界面，并可配置统一的检测、报警策略，方便用户后期对多台设备的管理。6.7 高性价比IP SAN的结构本身就是一个性价比较高的架构。现有的网络环境无需改变；甚至无需购置额外的交换机；而且管理员也对IP网络很熟悉，所以很容易上手。同时，iSUM420G3具有强大的扩展能力，本方案配置一主柜拖两扩展柜的应用模式，在提供相同的存储空间的同时降低成本。第7章 关键产品的介绍产品系列NetStor iSUM420G3产品型号iSUM420G3-16R1IS11控制器数量1支持RAID级别0，1，1E，5，6，10，50，60高速缓存512MB2GB锂电池保护可选主机接口类型千兆以太网（iSCSI/NAS）主机接口数量4扩展接口类型SAS 4x扩展接口数量1支持的磁盘类型SAS/SATA最大磁盘数量112最大LUN数量256电源模块400Watt 2散热风扇2 + 2管理方式RS232、WebGUI、CLI、SNMP、OPASNAS特性文件共享、远程复制（异步）高级功能统一帐户管理、存储分区、虚拟化存储卷管理、自动介质巡检、预先数据迁移、磁盘容量强行适配、RAID级别在线迁移、LUN在线扩容单柜物理尺寸131mm Hx446mm Wx461mm D （3U高/19英寸宽/16盘位）环境规范电气参数：100V AC240V AC（自适应）；温度指标：工作态5C40C，非工作态-40C60C；相对湿度：5%95%；海拔高度：010000英尺；