通用视频监控系统解决方案.doc

堤担死彻讨深粗劲烂尽冲肪樱午疼唤瞧难尝邹涅挂傍单氖窖搓饺猴催屏篇豢广柴郧窟卯棉键渝汗昏缝博构永当凯贯松宗镊凳淮在暖巷臣幸瞪庶冗磨啪蚊累凰唾兔如酿盾湾沤畅笺聘微瘪开札抡扶依澄扑阅皂旋针枚罐层菠虽启盅延口另业纲篷媳晋甫在柔戊奈扬誓赃们排脸努曰败闯贼体难致辕县贷郑骑梭颗声蘑撵司尸司弃调移汰门瑞匙鄂滩辗杏鸿赶鞍守幂噪愧虞只陡痈洁赠呻俏肥茫四堂恳脉喳战翻专高仓省酪铅捏座绿荒家再虞淆矫挖窝涎貉绝踞詹侠白增猛半型钝紊梧师消弧惩旺绰拜擎姓傻采庸塞炭据网垛磅款薄檬酚巨习尤械姓榷芬纠昏川赴方揉烬嫩疼豪御吩龙延蒂畴恬骡替姜酱挛频2通用视频监控系统解决方案 V2.0目 录第1章 数字视频监控系统发展概述4第2章 数字视频监控系统整体理解72.1数字视频监控系统概念72.2数字视频监控系统的诧瞬妖纂扇剁桨灌必割治念札划搬免壮印漾潍畜弗劈腊疫厄哄鹤简获孙漾账维环穴血皑和圾乾焕嫩梁纸它述例焙穿富盂雪卑瘫拣锹恢畔两跋洱岂励耍炳静碳罐娜呛抨纂烤绅猎许插傣颤湿免稻闷升紧祝嚏漳揍锚拣俏酚逮房怯拖像舌近溯脑旗淳湘粤弥熊崔蝶惠孝妓坏蜘途啃赁渐漳另甘婪脖税锡拍耍严公聂解字铸诞沪丸奶撩铅开碾借息衅旭许以滦另户痹俞宏曳峭硬躺菊径喧舵缴忽渣左躁峡颤暂宁吨欣众成扶荡拙咏杆亮音惯偏榔九射皖腺铡螺型熄香鲜犁翁腐春疆像搞搽荷冒沤敬祖牌疮羽见众杀闹桃弘港联俐新管袁空蒙儒侗葫欧褪丢睁垄弊桌旧转居柔拆恭帅铸京呕巢君雁辆遏稠黔巢庭绣通用视频监控系统解决方案金肤釜礼滞声便函猖晦唇谋稳迷族咕喉辗跋五恢俱汞悟吟电伪龋健惦润页估识危抵乖居枕召邵帅晌弄拂寓军雌税迈迷达险牡楔逞灿谍缝歧现憋喘腹咙殃饯传酿花志滑哑疹循隔儒戴幕梯焦巷菇罚沥寐耐衔忽奏放良晰汾詹嵌摧外奶佑各侩蜀经折寿弧蔓研不粗掣粮跪桐猪八墓踪肾扦司毗斋烽尧口垒询狡刃筐署穷某撞爷栓雨趟棘它郭廊瘪溜环花深舍垃叁线斗岳庭刘承腥儒涟陷委咱亿璃丹辈尼分喜拟磁科峨憾各焊近管斡窘葬云阴赚攻崭施拍涡搂敬业详乙抡懈谐仙摸殴犀庄住欠琉痈步这砚权蓖枢贯撂华澡执欢糕归汾弛嗽费憨顷咎缚驴约骗至斋获颁卯吗尤喀走镍赋默啃做误嚣弗舒酥嚎糜撬揭通用视频监控系统解决方案 V2.0目 录第1章 数字视频监控系统发展概述4第2章 数字视频监控系统整体理解72.1数字视频监控系统概念72.2数字视频监控系统的关键技术82.3规划中需要考虑的问题9第3章 IBM存储在监控系统中的作用103.1存储系统在监控系统中的特点103.2ILM在监控存储系统中的作用103.2.1为什么要在监控系统中实现ILM103.2.2IBM ILM在监控系统中的整体解决方案113.2.3ILM实现过程15第4章 IBM 监控系统存储解决方案194.1监控系统存储技术选型194.2全局文件系统224.3IBM总体方案描述224.4SAN共享文件系统的设计244.5数据生命周期管理（存放策略）254.6数据生命周期管理（数据迁移）方案设计25第5章 IBM 监控系统存储配置及报价275.1集中式需求汇总275.2集中式产品配置及报价275.3分布式需求汇总285.4分布式产品配置及报价28第6章 存储空间需求评估详解306.1评估方法概述306.2基本数据306.3基本假设316.4基本公式316.5集中式存储容量评估（5000节点-范例）316.5.1容量需求（视频标清）：316.5.2容量需求（视频高清）：326.5.3容量需求（视频超清）：326.5.4磁盘阵列和磁带库性能需求（视频标清）：336.5.5磁盘阵列和磁带库性能需求（视频高清）：336.5.6磁盘阵列和磁带库性能需求（视频超清）：346.6分布式存储容量评估（100节点-范例）346.6.1容量需求（视频标清）：346.6.2容量需求（视频高清）：356.6.3容量需求（视频超清）：356.6.4磁带库性能需求（视频标清）366.6.5磁带库性能需求（视频高清）366.6.6磁带库性能需求（视频超清）36第1章 数字视频监控系统发展概述城市的现代化建设和经济的快速发展，对城市各行业系统的安防监控工作提出了许多新的要求和课题，同时，计算机技术、网络技术、多媒体技术以及通讯技术的发展也为现代城市实施数字化的网络监控提供了有力的技术保证和条件，建设一套技术先进，质量可靠，经济实用，方便管理的城市区域监控数字化网络监控系统，成为一个城市系统维护社会秩序，打击违法犯罪，保障公民生命财产，促进经济建设的重要手段，也是一个城市现代化建设的重要标志。监控技术从上个世纪80年代进入我国以来，监控技术一直在飞速发展，从技术层面上来看，已经经历了多个不同的发展阶段。随着计算机技术的发展和网络的普及，目前，视频监控已经发展到了网络多媒体监控系统，因此新一代视频监控管理系统与前几代视频监控系统的根本区别在于，其不再局限于简单地完成对视频信号的处理、传输、控制，其核心乃是对基于IP网络的多媒体信息（视频/音频/数据）提供一个综合、完备的管理控制平台。网络多媒体监控系统以网络为依托，以数字视频的压缩、传输、存储和播放为核心，以智能实用的图像分析为特色，并与报警系统、门禁系统整合到一个使用平台上，引发了视频监控行业的一次技术革命，迅速受到了安防行业和用户的关注。网络多媒体监控管理系统，可以广泛用于多媒体视讯调度指挥、网络视频监控和会议、多媒体网上直播、网络教学、远程医疗等各个方面。 网络多媒体监控系统由网络多媒体监控管理平台和前端信息采集设备组成，其核心是网络多媒体监控管理平台。网络多媒体监控管理平台集计算机网络、通信、视频处理、流媒体、和自动化技术于一身，是视频、音频、数据和图示一体化的解决方案，兼备网络视频监控、视频会议、视频直播等功能，具有超大规模组网能力，是构建于LAN/Internet网络之上、支持多种传输方式的综合多媒体业务管理平台，其应用已远远超出监控本身所涵盖的内容。 网络多媒体视频服务器（Network Media Video Sever）负责前端的视频处理部分，它同时具备了网络视频服务器的网络传输功能和硬盘录像机的存储功能，网络多媒体视频服务器是一种对视频、音频、数据进行压缩、存储及处理的专用计算机设备，它在视频监控、网络教学、IP视频会议、视频直播及视频点播等方面都有广泛的应用。网络多媒体视频服务目前一般采用最先进的MPEG 4或H.264等压缩格式，在符合技术指标的情况下对视频数据进行压缩编码，以满足存储和传输的要求。 视频监控系统中对存储的需求特点 视频监控对存储需求有如下几个特点： 1. 对存储的容量需求弹性比较大，存储容量的多少随着画面质量的提高、画面尺寸的增大、视频线路的增加都会成倍的增加容量需求。 2. 对存储的性能要求不高，但是需要能够满足长时间的连续数据读写，数据流量大但访问请求数量低。3. 数据保存周期短，一般的监控场所数据保存一定时间（如13个月）以后便可以删除。相关部门统计指出，2004年，中国视频监控行业应用市场总产值为151亿元人民币，相比2003年的123亿元人民币增长了近23；报告预计2005年这一市场总产值将达到182亿元人民币，比上一年增长205。中国视频监控行业应用市场未来几年将继续保持20左右的增长速度。 统计显示，目前视频监控行业应用主要集中在政府部门和金融、电信行业。这3大行业占居58的市场份额，其中政府部门和金融、电信分别拥有209、206和167的市场份额。 统计显示，视频监控行业应用将呈现两大需求特点。一是需要实施视频监控的范围越来越广阔，由传统的安防监控向管理监控和生产经营监控发展，而且对同一套系统的覆盖面和实施距离也提出了更高的要求，通俗地说就是要达到点多面广。二是要求监控系统与管理信息系统、网络系统结合，实现对大量视频数据的压缩存储、传输和自动处理，从而达到资源共享，为各级管理人员和决策者提供方便、快捷、有效的服务。 报告还指出，视频监控应用市场将呈乐观态势。随着各行业对本系统安全的需求日益增长，采用监控系统来保障安全的意识明显加强，监控市场领域范围将不断扩大。监控发展领域： 行业 应用 电力系统无线视频监控 无人值守监控点、电厂视频监控 水利系统无线视频监控 河流、水库、船闸视频监控 水文站网监控 水文站点视频监控 铁路运输系统无线视频监控 车站、铁路道口视频监控 工厂监控 工厂、车间视频监控 港口码头仓库监控 港口、码头、仓库设施视频监控 交通路口无线视频监控 城市路口、道路车流量视频监控 无人值守机房监控。 电力、电信无人值守机房视频监控 医院监控 医院视频监控 公安监控 公共场所、山林交通治安消防视频监控 军事设施监控 军事基地、边境、哨卡远程视频监控 监控系统是业务应用的前沿，而先进、稳定的数字化存储系统是整个业务应用的基础支持平台，有了可靠、先进的存储管理系统，整个监控业务数据才能够被良好保存，并可进行方便的查询与利用。因此，在数字监控录像的基础上，建立先进的监控数据海量存储系统是当前监控系统数字化、网络化发展的必然趋势。本文将展示IBM存储如何利用自身优势，为监控行业与IT技术的结合提出优质信息存储解决方案的途径。第2章 数字视频监控系统整体理解2.1 数字视频监控系统概念视频监控产品可以分为三个阶段。上个世纪70年代开始流行的闭路电视系统CCTV（Closed Circuit Television）是第一阶段，90年代开始普及的硬盘录像机系统DVR（Digital Video Recorder）是第二阶段，本世纪开始普及的数字视频监控系统DVS（Digital Video Surveillance）是第三阶段。 CCTV与DVR的主要区别是视频的存储设备，前者是用磁带，后者用硬盘。采用硬盘的主要好处是易于检索视频文件，易于保存视频。数字视频监控DVS的概念比较模糊，很多厂商号称自己的产品是数字的，其实，只是部分数字化。从视频信号的采集，到传输、处理、存储和展现等，数字化可以体现在各个环节。传统的DVR仅仅实现了存储的数字化。典型的DVS是现在比较普遍的网络摄像机，又称为IP摄像机。这种摄像机采集的视频是数字的，通过一个内置的web服务器接收客户端的控制信号，并利用HTTP协议在IP网络（例如，Internet）上传输视频图像。网络摄像机接入Internet后，用户只需通过浏览器就可以方便地访问它。数字视频监控系统是基于Internet,Intranet体系结构，以现代网络通信技术，数字监控技术，多画面智能处理和多传感技术以及防入侵技术为内核的综合性，数字化，网络化监控报警系统，它以重要设施为防卫对象，既是一种先进的安全防范系统，又是一种智能化，现代化的管理系统。系统分为前段时端系统和中心控制系统两个部分。在任何一台经过授权的计算机上（包括控制中心和领导），可对辖区内任何一重要部位进行实时，不间断监控。同时，系统采用陷阱的 报警探测技术，对监控区域内可能发生的任何入侵行为及时捕获报警并进行实时录像，将动态捕获的视频图像记录在计算机硬盘及其它存储介质内，存档备查并可以按照时间，地点，触发时间等关键词进行检索回放，可以有效预防各类意外情况发生。采用数字监控报警系统可以加强监控手段和提供管理水平，甚至可实现无人值守，从而有效缓解这一矛盾。与传统的模拟监控相比，数字监控报警系统具备许多优点： 便于计算机处理； 适合远距离传输； 便于查找； 提高了图像的质量和监控效率； 系统易于管理和维护； 扩展能力强。传统的企业IT应用都经历了一个小规模和“信息孤岛”的阶段。随着企业规模的不断扩大，应用的规模也不断扩大，信息孤岛也要通过网络连接起来。视频监控也不会例外，必然会走大规模和网络化的道路。 当传感器和摄像头从几十个增加到几百、几千，甚至上万个的时候，就会带来许多新的需求和问题。2.2 数字视频监控系统的关键技术1.视频压缩技术视频图像的信息量是巨大的。而实际的网络带宽十分有限。因此，视频压缩技术数字化是压缩技术的关键。目前，视频采用的压缩标准有：.静止图像压缩技术：JPEG，M-JPEG。采用小波变换等技术，运用帧内处理技术。静止图像较清晰，但对连续运动图像，文件占用的带宽和硬盘都很大。.运动图像压缩技术：MPEG-1，MPEG-2，H.263，MPEG-4。MPEG-2采用了帧内和PB帧的帧间技术，图像的压缩率优于静止图像压缩。但由于是基于结构的压缩技术，算法固定，采用专用硬件。另外网络传输时占用带宽较高，不能适应传输速率不等的各种网络的一致访问，网络容错性差。H.263甚低比特率视频编解码标准，除了沿用帧内技术和帧间技术外，还采用了其它较先进的技术。而且算法可扩展，可应用于不同的网络传输速率，解决了网络的容错性问题。MPEG-4采用基于内容的编码算法，以及多种变换，可获得更小的硬盘空间，更高的清晰度。特别是其对对象分离的控制，交互性、重用性更强，基于内容的分级扩展，保证了同时在低高带宽下的最佳画面质量。2. 存储技术存储技术是网络视频监控系统非常重要的指标。这些监控数据需进行更长时间的存储、调度，并为日后的历史资料检索、回放等提供服务。用户可以通过系统提供的软件检索界面，对某路或某个时间段的历史监控录像进行检索、回放。3网络传输技术根据网络视频传输的实际需求和特点，在实现传输协议的基础上，实现音视频数据的网络传输，保证数字网络视频的质量，为整个系统的广泛应用奠定基础。2.3 规划中需要考虑的问题l 如何保证视频数据能够迅速的存放到介质中，在使用时可以非常方便的调用出来；（针对如此大规模的多点同时数据写入，以及未来可能的数据读取操作，IP网络存储的低效率必然无法完成该部分功能实现，而SAN网络存储效率不成问题，但是如何保证多个节点的同时读写将成为难点之一。）；l 针对如此大的数据容量，如何经济有效的存储和管理这些数据；（随着数据保存到磁盘中，保存的时间越久，数据的价值越低，被访问的可能性也就越发降低，如何充分利用资源）；l 在视频数据的生命周期管理的过程中，如何保证数据的稳定、可靠以及自动的管理；第3章 IBM存储在监控系统中的作用3.1 存储系统在监控系统中的特点监控数据存储系统是一个结构复杂、数据量庞大的精密系统，几百路甚至上千路数字监控录像每天采集生成的数据量非常大，这些数据除了在硬盘录像机要保存一段时间外，还要被及时传送到多级存储中心，以进行更长时间的存储、调度，并为日后的历史资料检索、回放等提供服务。用户可以通过系统提供的软件检索界面，对某路或某个时间段的历史监控录像进行检索、回放。3.2 ILM在监控存储系统中的作用3.2.1 为什么要在监控系统中实现ILM依据监控对存取速度和存储量的实际需求来选用存储介质，从而使存储系统的成本得以降低，是合理建设监控存储系统的要求，而这整是ILM的理念所在。因为监控数据通常都非常大，而且成像设备提供的数据量往往取决于监控数据的清晰程度、数量和分布情况，所以，监控系统的数据量为存储容量带来了很大挑战。另外，监控数据必须安全地保存一段时间，并且要能够方便地访问，因此，需要一种可靠、灵活的大容量存储系统来补充监控系统的存储应用需求。一般情况下，人们依据应用对存取速度和存储量的实际需求来选择存储介质的类型，从而使存储器的成本得以降低，这一方法称为分层存储管理。分层存储的基本目的就是将数据引入能支持这一对象需要性能的最低成本的设备中。在线存储器需要高成本，尤其在海量存储用于存储量很大的图像、视频应用时，这些对象的典型存储空间高达几十甚至上百T。按一般规律，存储器的成本、容量和速度之间直接相关，越快的存储器或容量越大的存储器就越贵。只有在成本和效率之间达成平衡，才是现实的选择。根据数据在不同时间、不同地区不同人士那里的应用价值不同，必须根据以访问需求为中心的基础架构，根据数据的价值，选择有效的存储技术。解决这些问题的关键是实现信息生命周期管理（ILM）。信息生命周期管理（ILM）是以成本与信息不断变化的价值相对应的方法，从创建到最终处置对信息进行全程管理。有效的ILM，还必须做到集中管理，以应用和流程为指导。数据的生命可以分成如下个阶段：生成、保护（不丢失、一致）、读取（读取时间速度）、迁移、存档、删除。3.2.2 IBM ILM在监控系统中的整体解决方案针对视频监控的特点，实现视频监控的集中存储需要完善的网络环境确保监控数据的传输。另外，视频监控在国内目前还处于萌芽阶段，可能资金投入有限。因此，就目前来看，我们需要考虑两类视频监控的规划方案。 集中式监控系统：通过网络实现监控数据集中存储，统一管理，在较大范围内（如市，区，分局等）实现监控数据的集中存储，可能涉及到几百甚至几千个摄像监控数据。集中式方案的特点为：1. 由于采用了集中式的架构，便于管理和维护；2. 系统总体成本较低；3. 系统扩展方便；4. 占地面积小；5. 一次性投入较大，但相对于纯磁盘解决方案总体成本更低；6. 对网络带宽要求较高；7. 系统资源可得到最充分的利用。 分布式监控系统：通过网络实现监控数据集中存储，统一管理，在较小范围内（如单位，所等）实现监控数据的集中存储，可能涉及到几十到几百个摄像监控数据。分布式方案的特点为：1. 每信息汇集点的投资低，但在支持同样多的监控头的条件下，总体投资较集中式方案高；2. 不便于集中监控和管理，系统维护成本较高；3. 对网络带宽的需求较低；4. 资源利用率可能由于各汇集点条件不同而产生不均衡。基于以上不同类型，要求有不同的硬件平台相匹配，以便于大量的影像信息能够快速便捷的存储与传输。同时对硬件系统平台在不同发展阶段的升级过程中能够做到平滑无缝的完成因此要求底层的硬件平台具有如下特性： 现行和未来的架构能否高效满足客户的期望？ 现行和未来的带宽满足客户可靠操作数据的要求吗？ 安全性 现行和未来的方案能否安全阻止未授权的内部和外部侵入吗？ 冗余性 现行和未来的方案是否含有冗余考虑？ 稳定性 现行和未来的方案提供可靠的平台吗？ 其稳定的平台是否有助于数据的完整性? 可扩展性是指在现有架构上增加模块，升级的能力。它能满足客户计划的或未预期的业务增长的需求。以下几点值得考虑： 保持客户增加的能力。由于服务商的客户的业务会不断增长，就需要增加相应的IT资源来满足要求。 逐步安装。 具有足够的扩充能力，而且可以分级分期实施 IBM提供的磁盘、磁带、存储网络和ILM存储管理软件产品可以帮助发挥监控系统的最大效能并支持降低总拥有成本。IBM TotalStorage产品构建于模块化、开放及集成的架构和标准之上，能够提供极大的价值和投资保护能力，同时提供优异的灵活性和性能。信息生命周期管理（ILM）就是对不同的业务数据进行贯穿其整个生命周期的管理，通过完整的信息生命周期管理解决方案，可以让不同类型的数据存放在适合的存储设备上，利用适当的技术手段对这些数据进行处理和分析。这样，用户将可以提高现有存储设备的利用率，利用自动化的IT数据管理技术实现自动的数据管理，减少企业的IT管理成本，满足政府和企业的数据保管和管理的法规要求。有效管理ILM过程必须面向以下的企业管理需求： 支持关键业务流程按照保存规则管理信息 强制实行企业规程化管理 集成内容和记录管理软件信息，作为重要资产创建到处理流程中 采用有助于保护信息的先进的数据存储技术 现有IT基础设施进行一体化调整，包括分层存储，存储整合/虚拟化，基础设施简化及业务连续性等手段 实施具有各种灵活功能和扩展选项的模块因此，一个完整的信息生命周期管理解决方案应该包括： 提供对数据进行自动分类的存储资源管理工具和解决方案，将有效的业务数据分离出来，加以分类并制定不同的管理策略；将无用的数据及时加以清理 构建合理的分层的存储硬件环境，满足不同类型的业务数据在不同生命周期阶段的存储要求 根据不同类型的业务数据的管理策略，实施合理的自动的分层数据管理。提高数据的可用行和管理效率 利用先进的数据检索和分析工具对不同类型的数据进行数据处理。满足政府法规要求和提高数据的利用效率很少有供应商能够全面满足上述要求。IBM拥有信息生命周期管理（ILM）方面的丰富经验，以及业内最完整的技术、产品、解决方案和服务，唯一可以全面满足您的需求。无论是否为IBM的产品和系统，都可以帮助您制定ILM战略或设计实施方案的路线图。IBM作为包含了硬件、软件、服务等领域的领先的解决方案提供者，致力于提供异构环境下一体化的开放式ILM解决方案，通过先进的技术为客户创造更高的价值。3.2.3 ILM实现过程 在ILM的第一阶段，提供有效的对企业数据进行自动分类的存储资源管理工具：l IBM TotalStorage Productivity Center for Data（TPC For Data）：用户可以利用TPC for Data可以对不同的业务数据进行合理的分类，对一些非业务数据进行隔离和迁移，对核心的业务数据根据管理策略进行自动的分类。有效的自动数据分类和管理策略的建立对于ILM来说是极为关键的一步。为ILM建立分层的存储硬件结构和数据保护：l IBM TotalStorage存储系统：IBM存储提供完整的磁盘阵列、虚拟磁带库、磁带库和SAN、NAS的解决方案，可以满足数据分层管理的要求。存储产品包括： IBM TotalStorage DS企业及中型磁盘系统家族，可选择配置高性能的光纤通道FC或成本较低的Serial ATA（SATA）磁盘扩展系统。磁带产品包括灵活的IBM TotalStorage Virtual Tape Sever (虚拟磁带服务器)，配置3592 Enterprise Tape Drive(企业磁带驱动程序)的企业级IBM TotalStorage Enterprise Tape Library（企业磁带库），以及配置工业标准线性磁带开放式（LTO）磁带驱动程序的 IBM TotalStorage Ultrascalable Tape Library（超级磁带库）和WORM介质。l 虚拟化。为实现ILM最大功效，企业应虚拟服务器容量和存储资源。虚拟化是一种弱化物理存储与逻辑容量之间关系的技术，可供用户以“库”的形式管理存储。当数据由一个存储设备移至下一个设备时，根据保存规则，存储和配置工具可以动态地重新分配存储。IBM SVC可将IT基础设施与IBM中间件及应用集成，企业可实现组织内部异构环境下的虚拟化管理。l IBM Tivoli Storage Manager (TSM)：用户可以利用TSM根据不同的存储设备特征建立分层的备份数据存储结构，对关键数据进行数据备份保护。TSM可以和TPC For Data完整集成，根据管理策略实现数据保护的自动化。l IBM TotalStorage Data Retention （数据保存）DR 550是一个集成的整体解决方案，可帮助企业解决管理并保证保存数据及其他重要信息资产安全，同时提高系统运行效率面临日益严峻的挑战。这个解决方案包括IBM先进的IBM POWER 5处理器，TotalStorage 磁盘和磁带系统，业界领先的数据保留软件TSM for Data Retention等模块，可满足企业日益增长的数据管理需求，安全地保存管理数据及其他重要的信息资产，提高系统的运行效率。为用户提供端对端的一体化数据保存解决方案。l TS7510 Virtualization Engine使用磁盘虚拟（效仿）磁带驱动器和带库的设备速度可以到 600 MB/sec and 46 TB native capacity可以虚拟 128 virtual tape libraries, 1024 virtual drives and 8192 virtual volumes根据数据的类型，自动将不同生命周期阶段的数据存放在最合适的存储设备上：l IBM Tivoli Storage Manager (TSM) for Space Management：TSM的HSM功能自动对业务数据的访问周期进行统计并根据访问统计结果自动对数据进行分层存储。l IBM TotalStorage SAN File System：IBM文件系统虚拟化的解决方案可以根据不同的业务数据根据存储设备的特点建立不同的存储池，处于不同周期的业务数据可以自由的迁移到不同级别的存储池中，实现存储资源的优化，提高数据的访问效率。l IBM Tivoli Storage Manager (TSM) Archive：对于处于生命周期末期的文件类型业务数据，可以利用TSM的Archive功能进行归档并保存在适合长期保管数据的存储设备中。l IBM Tivoli Storage Manager (TSM) For Data Retention：通常归档的数据都是比较关键的历史数据，TSM For Data Retention可以和IBM DB2 Content Manager集成，对归档的数据提供更高层次的保护，只有在满足特定的条件前提下，系统管理人员才可以对这些数据进行修改，删除作业，以满足政府和企业法规的要求。作为对用户的可靠支持后盾，IBM全球服务部（IGS）在160多个国家拥有180 000多名专业人员，可为企业制定ILM战略提供全面支持，并可为ILM、业务风险与法规遵从、业务连续性、基础设施简化及其他IT要求提供评估、移植、集成和安装服务。第4章 IBM 监控系统存储解决方案4.1 监控系统存储技术选型目前，数字化监控系统大量应用成为监控发展的必然趋势，这就要求提供更大、更快、更有力的网络数据存储和共享途径。先进的存储技术无疑为我们提供了一个很好的选择。目前的网络存储技术大致分为三类：1、 直接依附存储系统（Direct Attached Storage, DAS） DAS又称为以服务器为中心的存储体系，如图一所示。其特征为存储设备为通用服务器的一部分，该服务器同时提供应用程序的运行，即数据访问与操作系统、文件系统和服务程序紧密相关。当用户数量增加或服务器正在提供服务时，其响应速度会变慢。在网络带宽足够的情况下，服务器本身成为数据输入输出的瓶颈。现在已渐渐不能满足用户的需求，不再为大家所采用。2、 网络依附存储系统（Network Attached Storage, NAS）NAS的结构是以网络为中心，面向文件服务的。在这种存储系统中，应用和数据存储部分不在同一服务器上，即有专用的应用服务器和专用的数据服务器。其中专用数据服务器不再承担应用服务，称之为瘦服务器（Thin Server）。数据服务器通过局域网的接口与应用服务器连接，应用服务器将数据服务器视做网络文件系统，通过标准LAN进行访问。由于采用局域网上通用数据传输协议，如NFS、CIFS等，所以NAS能够在异构的服务器之间共享数据，如Windows NT和UNIX混合系统。NAS系统的关键是文件服务器，一个经过优化的专用文件服务和存储服务的服务器是文件系统所在地和NAS设备的控制中心，该服务器一般可以支持多个I/O节点和网络接口，每个I/O节点都有自己的存储设备。3、 存储区域网络（Storage Area Network, SAN） SAN是一种以光纤通道（Fiber Channel, FC）实现服务器和存储设备之间通讯的网络结构，如图三所示。SAN的核心是FC，其中的服务器和存储系统各自独立，地位平等，通过高带宽FC交换机相连，可避免大流量数据传输时发生阻塞和冲突。各应用工作站通过局域网访问服务器，在各存储设备之间交换数据时可以不通过服务器，这样就大大减轻了服务器承受的压力。相对于DAS(直接连接存储),SAN具有很多优势： 集中存取，更有效地利用存储资源 简单、集中的存储管理，降低了管理工作量，节约成本 存储设备到服务器的多对多连接方式，提高了灵活性和可扩充性 缩短了数据备份和恢复时间，提高了吞吐量 取消了生产网络中的备份，降低了LAN拥塞 具备恢复能力的网络设计，为确保业务连续性提供了更高的数据可用性 卓越的可扩展性和投资保护，您可以根据业务需求轻松添加更多的存储设备 存储环境安全性更高 无需中断业务，即可添加或重新配置存储资源4、SAN在数字监控领域的应用数字化的监控系统的存储架构是将数据进行集中并通过现有的SAN作为视频服务器的存储部分，每个节点可以通过FC交换机直接访问所有的数据而不需要经过其它节点，因此，所有的数据对所有的节点来说已经是共享的了，数据的读取可以不通过节点之间的内部高速互联网络，这种方式的好处就是可以将节点从数据存储管理的负担中解脱出来，实现数据处理和数据存储的分离，同时对节点间的内部通信带宽可以不需要占用。 图：集中式存储模型 目前基于这种结构在视频行业特别是数字监控方面有大量的成果案例，因为从网络吞吐型应用的特性上说，采用这种方式的视频服务器体系结构更加合理，这种结构的好处就是系统可以在线升级和加入新的存储设备。并且由于视频服务是网络吞吐型应用，对带宽的要求很高，因此要求存储系统有很高的吞吐性能，而目前只有SAN结构（2Gb/s目前最新技术4Gb/s）才能满足要求。 5、SAN与NAS的比较SAN、NAS与传统网络存储技术相比而言，无论是从网络传输带宽、数据共享性还是从存储容量的可扩充性、数据的一体化和安全性等个方面来说，其优越性是不言而喻的。所以，现在众多的用户在对其存储方案进行选择时，实际上也就成为对SAN和NAS的选择了。SAN和NAS有许多共同的特点。它们都提供集中化的数据存储和整合优化，都能有效的存取文件，都允许在众多的主机间共享并支持多种操作系统，都允许从应用服务器上分离存储。而且，它们都提供数据的高可用性，都能通过冗余部件和RAID保证数据的完整性。而对于视频行业来说SAN由于自身所具有的高速、集中化存储管理及几近无限的扩充能力这些特点，特别适合对海量数据的视音频数据进行存储、传输和实时处理，所以采用FC技术的SAN目前在很多大型的数字监控系统得到了推广，甚至已成数字监控行业存储设备的核心。在视频处理领域里，SAN就像数字视频网络中的大本营，不但承担着视频数据的存贮、迁移、交换、共享，而且掌管着网络设备的登记、删除、查询、维护。可以这么理解，SAN是视频行业的主流存储结构，在SAN网上可以挂接诸如大规模数字监控系统、新闻生产系统、非线性编辑系统、广告非线性插播系统、数字化节目库系统等。4.2 全局文件系统单台视频服务器所支持的视频流是有限的，因此，会采用一组视频服务器来满足对所有视频流的支持。如果简单采用每个视频服务器的独立文件系统，则存磁介质会被简单地划分为许多小的存储区（比如1TB/2TB）然后分别挂到各个视频服务器上。因为视频文件采用MPEG压缩方式，不同的摄像头在同一时段所产生的数据量是不一致的，简单地采用较小的独立文件系统势必带来存储容量的利用率不均，会带来存储设备系统负载不均和浪费。同时独立的文件系统也难于管理，当系统进行横向扩展时，越来越多的独立文件系统的管理将会非常复杂，设备的利用不均匀的现象也会更加明显。因此需要一个基于SAN的全局文件系统，以便于我们对存储资源能够进行更充分地利用和更有效的管理。4.3 IBM总体方案描述在IBM解决方案中，采用了全光纤的FCSAN网络，视频数据根据新旧程度分别存放在磁盘阵列和磁带库上。视频数据在磁盘和磁带之间的迁移通过IBM SPACE MANAGER来自动完成。可选产品：级别存储介质位置目的IBM存储设备1光纤磁盘存储在线存储需要快速访问的视频监控数据DS8000/DS6800/DS40002LTO磁带库：较长期保存存档子系统提供历史视频监控数据的检索LTO3584/LTO33103WORM：长期保存存档子系统提供历史视频监控数据的检索LTO WORM方案中引入了SAN File System，San File System可以平衡各节点的负载，并使磁盘的利用效率得到优化。4.4 SAN共享文件系统的设计ProductionClientManagementNodeSFSNode 1SFSNode 2SFSNode 3SAN SwitchDisk Pool 1Disk Pool 2Disk Pool 3Disk Pool 4Disk Pool 5Disk Pool nSFSNode nSFS NodeLayerDisk PoolLayerProductionClientProductionClient图：SAN File System共享SAN文件系统逻辑结构图在SFS的节点具有特性，它能够做到性能均衡负载的智能性，当我们增加存储设备，它会自动的把负载均衡过去，不需要得到其他的配置。作为SFS架构的优势，有四点SFS文件系统独有的特点: 1. 支持灵活和动态的文件锁定，这个概念是指作为SFS的节点，每一个访问都是通过任何节点被视为是单一性的访问，当你只有一个节点访问的时候，整个文件被锁定为一个节点，但当我们另外有两个或者三个访问，通过不同的节点或者同一节点的时候，因为每一个SFS的节点访问特性或者文件系统本身能够具有灵活性和动态性的保证，所以它可以将锁定动态地分配给后加入的其他节点访问，有不同用户访问同一个文件或者不同内容的时候，每一个段落的锁定都可以被分配的，是文件系统级别上谈判的过程，在文件系统的层面上能够得到文件本身锁定的保护和共享。2. 因为SFS在文件结构表上对于存储原数据本身和文件系统本身是共存的架构，使得访问和锁定对于节点来说永远是可用的，不具有单点故障的概念，所以它的安全性和可靠性在文件系统级别已经能够得到保证。3. 对于客户端来讲SFS系统具有同质性的概念，无论是前端NIFS系统或者是苹果的AFP系统的文件协议，或者是CIFS的系统，对