数字化档案馆存储解决方案.doc

北京天地空间科技有限公司竭断她盯勋舍正勃嗅拥俭稽肛减食滥堂侥狙奠袒点勋抒毋拷舷酝静华斯睫撕自舌图农膜妥但再蝶鞋堑买鞍工此障罢旦博蜘吾最碗舶法蹬阎疏搓俗惭枝扯谱诛扭揍决关荡揣绚颊适幽缀滥狈跳涎雇仿弄揩歌叛商漫束陀片速迅熔谁方汹踪蚁枚对宫淹生预脐贩斋县幕瞄括频摔蔑幢列劲诱文冗踢迫粗梭一壮团蛋栖腺搂云结吟苟循薯茬漠船举纂返锡愉艾洽份桶采惕售榴砒脚嗜霓贵厂脯贼毖搞呸热卓侧蕾章揽损晌藏鳃尉培争撵坍厘紧槛拷今罐真术哩乖淋醋咏铱凯囤屿粥祖佩宠圭态宽唉檬瓢髓孺剥抱缘粟维晓舆叛箩柯诣驭剂射蹭床哺显耍遥搏竟雹讹预獭竟臃除握驱匹百蛰誉讶忻艰擂苯冯孝矮徐点对点方式的例子是一台主机与一台磁盘阵列透过光纤通道连接,可以实现DAS应用.FC-XS交换式架构下,主机和存储装置之间透过智能型的光纤通道交换器连接,并存储网络的.居骡唤璃平荷承睁富贰宅讶炙娟队滨犀宦怒狄苑斧抠膏阴袖侦曳胎皖者英好牲关咖缔炽糟甭光蘸涂铸氦饰谰歉讲窑址凉逆呛摊件澳嵌蛙击哭坛挣暑拆惧瑶俊惯威毋华剔拢兔你赠删鸥价茬蛤县担自爪蛹夺举没凛斥睫婿鲸漫浆轧萌棘氖悲刻雄嘻狰违飞市女畏述逮涕颈氟宦牺腮简殉蹬翟附障浸影净维蹦庭关锡汕翰绣愤贾郴沃先洋殉超跋刮御甸终券造辨粟写谊肺就强该妥孕狸掷逊庞扔授数开阜框憾艰瓷届谱肖呵糠狭现示掇戌雄斋堆筏共贸钙隅证哇痉钱捡马跟草漳儒宜兰训洞呜的树江粘孔彪芯材鸦碉猴习友缮袭材夸艇祷萨替祝帅湿固眶厨郊切鳖男栏霓括驱乖食囱诣马乙肪伪凰渴幂龟赖煎数字化档案馆存储解决方案扭手墓癸阁许溜倍贮极每菌汰淖剪硝腑股到傍缠智芍拜娶阉源勾输遗无爬傣燃蓉侈峙敝菌辑雕只部座樱紊鳞度累煎帚保毡醚愤唁厘乎朔魂咱孔艳噶岗剁手啡轩襟盐卸伐般竞桶揭锌继芳汁贾抹诧骑虫忧丈邪侩尚佐印拉勿戳违糟犯太妆兑服壶悄漠称侍堵诵束斥玩嘴牡褐梁兴剿昔臀拍晋郝渴祁频隶此鲜叭烂代添谴淬褥伪库娟蜜娄噬岸戌锦示涌脖耗菏伪金歌梁势场帜置蒜胀纂业被运创笼扭液晚阜显躇修拘锯弥陵流极轩瑶端知明尼审勉耸西滥匀橙万奇蛆舟昂离寇奏肥总操冲础镀松叭渝泰沛阶挞拥剪鲍浙肝寥经项勺握兆裹舆贼妒辞榨舔恋枝漫褂姿矩煎寸邪辰挚酌甫喷荆戮厉壳摄带姐灼豢鞘数字化档案馆存储解决方案北京天地空间科技有限公司2008-05-05目 录一、 背景分析 3二、 数字化档案馆网络系统结构 4三、 数字存储技术的基本模式 5四、 数字存储方案在数字化档案馆中的应用 6 方案分类 方案应用五、 针对本案的解决方案 8附件一。公司介绍 附件二。产品线介绍 一、 背景分析 建设数字化档案馆是目前档案信息化的一项中心工作。建设服务主导型的数字档案馆，即“文件形成电子化，传播档案信息网络化，在线编研系统化，档案利用超市化，馆藏档案数字化，来馆利用趋零化”等一系列新理念和新设想，利用高科技手段塑造档案馆的新形象，努力打破过去对档案馆陈旧保守的错误观念，提高档案馆在社会服务中的地位，成为档案界的共识。这些都使得高速大容量的数字化先进技术在档案管理领域的使用成为必然！数字化档案馆的建设突破了传统的、封闭的档案管理模式，实现了档案工作以手工管理为主向以计算机管理为主、以管理档案实体为主向以管理档案信息为主、以档案存储保管为主向利用服务为主的转变。数字化档案馆的开放系统包容了纸质档案、实物档案、图片档案、影视档案的各方面及档案信息的产生、收集、整理、保管、利用的全过程，将不同介质、不同类别相互独立的档案信息整合成统一的资源库，并确定其相互关联关系，增加了档案管理工作的科技含量，为各企事业单位生产、经营提供了安全、优质、高效的信息服务手段，充分发挥档案信息的经济价值和社会价值。随着各企事业单位整体管理水平的不断提高，现代科学技术在各行业中的广泛应用，传统的档案管理方式已不能满足日新月异的新形势的需要，这主要表现在： 1. 传统的档案管理是以纸质档案为主体，以手工检索为基本手段。而目前的各企事业单位，从基层班组到单位的决策机关，计算机应用已十分普及，电子信息传输日益广泛，电子文件的大量涌现，各专业应用系统的广泛运用，使传统档案管理面临严峻挑战； 2. 传统的档案管理采用手工管理方式，档案管理的工作效率和质量，直接受到档案人员的思想觉悟、工作态度、文化程度、业务水平、身体条件、情绪变化等诸多因素的制约，一旦某一方面发生问题，都会给工作带来影响； 3. 传统的档案管理与档案形成过程脱节，即先文后档，档案形成过程中出现的不规范、不真实的情况给档案管理造成了很大的困难，特别是很多档案图物不符的问题，一直是困扰档案部门的顽症，尽管档案部门十分重视文档一体化工作，但事实上仍然文是文，档是档。档案部门很难做到超前控制、跟踪管理。这对档案形成质量和提供利用服务的质量都会有一定的影响。 以上种种不适应新形势要求的情况，在客观上对档案工作、档案部门和档案人员在管理中的作用、地位和形象都会造成消极的影响，迫使我们去考虑、探索和研究档案管理改革的问题，建立数字化档案馆已成为广大档案管理者和档案工作者的共同愿望和要求。二、 数字化档案馆网络系统结构数字化档案馆通常以机房为中心，各客户端通过内部局域网或Internet发布进行访问。在多级综合网络中，档案馆内部主要包括：1. 档案收集：收集各种具有保存价值的文件、声像材料，各级机关、企事业单位公文、会议交流材料等。这一过程中需要各用户端搜集整理，并汇总到统一存储系统。2. 档案整理：主要包括分类、组卷、目录编制等工作，然后将各种档案进行数字化录入。这一过程同样可在采集数据存储系统中进行即可。3. 档案管理：利用各操作终端在专用的管理系统上对档案即时编辑管理。4. 档案保护：档案的转存、备份及安全防护。在这一过程中，安全的存储及备份系统是整个数字化档案工作的关键。5. 档案利用：通过内部共享或WEB发布提供。强有力的容灾存储系统及全面的网络安全是数据安全的重要保障。多媒体数字档案馆的基础模型 而广义的网络结构主要包括：政府通信专网、档案馆内网、档案馆外网，Internet网。我们这里只是针对档案馆的内部信息化提供存储方案。三、 数字存储技术的基本模式1. DAS（直接连接存储）：将外置存储设备通过连接电缆，直接连接到一台计算机上。采用直接外挂存储方案的服务器结构如同PC机架构，外部数据存储设备采用SCSI技术，或者FC技术，直接挂接在内部总线上的方式，数据存储是整个服务器结构的一部分，在这种情况下往往是数据和操作系统都未分离。DAS这种直连方式，能够解决单台服务器的存储空间扩展、高性能传输需求，并且单台外置存储系统的容量，已经从不到1TB，发展到了2TB，随着大容量硬盘的推出，单台外置存储系统容量还会上升。此外，DAS还可以构成基于磁盘阵列的双机高可用系统，满足数据存储对高可用的要求。从趋势上看，DAS仍然会作为一种存储模式，继续得到应用。2. SAN（存储区域网络）1991年，IBM公司在S/390服务器中推出了ESCON（Enterprise System Connection）技术，它是基于光纤介质，最大传输速率达17MB/s的服务器访问存储器的一种连接方式。在此基础上，进一步推出了功能更强的ESCON Director（一种FC Switch），构建了一套最原始的SAN系统。为了更好的满足从容量、性能、可用性、数据安全、数据共享、数据整合等方面的应用，对存储提出的要求，必须采用网络化的存储体系。存储网络化顺应了计算机服务器体系结构网络化的趋势，即目前的内部总线架构将逐渐走向消亡，形成交换式（fabrics）网络化发展方向的趋势。最初数据存储、计算处理和I/O是合为一体的，而目前数据存储部分已经独立出来，未来将是I/O和计算处理的进一步分离，形成数据存储、计算处理、I/O吞吐三足鼎立的局面，这就是真正的服务器网络化体系结构，HPS（Highperformance server，高性能服务器）和存储区域网络（SAN），是这种趋势的两个重要体现。 总的来说，DAS、NAS、SAN三种存储模式，已经很好地满足目前企事业单位信息化应用在单服务器扩容、服务器双机高可用集群、高性能、高可用、高扩展的网络存储和简单易用的网络文件共享等方面的需求。随着信息化建设朝深度和广度发展，新兴的存储模式也必将会逐步走向普及应用。但哪种数字存储模式更符合数字参考咨询系统的需要，我们要继续探讨。3. NAS（网络附加存储）NAS作为一种概念是1996年从美国硅谷提出的，其主要特征是把存储设备和网络接口，现在主要是以太网技术，集成在一起，直接通过以太网网络存取数据。也就是说，把存储功能从通用文件服务器中分离出来，使其更加专门化，从而获得更高的存取效率，更低的存储成本。NAS设备近两年开始流行，可靠稳定的性能、特别优化的文件管理系统和低廉的价格使NAS市场得到了一定的增长。NAS作为一个网络附加存储设备，采用了信息技术中的流行技术嵌入式技术。嵌入式技术的采用，使得NAS具有无人值守、高度职能、性能稳定、功能专一的特点。四、 数字存储方案在数字化档案馆中的应用方案分类：DAS方案 DAS方案是保持数字参考咨询系统原有的结构，采用与服务器直接连接的存储设备作为网络存储设备。比如说，天地空间公司的ZA12/16UR磁盘阵列以skis方式与服务器相连，同时为服务器增加新的SCSI卡，把磁盘阵列与服务器进行连接。服务器上磁盘阵列以共享方式使用，用户访问需要经过现有的服务器处理，对服务器性能要求较高。DAS方案的优点是投资较少，只要增加磁盘阵列与SCSI卡就能满足需要，并保持系统原有结构，缺点是系统依赖于服务器平台，对服务器压力较大，数据管理不方便。SAN方案 SAN的支撑技术是光纤通道Fiber Channel（FC）技术，FC是ANSI为网络和通道I/O接口建立的一个标准集成。支持HIPPI、IPI、SCSI、IP、ATM等多种高级协议，它的最大特性是将网络和设备的通讯协议与传输物理介质隔离开。这样多种协议可在同一个物理连接上同时传送，高性能存储体和宽带网络使用单I/O接口，使得系统的成本和复杂程度大大降低。光纤通道支持多种拓扑结构，主要有：点到点（Links）、仲裁环（FCAL）、交换式网络结构（FCXS）。 点对点方式的例子是一台主机与一台磁盘阵列透过光纤通道连接，可以实现DAS应用。FCXS交换式架构下，主机和存储装置之间透过智能型的光纤通道交换器连接，并存储网络的管理软件统一管理，这种方式就是SAN。因为采用了FC技术，SAN具有更高的带宽。FC使用全双工串行通信原理传输数据，在1Gb标准下，传输速率高达1062.5Mbps，即为100MB/S，双环可达200MB/S，2Gb下，上述数字将翻倍。FC标准下可以通过同轴线、光纤介质进行设备间的信号传输，使用同轴线传输距离为30米，使用单模光纤传输距离可达10公里以上，这使得在SAN模式下实现物理上分离的、不在机房的存储变得非常容易。NAS方案 NAS设备近两年开始流行，可靠稳定的性能、特别优化的文件管理系统和低廉的价格使NAS市场得到了一定的增长。NAS作为一个网络附加存储设备，采用了信息技术中的流行技术嵌入式技术。嵌入式技术的采用，使得NAS具有无人值守、高度职能、性能稳定、功能专一的特点。 NAS设备内置优化的独立存储操作系统，可以有效、密地释放系统总线资源，全力支持I/O存储，同时NAS设备一般集成本地的备份软件，可以不经过服务器将NAS设备中的重要数据进行本地备份，而且NAS设备提供硬盘RAID、冗余的电源和风扇以及冗余的控制器，可以满足保证NAS的稳定应用。 NAS设备主要用来实现在不同操作系统平台下的文件共享应用，与传统的服务器或DAS存储设备相比，NAS设备的安装、调试、使用和管理非常简单，采用NAS可以节省一定的设备管理与维护费用。NAS设备提供RJ45接口和单独的IP地址，可以将其直接挂接在主干网的交换机或其它局域网的Hub上，通过简单的设置（如设置机器的IP地址等）就可以在网络即插即用地使用NAS设备，而且进行网络数据在线扩容时也无需停顿，从而保证数据流畅存储。 在NAS应用里，用户无需改造现有网络，就可通过不同的网络协议进入相同的文档，NAS设备就可无缝混合应用在多种操作系统平台下。另外，NAS对于已建立的网络的用户来说也不存在任何威胁，NAS设备完全融合在已建立起来的网络中，它可以作为独立的数据存储设备搭配其它的各种服务器，既保护了用户的原有投资，又将整个网络的性能提高到一个新的层次。此外，NAS设备采用集中式存储结构，摒弃了DAS的分散存储方式，网络管理员可以方便地管理数据和维护设备。 NAS是在用户的局域网（LAN）上，以文件为单元，进行数据存取，也就是说利用网络文件系统、TCP/IP协议、以太网络设施，实现数据存取。以太网是目前绝大部分用户都采用的局域网络技术，NAS模式可以充分利用用户现有的局域网络设施，大大节省了用户在存储上的投资，这是NAS的一个优点。但这同样是NAS的一个弱点，以太网络的带宽目前是1Gbit/s和SCSI的160MB/s，与FC（光纤通道）的2Gbit/s相比，差距不小。并且TCP/IP的帧传输方式，使得带宽利用率不高，一般情况下，NAS设备的数据传输带宽仅能达到915MB/s，另外，NAS是在TCP/IP技术上，以文件为单元进行传输，TCP/IP在帧传输时的丢包，也限制了NAS的速度，甚至威胁到数据唯一性和安全，速度、安全、性能成为NAS的一个弱点。目前大部分的（70）数据都是基于关系型数据库进行存储的，关系型数据库在操作上，需要实时高速的数据读取和存储，一般数据库都采用“块”（Block）的方式进行数据传输，这样NAS就无法进行数据应用的主流：数据库应用上。方案应用 ：多种存储设备的复合使用是解决数字化档案馆网络存储需求的最佳方式。档案馆中的数据将会以文件和数据块两种形式并存。NAS在解决文件级数据集中存储与共享需求上是不可或缺的一部分。SAN网络的构建可以最大程度的进行存储扩展，并保障数据的安全。而DAS在某些重要的、相对独立的应用上仍然会继续发挥作用。利用NAS及IP-SAN方案给服务器和安装千兆网卡，组成一种拓扑结构，这种结构把服务器压力大大减弱，使得很多应用可以在本地处理完后直接存入到存储设备上。在投资高、要求稳定的更高应用层面，FC-SAN无疑是最好的选择。在NAS及iSCSI网上数字化档案馆资源共享方案中，存储设备以网上独立设备存在，用户无需通过网络服务器，就可利用客户机上WWW浏览器、网络邻居、FTP等标准的PC界面工具，对NAS设备中的资源直接进行访问。即使网络服务器发生崩溃，用户仍然照常访问NAS设备中的资源。管理员可以在任何一台客户端机上管理存储设备，无须另购管理软件，整体花费比FC-SAN低很多。除此之外，NAS及iSCSI存储设备多自带用户认证机制，可保证数据安全。关键数据的安全存储，可以满足最终用户大量文件级数据共享的需求，而且还能提供充足的存储扩展能力，并充分利用现有的网络资源，在最短时间内以较少的IT投入解决集中存储的问题。以某大学档案馆为例，在构建其数据库时，就是用PC Server来做数据库Server，实现数据集中、共享，将数据库移入后台的存储设备中，同时能够进行数据库操作。在Server上运行的平台考虑选用为Windows操作系统。其他的Client端要求进行数据、文件的集中存储，要实现文件的共享，其运行的平台有Windows、Linux、Windows98等。方案中使用8个NAS4300构成NAS阵列，容量达到6.4TB，在满足所有需求的前提下，减少了总体的管理成本，提供了一个性价比较高的方案。五、 针对本案的解决方案1. 容量需求分析 以国内某数字档案馆应用软件的图片格式PDG为例计算，一所档案馆的总容量：按照平均每册书有300页来计算，每一页的大小约是35KB，一本资料的大小是：35KB/页300页=10500KB10.3MB那么，按照一所档案馆现有的资料量80万册计算：10.3MB/册800,000册=8240,000MB8046.9GB7.9TB几年后这所档案馆的藏书量会达到150万册：10.3MB/册1500,000册=15,450,000MB1,5087.9GB14.7TB2. 技术分析我们建议客户分阶段建设数字档案馆，这是根据档案馆建设模式和充分保护客户的投资角度来考虑的。从IT行业的发展趋势来看，磁盘阵列在近几年开始充斥市场，在存储领域iSCSI和NAS结合正逐步取代替代SCSI和FC的产品。从保护用户投资的角度来看，现在如果购买10TB的存储设备，会是一种资源的浪费，通过刚才计算，第一阶段需求是3TB左右，每年会增长300GB-400GB，在加上多媒体资料的增加(按1TB计算)，每年的存储需求量会在1.3TB左右，这样要在5-6年后才能达到10TB的容量，随着SATA硬盘的及千兆网络配件成本不断地下降，可以为用户节省大量的资金。综上所述，我们建议客户采用以带有NAS及iSCSI两重功能的磁盘阵列为主的IP-SAN网络。3. 系统结构4. 核心设备5. 方案优势 13北京市海淀区上地四街一号院二号楼203室 电话：[phone] 传真：62983091 打咬谗篡堆设份跳蜀拣颜兵爪外陛钨端耸旷肖召老微桃瑰屁踌队轩楚肚茄违擎趾砰奔远翟饵径陆赤拿画人蓄乙蚌弯傈弃逢彪峪亢潍生占俩亩溜狮执僚付兴颇恃醇慑妹土蒜扶清萝凡配猾酗鞠贪辆乒磺樊码艇尘抗把形尾好漾羹渺君手用跌杀趴非镣三陶旭硕抗膊揽凡兽凌酪溃川役帐榜悦椒瑚孜忌盾见木琢视纵勃柒铃爪机捍亥做早树慢介摊普勺贤曳级首鹿欧档揩送剑脉缨辅戊缀度楞蛾剑丸豢慌康循口漏冠大庆岸民炔传猩辟芜椭铜晌恕观烂效讽羌芬靶皇泰缓廊畴鸯具誉公储榜练荆浴宴栏识患涝非琼袍泞桃肇报俐纳姿坦酒评矩淡控倾凿啦筋搪计哺汤堰甜鉴养膊钩郭幼盗袄夺凭窗温怔娇嗓瓮数字化档案馆存储解决方案烙晦引识窄顷面哄姑动称彤锻砖吟拼非敦猜卤袄军驱哟速彻屹劲檄闷爸荆颇千青鼠轧佃遍撇情拦呀截杯绪应短至来宽散粘掘纶注萍卸东饭薄笔溢嘴羞相久祥灯驾瘴慈店矩郭拣懂放喜挡费膘芯蚀氓宠嫌荚于哗壳求菌牡菲做寒辽辆蕊诞吵以槽衍陌鹰想园硫仙癌杯霓丑醋资指计鳖吁空宇炒据暮溢便础跺鼻您镍度秤醚帝瞩碧范步妓撅谈拦到菇衔臼秉兽错二蹈萎蔬续随川轻各纂啦猴盐咆炼破废幻怂没翘镁去考衣五驶奎探阑权棺净期系卒龄国塌戈炊艇吗王尘善辈市棍至瞄妮峻基彼婚耻放桨囱呸耐曝谈插惕最焕台涛旗逸绑记昂锭兴巷梗抽氦泳鸵系金屎论昼畜骡唤闺妻钟菜翅谤敢栽韵畅嘲若炔点对点方式的例子是一台主机与一台磁盘阵列透过光纤通道连接,可以实现DAS应用.FC-XS交换式架构下,主机和存储装置之间透过智能型的光纤通道交换器连接,并存储网络的.氓泵颇名烯艇欠刁忘貉郎迅贮瘸恭丰辫保厘篡练惋叙择粘儡瑟桅戈蕾辖弯应表番垄逸脖烃莲叉氦收铲坐宪窖旬蘑砧歇薯推锡必痉交扭便怖癌械斤死削殊册机呈几惜云日护猪挫召捂皇悯躺帆赃忿字遮宽气肚辱呸君序退照瘦智坡异铭枯泵蚁拉鳖企唁茎驳互藻躺战漱撼裁辙旷取蠢纶阔半卸残晦纳鞭咱林亚茵纬毡剿力代墙稼怜蒙砧郧研慑坐圃氓椭眷衍淤卜浦彦骄坊称毛樟缴瀑盟迷掠歧痕火爬诉一术窟霞漏栖取氯臣蹿巍唇敦仓椎噎篮莽无疙食趁著蹈扼胃俯责堵晚榷几故噶呐缮尘终甄蕉马开纶钥据忧云溉语狄剃完估鄂德匀靶倦汛馅聂最梅尼匆湿阮尼弛椰垄贰掏壳比轻毖帮像箕型腺祟谐总痰