数字图书馆存储系统设计.pdf

文章编号:1007-757X(2005)07-0057-02数字图书馆存储系统设计谭沧海摘要:文章叙述了数学化图书馆中存储的特点,介绍的新型存储技术的分类和各自的特点,最后结合具体产品介绍如何利用新型存储技术设计出一个高可用性、可管理性与可扩展性的数字化图书馆存储系统。关键词:数学图书馆;海量存储;存储区域网络;网络附加存储中图分类号:G250.76;TP333文献标识码:A1引言数字图书馆(D igitalL ibrary DL),是进入90年代以后产生的一个全新的概念。随着计算机技术的迅猛发展,特别是网络技术,数码存储与传输技术等的全面普及,使得人们对文献信息的加工、存储、查询、利用等方面有了新的要求。以组织数字化信息及其技术进入图书馆并提供有效服务的数字化图书馆,其所有载体的信息均能以数字化的形式获得,包括所有联机采购、编目、公共查询;对各种信息资源的检索,通过网络组织读者访问外界数字图书馆和文献信息数据库系统,如电子杂志、电子图书,声像资料、动画片、影视片、多媒体资料等;用计算机系统管理图书、期刑等的读者服务;图书馆利用网络连接到全球各个角落,让人们很方便地共享资源。数字图书馆涉及的内容非常广泛,包括资料数字化、海量存储及数据管理、全方位查询检查、多渠道发布等技术,提供包括电子图书、社频、音频及其他多种形式的媒体资料等等。在数字图书馆环境下,各种数字信息的增长非常迅猛,同时,数字信息存储的容量需求越来越大,过去的硬盘存储、光盘塔存储、光盘库存储等等都已不能满足大容量存储的需求了,因而,可以容纳、甚至可以无限制地容纳更多信息的“海量”存储技术应运而生,如NA S存储、SAN存储等都是目前IT业界公认的先进存储方式。就学院本身的图书馆而言,未来几年间数字资源的扩充可能呈现几何级数递增,因此,设计一种高容量、可扩充的存储技术方案是数学化图书馆存储系统建设的重点。2数字图书馆存储技术分析传统的计算机网络系统,基本都是以服务器为中心的处理模式,存储设备(包括磁盘阵列、磁带库、光盘库等)作为服务器的外设使用,当服务器之间交换数据或向磁带库备份时,都是通过局域网(LAN)进行,这将占用大量的网络开销,严重影响网络的性能。传统的存储设备一般都是SCSI接口,其带宽在40 MB?S左右,传输较慢。网络化存储是全新的存储方式,而且随着存储技术的不断发展和创新,网络化存储系统也在不断的丰富和完善。首先,我们简要介绍几种网络存储技术。直接方式存储(D irect A ttached Storage-DA S)。存储设备是通过电缆(通常是SCSI接口电缆)直接到服务器。I?0请求直接发送到存储设备。其特点是:费用低:适合于单独的服务器连接。存储区域网络(StorageA reaN etwork-SAN)。存储设备组成单独的网络,大多利用光纤连接,服务器和存储设备间可以任意连接。I?0请求也是直接发送到存储设备。如果SAN是基于TCP?IP的网络,则通过ISCSI技术,实现IP-SAN网络。其特点是:高性能,高扩展性:光纤连接距离远:可连接多个磁盘阵列或磁带库组成存储池,易于管理;通过备份较件,可以做到Server-Free和LAN-Free备份,减轻服务器和网络负担。网络附加存储(N etwork A ttached Storage-NA S)。NA S设备通常是集成了处理器和磁盘?磁盘柜,连接到TCP?IP网络 上(可以通过LAN或WAN),通过文件存取协议(例如N FS,C IFS等)存取数据。NA S将文件存取请求转换为内部I?0请求。其特点是:安装过程简单:易于管理:利用现有的网络实现文件其享:高扩展性。涉及到网络存储有以下几种连接介质:以 太 网Ethernet:带 宽 可 以 是10 M bps,100 M bps或IGbps,可以是双绞线或光纤介质。通常的传输协议是TCP?IP光纤通道Fiber Channel:带宽是100 MBps或200 MBps,光纤介质。传输协议是SCSI。最大限制是距离不能超过25米,适合直连方式存储。SSA:带宽是160 MBps。针对性能优化,适合连接磁盘阵列的内部磁盘。几种常用的网络存储传输协议如下:SCSI:被称作“Block I?O”,因为SCSI命令指定存取存放75M icrocomputer Applications Vol.21,No.7,2005技术交流 微型电脑应用 2005年第21卷第7期作者简介:谭沧海,解放军汽车管理学院计算机室,研士研究生,蚌埠,233011 1994-2006 China Academic Journal Electronic Publishing House.All rights reserved.在某一磁盘块(Block)或磁带的数据。最早是通过SCSI连接发送命令,现在可以通过光纤、SSA和以太网(iSCSI)。N FS:被称作“File I?O”,用在UN IX环境下,实现文件级的数据的共享。通过TCP?IP网络传输。C IFS:同样是“File I?O”,用在W indow s操作系统环境。3存储技术的选择针对目前的存储技术,NA S与SAN都是在DA S的基础上发展起来的,是新型数据存储模式中的两个主要发展方向。NA S-SAN是目前最先进的存储方案,也是具有前景的网络存储技术之一。SAN是一个以数据块(Block)为存储单位的存储技术。而NA S则是一个以文件(File)为级别的存储方式。数字图书馆数据量庞大,其中大部分为文件级数据,比如扫描的T IF文档,电子书,PDF电子文档多媒体VOD文件等等。由于数字图书馆系统同时存在着数据块的数据库应用和文件级的数据,NA S-SAN汇聚系统就可以更高效的提供我们需要的信息服务。而且,NA S-SAN依然为网络存储(N et working Storage)操作和管理方式。大大提高了系统的功能,性能和灵活性。在具有超大存储容量的数字图书馆系统里,NA S-SAN汇聚系统可以说是最适合数字化图书馆的一种存储方案。因为它在提供SAN的好处的同时,又提供NA S的好处。NA S网络存储和SAN存储网络的结合能为我们提供独一无二的高性能网络存储解决方案。SAN和NA S相结合的存储系统的优势:扩展性以光纤为接口的存储网络SAN提供一个高扩展性,高性能的网络存储机构。光纤交换机,光纤存储阵列同时提供高性能(2000 MB?S)和更大的服务器扩展空间。这是以SCSI为基础的系统所缺乏的。网络存储NA S可以是已经配置好的,完整的并可追加至数十个I B的网络存储设备。由于NA S机构是基于目前的TCP?IP网络,远距离存储设备是完全可惟实现。通过结合SAN和NA S解决方案可以全面获得应用光纤通道的能力,同时获得更大的扩展性,远程存储和高性能等优点。存储管理StorageM anagementSAN存储网络提供一个存储系统,备份设备和服务器相互连接的架构。他们 之间的数据不再在以太网络上流通从而大大提高以太网络的性能。正由于存储设备与服务器完全分离,用户获得一个与服务器分开的存储管理理念。我们现在可以对图书馆的数据和存储作特殊和专业的管理不用在像以前的把数据管理与服务器管理混为一谈。复制,备份,恢复数据和安全的管理可以通过中央控制与管理手段进行。加上把不同的存储池(Storage Pools)以网络方式连接,可以以任何我们需要的方式访问这些数据,并获得更高的数据整性。可用性A vailabilitySAN的高可用性是基于它对灾难恢复,在线备份能力和对冗余存储系统和数据的时效切换能务而来。NA S应用成熟的网络结构提供快速的文件存取时间和高可用性,应用和数据复制(在存储系统层面)以保护和提拱稳固的文件级存储。一个会聚SAN和NA S科技的存储解决方案全面提供一套在以块(Block)和文件(File)I?O为基础的高效率平衡功能从而全面增强数据的可用性。应用光纤通道的SAN和NA S,整个存储为方案提供对主机的多层面的存储连接,高性能,高价值,高可用和容易维护等优点,全由一个网络结构提供。服务器的联合在一个SAN系统中,服务器全连接到一个数据网络。全面增加对一个企业共有存储阵列的连接。高效率和经济的存储分配可以通过聚合的和磁盘使用率中获得。一个NA S系统包含一个在一台NA S服务器中的一个文件系统并通过以太网接口连接到目前或新的以太网络里,同进使用企业的存储。由于服务器的增长和存储的增长不一样,开放的服务器可以基于数据处理作为组合和管理基础,不是存储规限。一套会聚SAN和NA S的储系统全面提高UN IX和W indow s服务器对存储设备的使用率达到75%或以上。4存储系统的设计在存储区域网(SAN)系统中,我们可以选用EM C第六代全光纤通道存储系统CLAR iionCX600光纤磁盘阵列,通过光纤,经由配置在网络中心的两台BROCADE公司的16口FC光纤交换机与应用服务器和其他存储设备相连。在网络附加存储(NA S)系统中采用美国N SS公司的NA S 2000和NA S 1000服务器作为存储核心。NA SI1000和NA S2000网络存储引擎(NA S Head)均支持SAN?NA S的会聚方案,它们都配备了N SS公司获奖的SPAN StorNA S操作平台软件,并全面支持IGb或2Gb光纤存储系统和SCSIU 1tra160和U 1 tra320存储系统。SPAN Stor V 5版NA S操作平台全面支持高达32TB的存储容量。你只需要添加一套适合你需要的存储系统即可,如SCSI或光纤磁盘阵列。一经连接,你的整套NA S网络存储方案即告完成。N SS提供了SAN和NA S的融汇方案,接口采用标准的RJ-45或光纤网络接口,可直接连接到校园网络,通过指定IP地址等简单配置就可以开始使用。用户存取文件的时候可不再通过中心服务器,直接降低了中心服务器的负载,即使在中心服务器发生崩溃的时候,学生仍能照常访问NA S设备中的资源。同时,通过独特的文件读取方式减少磁头臂机械移动的次数,降低了文件操作的时间,提高了速度。在软件方面,定制了基于浏览器的管理软件。网络管理员和教师在校园网中的任一台计算机上通过web浏览器就可以对NA S存储设备进行如用户添加账号、分配用户使用空间等管理工作,同时还可以进行远程升级及远程管理,大大简化了对存储设备和信息资源的管理与维护。(下转第61页)85M icrocomputer Applications Vol.21,No.7,2005技术交流 微型电脑应用 2005年第21卷第7期 1994-2006 China Academic Journal Electronic Publishing House.All rights reserved.Rational公司的Purify等工具,可以找出那些无用但被引用的对象。4结束语本文对Java中GC工作的原理和产生内存泄露的原因进行了研究分析,并根据在Java应用程序开发中的实践经验,摸索出了几条避免或改进内存泄露问题的方法,希望为开发更优的Java应用提供一些参考。参考文献:1 Bruce Eckel.Thinking in JavaM.北京:机械工业出版社,2002.2 Bloch J.Java高级编程指南M.北京:机械工业出版社,2002.3 Ji m Patrick.Handling memory leaks in Java program s EB?OL.http:?www-?developerworks?library?j-leaks?index.htm l,2003.4 SUN M icrosystem s,Inc.Tuning Garbage collection w ith1.3.1 Java TM V irtualM achineEB?OL.http:?docs?hotspot?gc?index.htm l,2002.(收稿日期:2004-11-29)(上接第58页)图1数字化图书馆存储系统拓扑图参考文献1丁世昶.21世纪的图书馆数字图书馆J.辽宁大学学报,2001.4.2杜国强.信息生命周期管理M.黑龙江科技出版社出版,2004.3.3M arc Farley(美),孙功星 蒋文保等译.SAN存储区域网络(第2版)M.机械工业出版社,2002.44 John Chirillo:ScottBlaul(美),金甄平译.存储安全技术:SAN、NA S和DA S的安合保护M.电子工业出版社,2004.1.5 W.Curtis Preston邓劲生译.使用SAN与NA SM.奥莱理软件(北京)有限公司,2003.3.(收稿日期:2005-3-14)(上接第41页)区域来完成,但此时得到相应显示区域内的信息就十分棘手了,因为W indML组件中没有提供实现该功能的函数,有必要对W indML进行功能扩展以实现屏幕取词功能5。4结 论在后PC时代,嵌入式技术将深入到生活和工作的方方面面,而嵌入式人机界面应用前景将更为广阔。本文所设计的基于V xWorks的无线接收器人机界面,具有具有良好的人机互动性,操作简单、动作可逆、记忆容易等人性化特点,基本上满足了无线接收器界面需求。此外在程序编写中采用了大量的控件函数,这有利于接收器其它需要界面显示的拓展功能得到更好的体现。模块化和可复用的设计思想使程序具有很强的可移植性。对于其它嵌入式人机界面的实现具有借鉴作用。参考文献:1孔祥营,柏桂枝.嵌入式实时操作系统V xWorks及其开发环境TornadoM.北京:中国电力出版社,2002.2 V xWorks Programmers Guide5.4 Z.U SA:W indR iver System s Inc,1999.3 Tornado U sers Guide Z.U SA:W indR iver System sInc,1999.4嵌入式开发技术论坛EB?OL.http:?.5袁渊,曾文火.基于嵌入式操作系统V xWorks的图形界面开发 华东船舶工业学院学报(自然科学版)第17卷第2期2003.6 W ind R iver System s.V xWorks程序员指南M.北京:清华大学出版社,2003.7周启平,张扬,吴琼.V xWorks开发指南与Tornado实用手册M.北京:中国电力出版社,2004.(收稿日期:2005-05-08)16M icrocomputer Applications Vol.21,No.7,2005 学习园地 微型电脑应用 2005年第21卷第7期 1994-2006 China Academic Journal Electronic Publishing House.All rights reserved.?M icrocomputer Applications Vol.21,No.7,2005开发应用 微型电脑应用 2005年第21卷第7期 1994-2006 China Academic Journal Electronic Publishing House.All rights reserved.