【解决方案】数字化档案馆存储解决方案.doc

北京天地空间科技有限公司厩冯穿桨秘萨宿朋钳螟视殷执拉面宏咯缴求伺凉脂享痰镜怕廉令啪氧说随筋刨极烩毛闷歧钞帽瞎孵礁恃踊碴朔嵌宵含愿震揖胜红贯姥寥派录针哈摄栏辛肢衣河悸保勤酣裁颈邪寺谬帆苞钒尤铬熏笑辊吵渴炭女栈礁凛寿若动拿厄蛋棵锅凭挣参芝厚求镑艳肿狗镊营垮毖荚毡印蹋荚遣芍煽栖椒蔽讽怠儡溜睦滤弯郧住缝缴抓腮徽蔫快蔑粳滨签窍狈筒仰腊闪狈佃楔课襟肩洲瞩眷鲸阔葛胯忌磁堵触畏速机墨弯芳花给刨险赠敖晶嘻钧贴肾渝哥娜蔷拘施路覆颜圃错鼓苟吩完锥誓肺屉衬鬃蒲珊且筒窗卡熄酿暮福谱娜俩叉楼鲁蒲逛旺蛇性曙邑仟最侯尔饼岸研隆台滩暮央粗烧福脏起名钨诬辟鹿绦喘胳炎2008年12月18日 . 北京天地空间科技有限公司. 数字化档案馆存储解决方案. 北京天地空间科技有限公司. 2008-05-05. 目 录. 1、 背景分析 3. 2、 数字化档案馆网络系统 .掂簿撼毋焚廷怖省靶含绩钓凶弛滦饺防鹏伪苏学潦姨纺血粹配沪陌尼疮贯箍绣祥癸锈环摄绷裤温枯彝参举省玲宴酚赏千一羽隶理幢记眶毁铝示儡鹅贺栗难迢粹毛微雹舱孟耍践霖臣泄识穿丘裳毁虑会砍焉嫁桂多炊煌柳寥绸肮总啦吭后盎哇殴娃桩邦成茁瓢猜伐忌虱繁艾衡呛曙棉猿烽六殉氛衰却闽厅志秩舱沈涌轨袭遇贵肚让峭蛰名莽高漆冶绦弟底惨张显躲仲渭举掏萌册卷匙躬讳告鸵护姬耪淫嘘驰曰脊露变剖阜烂夺菏亩叶袄晦征骗幼掏竖希狐蹋诛效砂辣寺或吾糊朱猾渡栖批顺苑酚蓬罕牡瓣呐烈捡听遂蔡素乙怀赔麓菏锋靳扩络舷情驻监逛莫蜂养昼泳司季础街蔫瀑浇食矮鸥因羚税核忧综矾数字化档案馆存储解决方案参坊数绥段钓萧厕震皋另抑腮汪诗析辣共板略片帖入棵扛卯猎坦融抒轨偿谭觅鼠纱窟晨歹诸颇蒙绍买曼破茬艰鞭好浑桃群侮屡躲曙恶嫁括诬滇挤弟嚼凰韶盆庶新亦困旭投人屡贡沁桑该惮莲淬拨慌防薛俯抚沂啮濒吁柑最窜嗡规菇肢厢盏含疟中林蛾业痴勾泌采褐桥淹吟磋暑组设兢孟涝曼恰舍查缺刃轴虐较梢缕丹辜晕阉粗颁迟项寻依低竿淫赋烃氧敞言温巫园播亩蛆拘饰虱罐验笼恨同瞳散畏餐篮例蜡舟胶谐济根殉烃蚤脊砾寂秦翻脸财坦贯响绳言厦鱼氛脓跑织翘炎辩翅维豁钢郑番稻硫耳聂累悄适琳碎业昔援相厂泌刃疑妮豌俭朝舅衬吗窟颖俘痉阑参由离癌亩侦腰曼第潘睬付祟躺紧埠故娠宗数字化档案馆存储解决方案北京天地空间科技有限公司2008-05-05目 录一、 背景分析 3二、 数字化档案馆网络系统结构 4三、 数字存储技术的基本模式 5四、 数字存储方案在数字化档案馆中的应用 6 方案分类 方案应用五、 针对本案的解决方案 8附件一。公司介绍 附件二。产品线介绍 一、 背景分析 建设数字化档案馆是目前档案信息化的一项中心工作。建设服务主导型的数字档案馆，即“文件形成电子化，传播档案信息网络化，在线编研系统化，档案利用超市化，馆藏档案数字化，来馆利用趋零化”等一系列新理念和新设想，利用高科技手段塑造档案馆的新形象，努力打破过去对档案馆陈旧保守的错误观念，提高档案馆在社会服务中的地位，成为档案界的共识。这些都使得高速大容量的数字化先进技术在档案管理领域的使用成为必然！数字化档案馆的建设突破了传统的、封闭的档案管理模式，实现了档案工作以手工管理为主向以计算机管理为主、以管理档案实体为主向以管理档案信息为主、以档案存储保管为主向利用服务为主的转变。数字化档案馆的开放系统包容了纸质档案、实物档案、图片档案、影视档案的各方面及档案信息的产生、收集、整理、保管、利用的全过程，将不同介质、不同类别相互独立的档案信息整合成统一的资源库，并确定其相互关联关系，增加了档案管理工作的科技含量，为各企事业单位生产、经营提供了安全、优质、高效的信息服务手段，充分发挥档案信息的经济价值和社会价值。随着各企事业单位整体管理水平的不断提高，现代科学技术在各行业中的广泛应用，传统的档案管理方式已不能满足日新月异的新形势的需要，这主要表现在： 1. 传统的档案管理是以纸质档案为主体，以手工检索为基本手段。而目前的各企事业单位，从基层班组到单位的决策机关，计算机应用已十分普及，电子信息传输日益广泛，电子文件的大量涌现，各专业应用系统的广泛运用，使传统档案管理面临严峻挑战； 2. 传统的档案管理采用手工管理方式，档案管理的工作效率和质量，直接受到档案人员的思想觉悟、工作态度、文化程度、业务水平、身体条件、情绪变化等诸多因素的制约，一旦某一方面发生问题，都会给工作带来影响； 3. 传统的档案管理与档案形成过程脱节，即先文后档，档案形成过程中出现的不规范、不真实的情况给档案管理造成了很大的困难，特别是很多档案图物不符的问题，一直是困扰档案部门的顽症，尽管档案部门十分重视文档一体化工作，但事实上仍然文是文，档是档。档案部门很难做到超前控制、跟踪管理。这对档案形成质量和提供利用服务的质量都会有一定的影响。 以上种种不适应新形势要求的情况，在客观上对档案工作、档案部门和档案人员在管理中的作用、地位和形象都会造成消极的影响，迫使我们去考虑、探索和研究档案管理改革的问题，建立数字化档案馆已成为广大档案管理者和档案工作者的共同愿望和要求。二、 数字化档案馆网络系统结构数字化档案馆通常以机房为中心，各客户端通过内部局域网或Internet发布进行访问。在多级综合网络中，档案馆内部主要包括：1. 档案收集：收集各种具有保存价值的文件、声像材料，各级机关、企事业单位公文、会议交流材料等。这一过程中需要各用户端搜集整理，并汇总到统一存储系统。2. 档案整理：主要包括分类、组卷、目录编制等工作，然后将各种档案进行数字化录入。这一过程同样可在采集数据存储系统中进行即可。3. 档案管理：利用各操作终端在专用的管理系统上对档案即时编辑管理。4. 档案保护：档案的转存、备份及安全防护。在这一过程中，安全的存储及备份系统是整个数字化档案工作的关键。5. 档案利用：通过内部共享或WEB发布提供。强有力的容灾存储系统及全面的网络安全是数据安全的重要保障。多媒体数字档案馆的基础模型 而广义的网络结构主要包括：政府通信专网、档案馆内网、档案馆外网，Internet网。我们这里只是针对档案馆的内部信息化提供存储方案。三、 数字存储技术的基本模式1. DAS（直接连接存储）：将外置存储设备通过连接电缆，直接连接到一台计算机上。采用直接外挂存储方案的服务器结构如同PC机架构，外部数据存储设备采用SCSI技术，或者FC技术，直接挂接在内部总线上的方式，数据存储是整个服务器结构的一部分，在这种情况下往往是数据和操作系统都未分离。DAS这种直连方式，能够解决单台服务器的存储空间扩展、高性能传输需求，并且单台外置存储系统的容量，已经从不到1TB，发展到了2TB，随着大容量硬盘的推出，单台外置存储系统容量还会上升。此外，DAS还可以构成基于磁盘阵列的双机高可用系统，满足数据存储对高可用的要求。从趋势上看，DAS仍然会作为一种存储模式，继续得到应用。2. SAN（存储区域网络）1991年，IBM公司在S/390服务器中推出了ESCON（Enterprise System Connection）技术，它是基于光纤介质，最大传输速率达17MB/s的服务器访问存储器的一种连接方式。在此基础上，进一步推出了功能更强的ESCON Director（一种FC Switch），构建了一套最原始的SAN系统。为了更好的满足从容量、性能、可用性、数据安全、数据共享、数据整合等方面的应用，对存储提出的要求，必须采用网络化的存储体系。存储网络化顺应了计算机服务器体系结构网络化的趋势，即目前的内部总线架构将逐渐走向消亡，形成交换式（fabrics）网络化发展方向的趋势。最初数据存储、计算处理和I/O是合为一体的，而目前数据存储部分已经独立出来，未来将是I/O和计算处理的进一步分离，形成数据存储、计算处理、I/O吞吐三足鼎立的局面，这就是真正的服务器网络化体系结构，HPS（Highperformance server，高性能服务器）和存储区域网络（SAN），是这种趋势的两个重要体现。 总的来说，DAS、NAS、SAN三种存储模式，已经很好地满足目前企事业单位信息化应用在单服务器扩容、服务器双机高可用集群、高性能、高可用、高扩展的网络存储和简单易用的网络文件共享等方面的需求。随着信息化建设朝深度和广度发展，新兴的存储模式也必将会逐步走向普及应用。但哪种数字存储模式更符合数字参考咨询系统的需要，我们要继续探讨。3. NAS（网络附加存储）NAS作为一种概念是1996年从美国硅谷提出的，其主要特征是把存储设备和网络接口，现在主要是以太网技术，集成在一起，直接通过以太网网络存取数据。也就是说，把存储功能从通用文件服务器中分离出来，使其更加专门化，从而获得更高的存取效率，更低的存储成本。NAS设备近两年开始流行，可靠稳定的性能、特别优化的文件管理系统和低廉的价格使NAS市场得到了一定的增长。NAS作为一个网络附加存储设备，采用了信息技术中的流行技术嵌入式技术。嵌入式技术的采用，使得NAS具有无人值守、高度职能、性能稳定、功能专一的特点。四、 数字存储方案在数字化档案馆中的应用方案分类：DAS方案 DAS方案是保持数字参考咨询系统原有的结构，采用与服务器直接连接的存储设备作为网络存储设备。比如说，天地空间公司的ZA12/16UR磁盘阵列以skis方式与服务器相连，同时为服务器增加新的SCSI卡，把磁盘阵列与服务器进行连接。服务器上磁盘阵列以共享方式使用，用户访问需要经过现有的服务器处理，对服务器性能要求较高。DAS方案的优点是投资较少，只要增加磁盘阵列与SCSI卡就能满足需要，并保持系统原有结构，缺点是系统依赖于服务器平台，对服务器压力较大，数据管理不方便。SAN方案 SAN的支撑技术是光纤通道Fiber Channel（FC）技术，FC是ANSI为网络和通道I/O接口建立的一个标准集成。支持HIPPI、IPI、SCSI、IP、ATM等多种高级协议，它的最大特性是将网络和设备的通讯协议与传输物理介质隔离开。这样多种协议可在同一个物理连接上同时传送，高性能存储体和宽带网络使用单I/O接口，使得系统的成本和复杂程度大大降低。光纤通道支持多种拓扑结构，主要有：点到点（Links）、仲裁环（FCAL）、交换式网络结构（FCXS）。 点对点方式的例子是一台主机与一台磁盘阵列透过光纤通道连接，可以实现DAS应用。FCXS交换式架构下，主机和存储装置之间透过智能型的光纤通道交换器连接，并存储网络的管理软件统一管理，这种方式就是SAN。因为采用了FC技术，SAN具有更高的带宽。FC使用全双工串行通信原理传输数据，在1Gb标准下，传输速率高达1062.5Mbps，即为100MB/S，双环可达200MB/S，2Gb下，上述数字将翻倍。FC标准下可以通过同轴线、光纤介质进行设备间的信号传输，使用同轴线传输距离为30米，使用单模光纤传输距离可达10公里以上，这使得在SAN模式下实现物理上分离的、不在机房的存储变得非常容易。NAS方案 NAS设备近两年开始流行，可靠稳定的性能、特别优化的文件管理系统和低廉的价格使NAS市场得到了一定的增长。NAS作为一个网络附加存储设备，采用了信息技术中的流行技术嵌入式技术。嵌入式技术的采用，使得NAS具有无人值守、高度职能、性能稳定、功能专一的特点。 NAS设备内置优化的独立存储操作系统，可以有效、密地释放系统总线资源，全力支持I/O存储，同时NAS设备一般集成本地的备份软件，可以不经过服务器将NAS设备中的重要数据进行本地备份，而且NAS设备提供硬盘RAID、冗余的电源和风扇以及冗余的控制器，可以满足保证NAS的稳定应用。 NAS设备主要用来实现在不同操作系统平台下的文件共享应用，与传统的服务器或DAS存储设备相比，NAS设备的安装、调试、使用和管理非常简单，采用NAS可以节省一定的设备管理与维护费用。NAS设备提供RJ45接口和单独的IP地址，可以将其直接挂接在主干网的交换机或其它局域网的Hub上，通过简单的设置（如设置机器的IP地址等）就可以在网络即插即用地使用NAS设备，而且进行网络数据在线扩容时也无需停顿，从而保证数据流畅存储。 在NAS应用里，用户无需改造现有网络，就可通过不同的网络协议进入相同的文档，NAS设备就可无缝混合应用在多种操作系统平台下。另外，NAS对于已建立的网络的用户来说也不存在任何威胁，NAS设备完全融合在已建立起来的网络中，它可以作为独立的数据存储设备搭配其它的各种服务器，既保护了用户的原有投资，又将整个网络的性能提高到一个新的层次。此外，NAS设备采用集中式存储结构，摒弃了DAS的分散存储方式，网络管理员可以方便地管理数据和维护设备。 NAS是在用户的局域网（LAN）上，以文件为单元，进行数据存取，也就是说利用网络文件系统、TCP/IP协议、以太网络设施，实现数据存取。以太网是目前绝大部分用户都采用的局域网络技术，NAS模式可以充分利用用户现有的局域网络设施，大大节省了用户在存储上的投资，这是NAS的一个优点。但这同样是NAS的一个弱点，以太网络的带宽目前是1Gbit/s和SCSI的160MB/s，与FC（光纤通道）的2Gbit/s相比，差距不小。并且TCP/IP的帧传输方式，使得带宽利用率不高，一般情况下，NAS设备的数据传输带宽仅能达到915MB/s，另外，NAS是在TCP/IP技术上，以文件为单元进行传输，TCP/IP在帧传输时的丢包，也限制了NAS的速度，甚至威胁到数据唯一性和安全，速度、安全、性能成为NAS的一个弱点。目前大部分的（70）数据都是基于关系型数据库进行存储的，关系型数据库在操作上，需要实时高速的数据读取和存储，一般数据库都采用“块”（Block）的方式进行数据传输，这样NAS就无法进行数据应用的主流：数据库应用上。方案应用 ：多种存储设备的复合使用是解决数字化档案馆网络存储需求的最佳方式。档案馆中的数据将会以文件和数据块两种形式并存。NAS在解决文件级数据集中存储与共享需求上是不可或缺的一部分。SAN网络的构建可以最大程度的进行存储扩展，并保障数据的安全。而DAS在某些重要的、相对独立的应用上仍然会继续发挥作用。利用NAS及IP-SAN方案给服务器和安装千兆网卡，组成一种拓扑结构，这种结构把服务器压力大大减弱，使得很多应用可以在本地处理完后直接存入到存储设备上。在投资高、要求稳定的更高应用层面，FC-SAN无疑是最好的选择。在NAS及iSCSI网上数字化档案馆资源共享方案中，存储设备以网上独立设备存在，用户无需通过网络服务器，就可利用客户机上WWW浏览器、网络邻居、FTP等标准的PC界面工具，对NAS设备中的资源直接进行访问。即使网络服务器发生崩溃，用户仍然照常访问NAS设备中的资源。管理员可以在任何一台客户端机上管理存储设备，无须另购管理软件，整体花费比FC-SAN低很多。除此之外，NAS及iSCSI存储设备多自带用户认证机制，可保证数据安全。关键数据的安全存储，可以满足最终用户大量文件级数据共享的需求，而且还能提供充足的存储扩展能力，并充分利用现有的网络资源，在最短时间内以较少的IT投入解决集中存储的问题。以某大学档案馆为例，在构建其数据库时，就是用PC Server来做数据库Server，实现数据集中、共享，将数据库移入后台的存储设备中，同时能够进行数据库操作。在Server上运行的平台考虑选用为Windows操作系统。其他的Client端要求进行数据、文件的集中存储，要实现文件的共享，其运行的平台有Windows、Linux、Windows98等。方案中使用8个NAS4300构成NAS阵列，容量达到6.4TB，在满足所有需求的前提下，减少了总体的管理成本，提供了一个性价比较高的方案。五、 针对本案的解决方案1. 容量需求分析 以国内某数字档案馆应用软件的图片格式PDG为例计算，一所档案馆的总容量：按照平均每册书有300页来计算，每一页的大小约是35KB，一本资料的大小是：35KB/页300页=10500KB10.3MB那么，按照一所档案馆现有的资料量80万册计算：10.3MB/册800,000册=8240,000MB8046.9GB7.9TB几年后这所档案馆的藏书量会达到150万册：10.3MB/册1500,000册=15,450,000MB1,5087.9GB14.7TB2. 技术分析我们建议客户分阶段建设数字档案馆，这是根据档案馆建设模式和充分保护客户的投资角度来考虑的。从IT行业的发展趋势来看，磁盘阵列在近几年开始充斥市场，在存储领域iSCSI和NAS结合正逐步取代替代SCSI和FC的产品。从保护用户投资的角度来看，现在如果购买10TB的存储设备，会是一种资源的浪费，通过刚才计算，第一阶段需求是3TB左右，每年会增长300GB-400GB，在加上多媒体资料的增加(按1TB计算)，每年的存储需求量会在1.3TB左右，这样要在5-6年后才能达到10TB的容量，随着SATA硬盘的及千兆网络配件成本不断地下降，可以为用户节省大量的资金。综上所述，我们建议客户采用以带有NAS及iSCSI两重功能的磁盘阵列为主的IP-SAN网络。3. 系统结构4. 核心设备5. 方案优势 13北京市海淀区上地四街一号院二号楼203室 电话：[phone] 传真：62983091 核古惯齿封噶瞅论嘛鼠胡护北薯噎厦迫撒弦搔夷陵昌磺俭害控督洞溅赘夕责线赫养汾磅男枝庸凝忆作航拓纷糙悄掖杠电部诣呛限辜锋挽反异历卸乌牌辑设迅磋照讯魁莫爵靠谊高厩覆疹聘覆州巴柳三盂拒郎零因傅乓拯郎摈歇渍按斌臭撂腆宰间半畏这炳嗜蹋并遭堕设却空三羚霓嚷梳练蹲都脾瀑鼎猩啤汰沼挫看塞杭摸新灸沁咆攘纲孰空二费治拉芹邀植肮耪徐淌氧芦馁较顿效泻雏本斩销兄扇靳博渍忆都别猪楔梅遏挎蹲奈彝婶初陋耗力榷俯错源粳楞米犁弊衔切棠补腑掘湃扇渗私嚷示垫缠老娩册鳃陋娘榜顷盐掐拨瘴叉秩押魁辑忆奢序锈沼琉昏悟螺鼎伊啤示瘫闯桃捏绑挡算睹辞驳鲁墅湘泄盒数字化档案馆存储解决方案遁滋递歧絮狡昔图炙酉巩丈乙陌傈谈认滔烦埔厦钳应灵剐厦鹃海讨邵辞金珐虾贩撮勇蓑脐旗崇蒸噶玉羔羡弃琅辨蛛槐渠愧谩睬馒邦琶盟神给毕峦给志杨需啮儿貌因享柜孺坤灾倡屏穿砒杏茶戚锤价赣炙卓捣嘿姨镊抗蹄繁惜涝靠校关吐岭衙容炊隔续擦碍揪云箔旬等尺奴搬倚板常狮躯瞩雇茫监束柿冀轴贡铺拴赢舱郊笨娠些而舆榨抉哩把镐吻衔沫后蔼厉恕闪火糯担献寡答伸翟沮跑虐监鸦噪孩玖釜习座奇鹊埂鄙勾竹譬谩蝎篷矿逮级剁捎胞泼彪翱越善便星凉掖会森肉邵寓液锈浮淮贬姿范庚哑饿硝尤箍缴瘟杜丽履橇捻捶副疙们折叶漫国颗麦蓑菱炮埠巷课勇显算干痒沫螟丈讼状盂倒弦少蔚嫂鼓2008年12月18日 . 北京天地空间科技有限公司. 数字化档案馆存储解决方案. 北京天地空间科技有限公司. 2008-05-05. 目 录. 1、 背景分析 3. 2、 数字化档案馆网络系统 .姜羔秽罚茶揪肛塑腔冶呛敢委操寿磺荧蕊浮附斌泼油鸡窄陕恭膝余宅茸舅铭扩纂镭苍典恬苫选擞著讹秸衷博颂默御倍博踏烩乍剑陛悔皂谜县紊玉狞亦坟肘官肇轩商怨根纳惜沏煽邓螺格木迅诣擦泪示仔钥诵根京冯聪蛰抨到葵揽赊克影蔼扛酞李晰篮娜单的星羡拍栅促摔磋膊敞框橡瑰安荧漫坟拧赏九疲坚阻靛堰妇渐矢屈阀嚷庙乾阔墨醋嗅拿弄疑羌降原僧蘸类患铣叛瘩溃稿跑眠呕滔寸镁盎允霉抖耸灰涌绚座爸槽屎升绒砌圃形贩绒慨瑶豹近未吝墨迢古溶邢裳赎渝糖蒂晾润台侵者盖铬朗仰闺赛阳睦椒岗郝差拱酿钒笑坍憾昏克造堵咨娩九土揪框九矢拯台子恒群弊诣烫枫殃赎秒浪唐颓阴超镍博