试论数字图书馆跨库检索的现状和发展.doc

个人收集整理 勿做商业用途

试论数字图书馆跨库检索的现状和发展
摘要：数字图书馆的跨库检索是一种近些年才兴起的服务方式，但已经成为数字图书馆领域的研究热点，无论是在功能还是在技术上都发展迅速。文章探讨目前数字图书馆跨库检索的相关技术及其发展，以及对国内外跨库检索系统进行比较和总结。
关键词:跨库检索;数字图书馆;中间件
ABSTRACT：Digital library of cross—database retrieval is a kind of emerged in recent years service way, but has become the research focus in the field of digital library, whether in function or to be technically developing rapidly. The article probes into digital library cross -search the relevant technology and development at home and abroad, and cross -search system to compare and summarized。
KEY WORDS：Cross –search；Digital library ；middleware

一、引言
本世纪以来,人类创生的信息量高速增长，据估计，70年代以来全世界每年出版图书50万种以上、期刊10万种以上、专利约50万件、科技报告约90万件、会议文献10多万篇、产品样本50多万种，每年发表的科技论文总数近500万篇，并呈指数式增长，真可谓信息浩如烟海。随着互联网的快速发展，通过网络提供服务的以缩微品、声像带、磁盘、光盘等形式记录的非纸信息急剧上升,电子资源日益增多,数据库种类越来越丰富.
如何从这浩如烟海的信息中找出所需信息，就成为信息检索的重任。信息化的多样性、数据库种类的形式不一、平台的差异性这些都对文献检索带来了许多困难。随着国家教育部要求在部分高校开设“文献检索与利用"课程，各高校图书馆数字化建设的大力投入、情报单位信息化建设的研究深入，这方面的工作也取得了一定的成绩。但存在的问题也不少，几乎所有的数据库都有自己独特的检索系统，用户每使用一种数据库，都必须重新进入和使用一种不同的检索系统，使人感到不胜其烦.往往又找不到所要的信息。这样用户的使用成本大大增加，降低了用户的积极性。因此，不少用户提出能不能开发一个兼容各种数据库的无所不包的检索和阅读的统一平台.
二、跨库检索简介
跨库检索也称联邦检索(Federated Search)，数据库检索(Multi-Database Search）或集成检索(Integrated Access)，是以多个分布式异构数据源为对象的检索系统，这种系统向用户提供统一的检索接口,将用户的检索要求转化为不同数据源的检索表达式并发地检索本地的和广域网上多个分布式异构数据源，并对检索结果进行整合，在经过去重和排序等操作后，以统一结果呈现给用户。跨库检索的发展不仅方便了用户的信息获取,而且还在一定程度上提高了数据库的利用率，促进了资源共享。
目前,国内外已经有不少跨库统一检索系统，美国在这个领域处于领先地位，他们早先在跨库统一检索领域的研究成果之一就是提出了三个数字图书馆系统模型。第一个是伊利诺依大学的Interspace系统，第二个是斯坦福大学的Infobus系统,第三个是密执根大学的UMDL系统。另外还有后来的美国新墨西哥州莫斯阿拉莫斯国家实验室研究图书馆研究开发的FlashPoint系统,加利福尼亚大学的SearchLight系统等。
我国的数字图书馆研究起步较晚，但是也研究开发出了多个数字图书馆跨库检索系统,主要有清华大学的同方异构统一检索平台（USP）、中国科学院文献情报中心开发的集成检索系统(CSDL)、中国高等教育文献保障系统（CALIS)统一检索系统、CNKI知网技术有限公司开发的CNKI跨库检索系统等等

三、跨库检索的相关技术
跨数据库检索需要用到数据的整合技术,目前对异构数据源的数据整合方式主要有以下两种：
一种是将各种异构数据库的部分数据导入一个数据库系统中,为了整合不同类型的数据,必须将一些非传统的数据类型转化成新的数据类型。这种方法的优点是检索反应速度快，不会因个别数据库访问失败而影响整体检索效率。缺点是收录的数据库数量不能太多，只能实现对有限数据库的集中和检索.
第二种方法是利用中间件技术进行异构数据库数据整合，这种方法不需要改变原始数据的存储和管理方式。采用中间件技术，对来自用户的查询请求，分解成对不同原始数据库的独立访问请求，通过标准或非标准的数据访问接口对原始数据库进行实时访问并将结果整合后通过发布系统(或直接）返回给用户。这种方式的特点是实时性好,任何原始数据的更改都可以在用户查询时及时得到反映;原文获取可以直接通过中间件获得从而省去原文数据库的原文发布服务；但应用局限于原始数据库必须提供访问接口,而且由于各数据库的速度问题而影响到用户得到结果的时间.目前用于异构数据库数据集成的数据库中间件技术使用较为广泛的有：
(一）公共网关接口技术CGI
利用CGI可实现Web与数据库的连接，CGI（Common Gateway Interface）是最早的Web程序设计方式，它提供一个外部应用程序与Web服务器交互的标准接口，遵循CGI标准编写的Web服务器端的可执行程序称为CGI程序。CGI最大的用处之一是其与浏览Web站点的用户之间的交互能力，使信息网关、反馈机制、访问数据库、查询等一系列灵活复杂的操作得以实现。利用CGI实现与数据库的连接，最大的优点在于其通用性。目前几乎所有的HTTP服务器都支持CGI。
（二） 开放式数据库互连技术ODBC
ODBC（Open Database Connector）是由Microsoft推出的基于C语言的开放数据库互连技术，主要针对客户端/服务器结构的数据库.它包含访问不同数据库所要求的ODBC驱动程序及驱动程序所支持的函数,应用程序通过调用不同的驱动程序所支持的函数来操纵不同的数据库.若想使应用程序操作不同类型的数据库,就要动态地链接到不同的驱动程序上。
（三） JAVA 数据库互连技术JDBC
JDBC（Java Database Connector）是JavaSoft公司设计的Java语言的数据库API（应用编程接口)，主要针对浏览器/服务器结构的WEB数据库。JDBC的出现是Java编程中最重大的突破之一，它使得Java程序与数据库服务器的连接更加方便.与其他的数据库存取技术相比，JDBC继承了Java语言的所有特点，不仅具有独立于平台运行、面向对象、坚固性好的优点,而且具有多线程、内置检校器来防止病毒入侵等功能，更加适合网络应用。JDBC的这些特点也特别适合于实现对Web异构数据库的访问。 JDBC是连接Internet上异构数据库的最好方法。使用JDBC能够方便地向任何关系数据库发送SQL语句。浏览器从服务器上下载含有JDBC接口的Java Applet，由浏览器直接与数据库服务器连接，自行进行数据交换.
（四)SP技术和JSP技术
ASP(Active Serve Page）是Microsoft公司于1997年推出的一个功能强大的WEB应用程序开发技术,ASP在Web服务器上解释脚本，可产生并执行动态交互式、高效率的站点服务器应用程序.ASP可以胜任基于微软Web服务器的各种动态数据发布。ASP脚本是在Web服务器端解释执行的，当遇到访问数据库的脚本命令时,ASP通过ActiveX组件ADO(ActiveX Data objects）与数据库对话,通过ODBC与后台数据库相连，由数据库访问组件执行访库操作.并将执行结果动态生成一个HTML页面，返回web服务器端，以响应浏览器的请求。在用户端浏览器所见到的是纯HTML表现的画面,例如用表格来表现的后台数据库表中的字段内容。由于ASP结合了脚本语言，可以通过编程访问ActiveX组件，并且具有现场自动生成HTML的能力，所以它成为建立动态Web站点的有效工具.在结构关系上，ASP是通过ODBC与数据库打交道。因此，可向上层兼容各类数据。另一种相似的动态网页技术JSP由Sun公司于1999年发布，JSP支持的是完全的Java，可以充分发挥Java面向对象编程的强大功能，可以使用J2EE标准服务,使用大量的Java API，如JDBC API。 文档为个人收集整理，来源于网络个人收集整理，勿做商业用途
（五）ORBA技术
CORBA（Common Object Request Broker Architecture, 公共对象请求代理体系结构)是由OMG(对象管理组织，Object Management Group）提出的应用软件体系结构和对象技术规范，其核心是一套标准的语言、接口和协议,以支持异构分布应用程序间的互操作性及独立于平台和编程语言的对象重用。目前也有许多基于CORBA中间件的异构数据库互联的研究.
（六)ML中间件技术
XML（Extensible Markup Language可扩展标记语言)是由W3C(World Wide Web Consortium)组织于1998年2月制定的一种通用语言规范，它是专门为Web应用程序而设计的SGML的简化子集。开发基于XML动态应用（如动态信息发布、动态数据交换等)的前提是所支持的数据库必须能支持XML。XML自身的特点使其易于进行异构数据库间的数据集成和数据交换，因此可以很好的应用与跨库检索系统的构建。
四、现在电子资源跨库检索具备的功能
跨库检索技术不等同于搜索引擎，它应为用户呈现图书馆的整体信息资源、帮助用户定位相关的资源、并直接融合这些资源，在各类学术信息资源中通过知识元的搜索实现知识发现。现在的跨库检索系统有以下功能:
(一）浏览与检索
系统提供主题树等索引系统，帮助用户以浏览的方式选取合适的检索词进行查询。检索包括简单和高级检索，简单检索包括自然语言、短语检索及布尔算符、位置算符、截词符和通配符等检索。高级检索提供多字段检索和多种限制选项。同时，系统还提供检索策略的保存及定题跟踪服务，以方便用户再次检索.
(二）用户定制功能
系统提供特定的学科入口，把同一学科相关的数据库整合在一起。同时提供可供跨库检索的数据库列表，并允许用户自由选择和组合,一次检索到相关数据库的各种信息。
（三）统计功能
数据库使用数据是电子资源利用率的重要指标,因此跨库检索系统提供了完善的统计功能，包括用户利用跨库检索系统访问各数据库的各种使用数据，如访问各数据库的登录数、检索次数、下载题录文摘数、下载全文数等。并提供各时间段、各用户IP或帐户的使用统计。
（四)数据的显示与保存
系统对来源于不同数据库的结果进行融合，检索结果输出应具备排序功能,如按日期、篇名、作者、相关性排序。检索记录可以打印、下载、Email发送。最好能兼容各种Citation Manager软件，如Reference Manager、Endnote、Refworks等。
五、国内外跨库检索系统的比较
目前，已有很多商业机构和图书馆在从事跨库检索技术的研发，如Webfeat公司的WebFeat Prism、Ex Libris 公司的MetaLib、Endeavor公司的ENCompass、Innovative Interfaces公司的Millennium Access Plus （MAP）、清华同方也提出了数字化图书馆知识网络服务共建共享项目。以上的几种跨库检索技术在功能和技术上有很多共同点，但也各有其特色和核心技术。下面主要介绍几种较成熟的软件：
（一)国内跨库检索系统介绍
清华同方异构数据库统一检索平台USP
清华同方在数字图书馆管理系统中提供了异构数据库统一检索平台USP。USP是一个智能化的网络数据库检索平台，它通过一个统一的用户界面帮助用户在多个网络数据库搜索平台中实现信息检索操作，是对分布于网络中的多种检索工具的智能化整合。
USP系统的特点：
(1)通用性好。USP系统最大的的优点是不受Z39.50、OAL、Open URL协议的限制，任何在Internet上通行的网络数据库，都是统一检索平台的对象，实现了真正意义上的“统一检索”，无需数据库提供商提供接口,因此USP的覆盖面很广，95％以上的网络数据库都可以进行配置.
(2）智能化的网络分析系统。USP用的是基于COM组件的智能化网页分析结构，可以对多个搜索引擎返回的结果同时进行多线程分析,并以最快的速度将最合理的结果反馈给用户,结果分析正确率达99%以上。
(3）个性化的检索结果显示。USP为用户提供个性化的检索服务,用户不仅可以随时配置自己喜欢的搜索引擎，而且可以选择适合自己的检索结果显示风格。
（4）对数据库结果有多种浏览方式。
(5）支持完全由用户配置的数据库分类检索功能.

（二）国外跨库检索系统介绍
Webfeat Prism
Webfeat公司是一家较专业的跨库检索系统开发公司，其产品已被EPIXTECH和ISI所使用。EPIXTECH公司已把Webfeat Prism技术整合到它的图书馆自动化系统Horison中，Horison新版本的iPAC就利用Webfeat Prism实现OPAC与电子数据库的统一平台查询。ISI也利用Webfeat Prism来实现Web of Knowledge的跨库检索。Webfeat由三个模块组成：研究模块、用户认证管理、使用跟踪模块.
（1)研究模块　用户可从统一的界面检索所选择的各种信息资源，检索结果可以排序和组织。检索界面可由用户定制，用户可以添加自己的标记和修改颜色，放置数据库介绍和帮助文件。可保存检索策略、定期发送定题情报服务、Email发送检索结果。
（2）用户认证管理模块　系统管理员可很方便地设置和修改用户的访问权限，并针对不同用户调整不同的访问权限，或设置访问特权。
（3）使用跟踪模块　获取用户访问各种信息资源的使用信息，包括登录或退出检索系统的次数和时间、用户的各种输入和检索信息，结果可以在Webfeat上显示或以Excel等格式输出,以备对数据详细分析。该模块如与用户认证管理系统结合使用,可以产生数据库使用的各种细节报告。
Metalib
Metalib是Ex Libris为图书馆提供的一个管理各种信息资源的标准化用户界面和可定制的知识入口，为用户提供一个统一的平台来检索图书馆日益增加的各种信息资源.一个标准的MetaLib由以下四类应用功能组成：
（1)Universal Gateway 对各种不同结构、不同数据句法、和不同通信协议的数据库进行同时、广泛的检索。对不同来源的检索结果融合、重新编排，合并成统一的浏览清单。允许用户进行二次检索.
（2）ResourceStore 提供一个图书馆拥有的电子资源目录，对可供检索数据库的各种特性(如主题、语种等)进行描述与组织。允许用户建立自己的档案，对自己感兴趣的资源进行整合。支持许可协议和版权控制，准许直接进入各数据资源检索.
（3）Personalization and User Administration 个性化设置和用户管理 MetaLib提供一个用户数据库对图书馆的用户信息进行管理，制定用户认证和访问控制权限的政策，允许用户建立个性化的检索环境,并提供检索策略和检索结果的保存，定期发送定题情报服务。
（4）Extended Services （powered by SFX) 延伸服务（SFX的链接功能） MetaLib 可以与SFX结合在一起， 通过SFX可实现不同WEB学术信息资源的动态链接，这些资源包括：全文电子资源、题录和文摘数据库、引文数据库、图书馆在线书目系统、电子印刷本系统及其他WEB资源。

六、现有跨库检索平台功能存在的问题
跨库检索实现了不同文献资源之间的沟通、最大限度地保持了知识体系的完整性，大大提高读者利用各个数据库的检索效率，也节省了读者的时间。但是目前的跨库检索还存在着很多问题：
（一）跨库检索实现的前提是要清楚了解各种数据库的库结构、设计方法等基本情况，然而数据库商出于各自的商业利益和数据安全的需要，几乎都不愿意将这些基本情况公开给其他跨库检索系统的研制者，相反不断想法将检索语句进行加密,或者通过Session进行用户识别，因此跨库检索系统整合的资源是有限的,而且已经整合的数据库也不能保证将来一定能够正常使用。
（二）数据库业虽然有很多标准，这些也有助于跨库检索的实现，但是很多数据库并没有采用相关标准。比如，基于Z39。50馆藏目录数据库的跨库检索,有的自动化系统还不支持Z39。50协议，有的虽然支持，却增加了各种不必要的限制。所以汇文的一站式检索大多数还是连接的使用汇文自动化系统的图书馆。
（三)跨库检索要通过“中间件”将检索请求“翻译”成各个数据库的检索语句，然后再获取各数据库的检索结果，当检索系统兼容的数据库种类和数量非常大的时候，这就必然造成检索效率的低下，用户需要等待较长时间。
（四）目前的很多跨库检索系统还不能对获取的数据进行合并、去重等操作，这实际虽然减少了读者查检各数据库的重复登录和查检的时间，但是却把更多地信息进行了 罗列,加重了读者鉴别的负担。。
七、跨库检索系统的发展方向
结合上述比较分析,考虑用户的信息需求，在目前阶段，在技术的允许下，可以从以下几方面加强其功能：
（一） 加强其导航功能，提供数据源的推荐和评价
随着整合资源数量的增多，加强导航功能是做好跨库检索系统的第一步。虽然简单的检索方式更易于用户接受，但很多的跨库检索系统整合的资源过于复杂多样，很多数据库对用户来说是无用的，如果将所有的数据库一并进行检索，其结果数量较大，用户无从选择。
（二） 加强词汇规范功能
检索词是检索中的重要一环，目前的跨库检索系统都使用自然语言和关键字进行搜索，是检索效果不理想的重要原因。因此跨库系统可以在不增加用户负担的基础上加强词汇的规范功能.
（三） 加强与其他服务方式的集成
检索仅仅是信息服务的起点，同时也是用户信息行为的起点，因此，应将跨库检索与其他信息服务方式,如原文传递、参考咨询等进行有效集成，以满足用户多样、动态的信息需求。
（四） 提供检索结果的去重功能
不同数据库的内容会存在部分重叠的可能，因此当检索结果条目较多是，去重功能会节约很多时间，更能方便用户。
八、总结
以前对数字图书馆跨库检索没有做过了解,通过这次的学年论文我了解到了跨库检索跟我们生活是很接近的.一个好的跨库检索系统能让我们更快、更方便的寻找到我们所要搜索的东西。图书馆是一个信息海量集中的地方，跨库检索系统的好坏就更为重要.
当前图书馆界对实现数据库跨库检索的兴趣日益增涨，国外有很多图书馆成立专门的项目小组对目前的相关技术和产品进行考察，有的图书馆已经实现了异构数据库的跨库检索.相对于国外，目前国内的信息和网络环境更复杂，国外的产品要解决国内数据库兼容有一定的难度，而且国外相关产品价格很昂贵,因此国内对这方面技术的研发也越来越迫切。通过借鉴国外的技术,加强图书馆与IT业界的合作，我们也能开发出自有知识产权的成熟的数据库跨库检索系统.

参考文献
［1］黄镝. 异构数据库的跨库检索技术综述. 图书情报工作, 2003(6)。
［2］黎宇。 跨数据库文献检索统一平台的实现。
[3］李书宁.数字图书馆跨库检索技术研究.数字图书馆，2005。