信息检索教程专业知识讲座.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,本文档所提供的信息仅供参考之用，不能作为科学依据，请勿模仿。文档如有不当之处，请联系本人或网站删除。,介绍网络信息检索工具的发展和类型,介绍搜索引擎的发展历程,分析搜索引擎的结构及工作原理,介绍了国内外主要搜索引擎,探讨搜索引擎的发展趋势,分析网络资源目录的原理及特点,介绍国内外主要的网络资源目录,分析元搜索引擎的原理和特点,探讨元搜索引擎的技术和评价方法,介绍国外主要的元搜索引擎,本章要点,网络信息浩如烟海，并且增长迅速、类型多样，要想从中快速找到自己所需要的信息，必须借助于网络信息检索工具。不同的网络信息检索工具，其特点、原理和作用是不相同的，有不同的适用范围。,第10章 网络信息检索工具,网络信息检索工具是指在Internet上提供信息检索服务的信息检索系统。如搜寻FTP资源的Archie，检索Gopher网站资源的Veronica和Jughead等，近年来广为流行的Yahoo、Alta Vista、Lycos等Web检索工具等。网络信息检索工具的检索对象是存在于Internet信息空间的各种类型的网络信息资源。,10.1 网络信息检索,工具的发展和类型,第10章 网络信息检索工具,10.1.1 网络信息检索工具的发展,第10章 网络信息检索工具,Search Engine,基于超文本的,搜索引擎服务,WAIS,基于关键词的,文档检索服务,Gopher,基于菜单的,信息检索服务,Archie,文档查询服务,10.1.2 网络信息检索工具的类型,网络信息检索工具按照不同的划分方法，可分为许多不同的类型。,1.按索引方式划分，可分为目录型检索工具和索引型检索工具,2.按检索时搜索的检索工具数量划分，可以分为独立型检索工具和集合型检索工具,3.按检索网络资源的类型划分，可分为Web资源检索工具和非Web资源检索工具,第10章 网络信息检索工具,10.2.1 搜索引擎概述,10.2.1.1 搜索引擎的概念,1.目录式搜索引擎（Directory Search Engine）,2.基于机器人技术的搜索引擎（Robot Search Engine）,3.元搜索引擎（Meta Search Engine）,10.2 搜索引擎,第10章 网络信息检索工具,10.2.1.2,国内外搜索引擎的发展历程,第10章 网络信息检索工具,1994年,Yahoo、Alta Vista、Infoseek,1998年,google,2000年,Google、Baidu、Yahoo,10.2.1.3,搜索引擎的结构,第10章 网络信息检索工具,搜索引擎,索引器（Indexer）,搜索器（Crawler）,检索器,（Searcher）,用户接口,（User Interface）,10.2.1.4,搜索引擎的工作原理,第10章 网络信息检索工具,10.2.2 搜索引擎的特点及功能,10.2.2.1 搜索引擎的特点,1.支持全文检索,2.检索功能较为全面，检索方法多样,3.检索结果按相关性排序,4.查询速度快，维护更新及时,5.支持关键词检索和分类目录浏览检索,第10章 网络信息检索工具,10.2.2.2 搜索引擎的功能,第10章 网络信息检索工具,布尔逻辑检索,词组检索,截词检索,位置检索,字段检索,区分大小写检索,基本检索功能,自然语言检索,多语种检索,概念检索,过滤检索,其他检索功能,10.2.3 主要搜索引擎介绍,10.2.3.1 Alta Vista,（,）,Alta Vista是一个功能强大的搜索引擎，它的简单检索是Alta Vita推荐使用的首选方法，支持自然语言检索、截词检索、字段限制检索。高级检索支持包含各种逻辑关系符号和多层次括号的检索式。,第10章 网络信息检索工具,Alta Vista 的特点和功能：,1.检索速度快，搜索的结果比较完全和准确,2.检索功能全面,第10章 网络信息检索工具,10.2.3.2 Lycos（,）,Lycos提供简单检索和高级检索。进行简单检索时，可在检索框中直接输入检索词或检索式。可使用多种算符。Lycos高级检索界面，以“should include”、“must include”和“must not include”来表示布尔逻辑算符“或”、“与”、“非”。并以“in the text”、“in the title”、“in the URL”做了字段限定等等，界面非常友好易读，方便了用户的检索。,第10章 网络信息检索工具,检索保护是Lycos的特色检索功能，这一功能主要是用来帮助用户在检索结果中过滤掉成人、暴力、仇恨以及与武器相关的内容，使用户可以严格获取特定的领域和链接。,此外，Lycos也同其他搜索引擎一样，提供目录浏览服务。,第10章 网络信息检索工具,10.2.3.3 Google（,）,1.Google的特点,(1)独树一帜的PageRank技术,(2)强调简单快速，关联性极强,(3)检索功能全面，易于使用,第10章 网络信息检索工具,2.Google的特色功能,第10章 网络信息检索工具,集成化的工具条,网页快照,网页翻译,手气不错,单词的英文解释,搜索结果过滤,3.中文Google检索功能分析示例,(1)布尔逻辑组配。Google可以直接输入关键词进行检索，也可以进行布尔逻辑组配。,逻辑“与”操作，Google用“+”或“空格”来表示逻辑“与”操作。,逻辑“或”操作，Google用大写的“OR”表示逻辑“或”操作，且“OR”的两边不得有空格。,逻辑“非”操作，Google用“-”来表示逻辑“非”操作。,混合查询，涉及到逻辑操作符的顺序问题。一般而言，搜索引擎按照从左往右的顺序读取操作符号。,第10章 网络信息检索工具,(2)限制检索。,“site：”表示对搜索的网站进行限制；,“filetype：”按文件类型搜索文件；,“in url：”和“all in url：”搜索的关键字包含在URL链接中；,“in title：”和“all in title：”搜索的关键字包含在网页标题中；,“link:”搜索所有链接到某个URL地址的网页。,第10章 网络信息检索工具,(3)图像搜索。,Google还有搜索图像功能。进入图像搜索界面“”，用户可以在搜索框内输入描述图像内容的关键字。,同时，还可以采用文件类型限定的方式来搜索图像。即在搜索框中，直接使用“filetype:”来指定文件类型扩展名。,(4)新闻组搜索。,除了搜索之外，Google还支持新闻组的WEB方式浏览和张贴功能。,第10章 网络信息检索工具,10.2.3.4 Fast/AllTheWeb（,）,AllTheWeb属于全文搜索引擎。目前提供一般检索和高级检索功能，还支持新闻检索、FTP文件搜索、图像检索、视频文件检索等。,一般检索支持普通关键词搜索，以及+、-、（）等逻辑命令符号，分别对应AND、NOT、OR等布尔逻辑命令，并且可使用引号“”进行精确匹配搜索（此功能也可通过点选搜索框右侧的“Exact Phrase”实现）。,第10章 网络信息检索工具,AllTheWeb引擎还支持以下特殊检索命令：,1.url.tld:domain：表示限定查找顶级域名的网页,2.link.all:URL：表示查找链接到某一网页的其他网页,3.normal.title:text：搜索网页标题中含有某些特定文字的网页,4.url.all:text：查询URL中含某些特定文字的网页,AllTheWeb高级检索提供限定语言、关键词过滤、域名过滤、IP地址过滤和指定网页大小等高级搜索功能，方便用户进行更精确的查询。,第10章 网络信息检索工具,10.2.3.5 Ask（,）,Ask主要有以下特色：,1.不同的“集群”（Clustering）方法；,2.直接使用自然语言来描述搜索请求；,3.设置了,“智能回答”（,Smart Answer,）；,4.,清楚地区分了广告，且总体上广告很少；,5.提供扩大或者缩小检索的链接即“缩放”（Zoom）功能，并且提供相关的主题的链接；,6.“,我的东东”（MyStuff）的特殊页面，用户可以对检索进行管理。,第10章 网络信息检索工具,10.2.3.6 百度（,）,百度支持多种检索功能，首先，百度支持“+”（AND）、“-”（NOT）、“|”（OR）。其次，百度提供相关检索功能。第三，提供限定检索，如：“link：”、“site：”、“intitle：”、“inurl：”,第10章 网络信息检索工具,百度的特色功能：,第10章 网络信息检索工具,IE搜索伴侣,百度快照,百度搜霸,Flash搜索,MP3搜索,10.2.3.7,其他英文搜索引擎,第10章 网络信息检索工具,Excite（,）,AOL（,）,AllExperts（,）,MSN（,）,10.2.3.8 其他中文搜索引擎,第10章 网络信息检索工具,天网（,）,中搜（,）,新浪搜索引擎（,）,10.2.4 搜索引擎的发展趋势,1.集成搜索引擎,2.垂直搜索引擎,3.智能搜索引擎,4.可视化搜索引擎,5.多媒体搜索引擎,6.关联式搜索引擎,第10章 网络信息检索工具,10.3.1 网络资源目录的含义和原理,10.3.1.1 网络资源目录的含义,网络资源目录是一种主要采用人工或机器搜索信息，由人工对搜集的信息进行甄别、加工整理、分类，建立分类导航或分类编排网站目录，提供分类浏览的检索工具。也称为“目录式搜索引擎”、“主题指南”、“网络分类目录”等。,10.3 网络资源目录,第10章 网络信息检索工具,10.3.1.2 网络资源目录的原理,1.网络资源目录以分类理论为依据,2.网络资源目录以人工收集信息和组织信息为主,3.网络资源目录将超文本技术融进了分类法,第10章 网络信息检索工具,10.3.2 网络资源目录的类型和特点,10.3.2.1 网络资源目录的类型,1.传统分类法型网络资源目录,2.创新型网络资源目录,编制网络资源目录应该遵循：实用性原则、自然性原则、针对性原则。,第10章 网络信息检索工具,10.3.2.2 网络资源目录的特点,1.在体系结构上，以树状结构为主,2.在类目设置上，以事物为中心确定类目,3.类目的展开呈现出明显的多维性,4.类目直接用语词作为标记,5.面向用户的易用性,6.类目体系呈现出动态的特征,7.表现出明显的兼容性,第10章 网络信息检索工具,10.3.3 网络资源目录介绍,10.3.3.1 Yahoo！（,）,Yahoo！按照主题建立分类索引，提供全面的分类体系结构，并结合高质量的检索软件，成为网络检索工具的佼佼者和等级式网络资源目录的典型代表。,Yahoo！除了提供列表式目录链接浏览外，还提供关键词检索。它的搜索技术目前由Google支持。,第10章 网络信息检索工具,10.3.3.2 Open Directory（,dmoz.org,）,Open Directory它是一个非商业性和非盈利性的目录，拥有着庞大的自愿者编辑队伍，其中大多数都对自己负责的部分相当感兴趣，有的就是该领域的专家权威。,这个目录的编撰方式在很大程度上体现了Internet上一直存在着的“我为人人，人人为我”的奉献精神。,Open Directory也提供关键词检索，分为简单检索和高级检索。,第10章 网络信息检索工具,10.3.3.3 Galaxy（,）,Galaxy始于1994年1月，是Internet上一个老牌的网络资源目录。它同样也采用人工编辑目录的方式，保证了收录资源的质量。它是一个建立在垂直基础上的等级式分类目录，可以提供给用户集中的相关的信息。,Galaxy同时也提供关键词的简单检索和高级检索，支持布尔逻辑检索、字段限定检索、引号词组检索等。,第10章 网络信息检索工具,10.3.3.4 搜狐（,）,搜狐的网络资源目录堪称我国第一部系统的网站分类法，对其他中文网络资源目录的发展起到了积极的促进作用。,搜狐网络资源目录收录的网站资源都经过了搜狐分类编辑们严格的审核和筛选，质量比较高。搜狐的网络资源目录的查询同样是按照信息所属的类别，层层点击查找信息。,搜狐作为一个综合性很强的搜索网站，还提供多项的检索功能。,第10章 网络信息检索工具,10.4.1 元搜索引擎的含义和特征,元搜索引擎（Meta Search Engine）又称多元搜索引擎或集合式搜索引擎。元搜索引擎是一种将多个独立搜索引擎集成在一起，提供统一的检索界面，将用户的检索提问同时提交给多个独立的搜索引擎，并将检索结果一并返回给用户的网络检索工具。,10.4 元搜索引擎,第10章 网络信息检索工具,元搜索引擎与普通搜索引擎相比有很大的不同，元搜索引擎一般没有自己独立的数据库，更多地是提供统一链接界面（或进一步地提供统一检索方式和结果整理。,元搜索引擎具体表现为这样一些特征：,1.一次检索可以实现对多个搜索引擎的检索,2.基于独立搜索引擎结果的二次加工,3.标明结果记录的来源搜索引擎及其相关度,第10章 网络信息检索工具,元搜索引擎的功能很大程度受独立搜索引擎的限制，而且结构相对比较简单，因此不可避免的存在一定局限性。,1.检索功能简单,2.在调用搜索引擎和检索结果的数量上都存在一定的局限,3.在返回结果的精确性方面，元搜索引擎不如独立的搜索引擎,第10章 网络信息检索工具,10.4.2 元搜索引擎的原理和分类,10.4.2.1 元搜索引擎的原理,第10章 网络信息检索工具,元搜索引擎原理示意图,10.4.2.2 元搜索引擎的分类,1.根据运作平台的不同，可以分为网络型元搜索引擎和桌面型元搜索引擎,2.根据检索机制的不同，可划分为目录式元搜索引擎和统一入口式元搜索引擎,3.根据结果显示的不同，元搜索引擎又可分为直接调用原始页面型、分散综合型和混合综合型,第10章 网络信息检索工具,10.4.3 元搜索引擎的技术和评价,10.4.3.1 元搜索引擎的技术,1.用户提问转换技术,2.分布式数据库调用技术,3.检索机制设计与优化技术,4.检索结果输出技术,第10章 网络信息检索工具,10.4.3.2 元搜索引擎的评价,1.元搜索引擎的初始化方式,2.覆盖的网络资源类型,3.网络信息获取方式,4.检索功能,5.检索结果输出格式,第10章 网络信息检索工具,10.4.4 主要元搜索引擎介绍,10.4.4.1 Dogpile（,）,1.简单检索,2.高级检索,3.其他检索,新版的Dogpile是一个非常不错的元搜索引擎，展现了元搜索引擎发展的最新成果。,第10章 网络信息检索工具,10.4.4.2 Vivisimo（,）,Vivisimo采用了一种专门开发的启发式算法来集合或聚类原文文献。,这种算法汲取了传统人工智能思想，强调对检索结果拥有更好描述和聚类，是完全自动化的。,1.Vivisimo提供了站内检索和站外检索功能,2.Vivisimo的显示机制在网络检索工具中显得尤为突出,第10章 网络信息检索工具,10.4.4.3 Ixquick（,）,Ixquick独创了对检索结果的排序算法，即“星星体系”，用“”的多少来决定检索结果的排序。,Ixquick检索结果的输出格式也十分简单实用，包括：网页名称、文摘描述、URL、源搜索引擎以及该记录在源搜索引擎中的位置信息等等。,第10章 网络信息检索工具,10.4.4.4 万纬搜索（,）,万纬搜索是上海万纬信息技术有限公司开发的一个中文元搜索引擎。,万纬搜索支持简单检索和高级检索。,万纬搜索为用户提供了多种搜索结果的排列方式。,第10章 网络信息检索工具,10.4.4.5 其他重要的元搜索引擎,1.MetaCrawler（,）,2.Mamma（,）,第10章 网络信息检索工具,1.网络检索工具可以分为哪几种类型，各,有什么特点？,2.简述搜索引擎的发展历程。,3.简述搜索引擎的结构及工作原理。,4.试比较中文Google和百度。,5.利用Google查找中央电视台网站上关于,“伊拉克战争”的网页。,6简述网络资源目录的原理和特点。,7试分析分类法与超文本技术的关系。,8网络资源目录有哪几种类型？,思 考 题,第10章 网络信息检索工具,9目前在网上使用的传统分类法型的网络目录资源 有哪些？试对它们加以评价。,10Yahoo！、Open Directory、搜狐的目录各有什 么特点？试用该目录查询“信息检索”方面的有关 网络资源，并说明查询过程。,11简述元搜索引擎的原理和特征。,12元搜索引擎可分为哪几种类型，各有什么特点？,13元搜索引擎主要涉及到的技术有哪些？,14试分析和评价Dogpile和Vivisimo。,15请自拟一个检索课题，利用三个元搜索引擎,进行检索，并比较检索结果。,第10章 网络信息检索工具,Thank You!,