第八章索引数据库与搜索引擎.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,8 搜索引擎,8.1 网络搜索引擎的诞生与发展,1.搜索引擎诞生的原因：,2.搜索引擎的发展过程:,第一个成功的搜索引擎是,Web Crawler，,它由华盛顿大学于1994年4月推出。随之而来的是一大批网络搜索引擎如雨后春笋般地涌现：,Lycos、,Infoseek,、Open Text、Alta Vista、Excite,相继诞生为网络信息检索立下汗马功劳。目前，国内外著名的搜索引擎很多：,Yahoo,Google,Fast Search,Northern Light,和,Sohu,，,百度，天网，指南针等都是众多搜索引擎的代表。,搜索引擎的分类,从搜索层次上分为两类：,常规搜索引擎和元搜索引擎,从信息媒介分：,图像搜索引擎、视频搜索引擎、网页搜索引擎,从信息源的广度：,综合办搜索引擎、专业搜索引擎,网页制作方式和处理方式：,WEB,目录式、全文数据库式、,WEB,结构分析型,搜索引擎的发展趋势：,个性化,智能化,整合化,垂直化,移动化,开放式,8.2 搜索引擎的系统结构,建立搜索引擎是将无序的网络信息资源进行有序化组织的有效方法。一个搜索引擎一般由搜索器（,Spider）,索引器（,Indexer），,索引数据库（,Index Database）,检索器（,Searcher），,和用户接口（,User Interface）,等五个部分组成。,8.2.1 搜索器,是从因特网上采集信息的程序，也称之网络机器人。功能是在网上漫游，不断从网上采集并及时传回相关信息。,搜索器搜集信息的主要采集策略：,网页选取策略：,1、从网址集开始，逐步扩大到整个互联网。,2、从国家、或地区、或域名划分开始展开,3、从网站类别划分，对一类网络穷尽搜索,重复爬取策略：制定搜的时间，不用时时搜。,友好性策略：设定搜的页面范围，不用全面搜。,并行爬取策略：协调不同的搜索程序。,由于互联网上无数的网站页面，搜索引擎蜘蛛无法将所有的页面都下载保存到服务器。因此，许多,搜索引擎,的网络蜘,蛛只是抓取那些重要的网页，而在抓取的时候评价重要性主要的依据是某个网页的链接广泛度（及,外部链接,的数量与质量）。,在抓取网页的时候，,搜索引擎蜘蛛,一般有两种策略：广度优先和深度优先,广度优先是指搜索引擎蜘蛛会先抓取起始网页中链接的所有网页，然后再选择其中,的一个链接网页，继续抓取在此网页中链接的所有网页。这是最常用的方式，因为这个方法可以让搜索引擎蜘蛛,并行处理,，提高其抓取速度。深度优先是指搜索引擎蜘蛛会从,起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续跟踪链接。这个方法有个优点是搜索引擎蜘蛛在设计的时候比较容易。,广度优先和深度优先,由于不可能抓取所有的网页，有些搜索引擎蜘蛛对一些不太重要的网站，设置了访问的层数。例如，在上图中，,A,为起始网页，属于,0,层，,B,、,C,、,D,、,E,、,F,属于第,1,层，,G,、,H,属于第,2,层，,I,属于第,3,层。如果搜索引擎蜘蛛设置的访问层数为,2,的话，网页,I,是不会被访问到的。这也让有些网站上一部分网页能够在,搜索引擎,上搜索,到，另外一部分不能被搜索到。,对于,网站设计,者来说，扁平化的网站结构设计有助于搜索引擎抓取其更多的网页。,权限：,在访问网站网页的时候，经常会遇到加密数据和网页权限的问题，有些网页是需要会员权限才能访问。网站可以通过协议让搜索引擎蜘蛛不去抓取，但对于一些出售报告的网站，他们希望搜索引擎能搜索到他们的报告，但又不能完全免费的让搜索者查看，这样就需要给搜索引擎蜘蛛提供相应的,用户名和密码。搜索引擎蜘蛛可以通过所给的权限对这些网页进行抓取。,搜索器信息处理流程：,将搜索的各类信息的文档格式过滤，变成纯文本文件传回，然后交索引器抽取相应的信息建立索引数据库。,8.2.2 索引器,索引器从搜索器返回的纯文本信息文件中抽取索引项，生成倒排工作文件，进而逐步建立索引数据库。,文档的概念是指数据库内容的组织形式。一般地说，一个数据库至少包括一个顺排文档和一个倒排文档。顺排文档是将数据库的全部记录按照记录号的大小排列而成的文献集合，它构成了数据库的主体内容。在倒排文档中，记录的特征标识作为排列依据，其后列出含有此标识的记录号，使用倒排文档可以大大提高检索的效率。,8.2.3 索引数据库,索引数据库是搜索引擎的核心，它既是索引器提供的产品，又是检索器进行工作的基础。,包括四类文件：,倒排地址表、倒排索引、其他索引、纯文本。,8.2.4 检索器,是针对具体搜索引擎所配置的索引数据库而研制的专用检索工具包。,检索器包括能执行检索策略的程序。即布尔逻辑检索、截词检索等等。（327页）,算法：,HITS,PAGERANK,8.2.5 用户接口,用户接口的作用是接受用户的检索需求的输入，并进行语法检查，使其规范。,鲸鱼尾巴图片_海洋生物_高清图片下载_三联素材,首页,网页素材,模板,高清图,字体下载,矢量图,psd,素材,图标,3D,模型,壁纸,ppt,模板,酷站,教程,特效 flash,素材,作品欣赏,知识阅读,/*,头部960*60，创建于2010-9-10*/,var cpro,_id=u195612;,&,nbsp,;,您现在的位置：,首页,&,nbsp,;&,nbsp,;,高清图&,nbsp,;&,nbsp,;,动物&,nbsp,;&,nbsp,;,海洋生物,鲸鱼尾巴图片,鲸鱼尾巴图片,预览图及简介,.,鲸鱼尾巴.图片 海洋运物 海底世界摄影素材&,nbsp,;,海洋生物高清图片下载 2950*2094像素&,nbsp,;,标签:,document.write();,上一篇：,虎鲸,下一篇：,鲸鱼尾巴,详细信息,站内收藏：,点这里收藏,文件大小：1.04,MB,更新时间：2009-07-27,文件格式：,jpg,解压密码：,下载等级：免费下载,错误报告：,点这里报告,进入下载地址：,下载地址1&,nbsp,;&,nbsp,;,下载地址2&,nbsp,;&,nbsp,;,下载地址3,相关素材&,laquo,;,返回顶部&,laquo,;,返回总首页,鲸鱼尾巴,鲸鱼尾巴,鲸鱼尾巴,鲸鱼尾巴,鲸鱼尾巴,鲸鱼尾巴,鲸鱼尾巴,鲸鱼尾巴,鲸鱼尾巴,鲸鱼尾巴,高清图分类,风景 ,建筑 ,植物 ,动物 ,美食 ,生活百科 ,现代科技 ,交通 ,人物 ,体育运动 ,人文艺术 ,传统 ,底纹背景 ,设计 ,平面广告 ,工业商业 ,节日,动物,其它动物,猫狗 ,家禽家畜 ,野生动物 ,海洋生物 ,鸟类 ,昆虫,热门排行,海洋风光美丽珊瑚海洋生物两只背靠背的企鹅深海鱼群珊瑚高清海珊瑚素材扇贝 珍珠 沙滩高清珊瑚海底世界高清海底世界大海龟海豚金鱼素材海龟 鱼群,/*250*250，,创建于2011-1-2*/,var cpro,_id=u338132;,/*960*60，,创建于2010-8-24*/,var cpro,_id=u165424;,版权所有 2004-2011 三联素材网3,lian,.com,最佳分辨率 1024768,Copyright All rights reserved.,var,_,bdhmProtocol,=(https:=document.location.protocol)?https:/:);,document.write(,unescape,(%3Cscript,src,=+_,bdhmProtocol,+,hm,.,baidu,.com/h.,js,%3F1abfb06f7c2a529276bb1c29bdc88d61 type=text/,javascript,%3E%3C/script%3E);,8.3 搜索引擎的使用方法,8.3.1 布尔逻辑检索,8.3.2 截词检索,8.4 搜索引擎的实例,8.4.1,Google,1111,Google,既是公司名,又是搜索引擎（,www.,google,.com）,的名称。,Google,由英文单词“,googol”,变化而来。它表示 1 后边带有 100 个零的数字。,Google,使用这个词代表公司想征服网上无穷无尽信息资源的雄心壮志。,Google,公司是一家私人控股公司,创建于1998年。,Google,不仅为广大因特网用户提供搜索引擎服务。而且还为信息内容供应商提供联合品牌的网络搜索解决方案。,8.4.2 百度,1111百度（,www.,baidu,.com）,搜索引擎是全球最大的中文搜索引擎。它是百度公司的产品。百度公司1999年底创建于美国硅谷，由李彦宏先生及徐勇先生创办。“百度”二字源自辛弃疾的青玉案中的“众里寻她千百度”名句，象征着百度对中文信息检索技术执著的追求。2000年，百度回国发展。百度自进入中国互联网及软件市场以来，就一直依靠自身实力为广大网民提供最优秀的搜索引擎，为主要中文门户提供最先进的搜索引擎技术服务。从此掀开了中文搜索引擎的新篇章。,8.5 元搜索引擎,在众多的搜索引擎中，如果逐个使用它来提供检索结果，显然速度慢，费时费力。能否同时使用多个搜索引擎呢？答案是肯定的。因而，元搜索引擎就适时诞生了。所谓元搜索引擎（,meta-search engines）,是指能够同时检索多个搜索引擎并将结果综合的搜索引擎。元搜索引擎已有不少，我们可以从网上找到一批元搜索网站：如，,DOGPILE、,metacrawler,等。,