02-检索原理和搜索引擎.ppt

Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,网络信息检索第2章 张胜光制作,*,Click to edit Master,第二讲,检索原理和,搜索引擎,本章内容,搜索引擎原理和概况,2,门户网站和看不见的网站,6,网络信息检索原理,3,1,网页搜索引擎简介,3,3,网页搜索引擎使用方法,3,4,P2P,搜索引擎使用方法,3,5,3,网络信息检索第2章 张胜光制作,第一节 信息检索原理：关键词匹配原则,1,、从“图灵实验”说起,大家都知道，计算机发展史上有一个重要人物图灵，他在上世纪,50,年代曾经提出了一个假想的实验，认为计算机可以具有人类的思维能力，被称为“图灵实验”。他并且预言，在,20,世纪末，具有人工智能的计算机将会出现。但时至今日，仍未有任何一台计算机能通过“图灵实验”。,5,网络信息检索第2章 张胜光制作,2,、计算机检索的奥妙：关键词匹配,计算机既然如此“无能”，连三岁小孩的智能都不具有，那么为什么人们要在网上查找信息，却总要通过计算机帮忙呢？计算机检索的奥妙在哪里呢？,原来，计算机实现检索的奥妙，就在于它能把你输入的检索词，与它后台数据库中存储的文件关键词进行比对，如果能够匹配，就认为这条信息是你需要的，立刻输出给你。,6,网络信息检索第2章 张胜光制作,广义的信息检索：,是指将信息按一定的方式,组织和存储,起来，并根据用户的需要,找出,相关信息的过程。,狭义的信息检索：,一个匹配,(Match),过程,即用户,使用检索语言,对自己的信息需求,予以描述,，并在一定的,信息资源系统,中进行,描述匹配,的过程。,3,、什么是信息检索？,7,网络信息检索第2章 张胜光制作,存 储,检 索,原始文献,加工整理,数据库,提 问,检 索,输 出,“,爱因斯坦论文,”,“,论文,”,“,爱因斯坦,”,“,论文,”,“,爱因斯坦,”,8,网络信息检索第2章 张胜光制作,4,、信息检索原理,检索,提问式,信息,的选,择与,收集,信息,特征,标,识,语,言,检索工具,匹配,检,索,结,果,信,息,源,用,户,信,息,需,求,检索,提问,数据库,9,网络信息检索第2章 张胜光制作,What,？,Where,？,How,？,5,、信息检索的要领,10,网络信息检索第2章 张胜光制作,6,、信息检索类型,依信息存储和检索的方式,手工检索,（,Manual Retrieval,）,也叫传统信息检索，是利用各种印刷型检索工具来查找文献的一种方法。,计算机检索,（,Camputer,-based Retrieval,）,也叫现代信息检索，是指利用计算机和网络来处理和查找文献信息的检索方式。,11,网络信息检索第2章 张胜光制作,7,、主要计算机检索系统类型,检索系统由一定的检索设备（计算机）和经过加工整理并存储在相应载体上的信息集合及其他设备共同构成的具有存储和检索功能的信息服务系统。,联机检索,(online search),脱机检索（,offline search,）,光盘检索（,CD search,）,网络检索（,Internet/Web search,）,全球数字图书馆系统（,digital global system,）,12,网络信息检索第2章 张胜光制作,8,、“关键词原则”是信息检索的根本原则,四次文献,三大系列中文网站,两类搜索引擎,Keyword,原则,13,网络信息检索第2章 张胜光制作,第二节 搜索引擎的原理和发展概况,1,、网络信息资源种类,WWW,信息资源：,web,网页,FTP,信息资源：远程计算机上的文件夹,Blog,信息资源：博客、播客等等信息资源,Telenet,信息资源：直接调用远程主机,BBS,、新闻组信息资源：相当于论坛信息,P2P,信息资源：私人计算机上的信息资源,数据库和收费网站：如三大库三大馆,15,网络信息检索第2章 张胜光制作,搜索引擎,Search Engine,Internet网络信息检索工具,2,、搜索引擎的概念,16,网络信息检索第2章 张胜光制作,3,、搜索引擎的发展历史,17,网络信息检索第2章 张胜光制作,5,、搜索引擎的工作原理,18,网络信息检索第2章 张胜光制作,19,网络信息检索第2章 张胜光制作,搜索引擎并不真正搜索互联网，它搜索的实际上是预先整理好的网页索引数据库。,搜索引擎至少由三部分组成：,爬行器（即机器人、蜘蛛等搜索程序）,索引生成器（即网页索引数据库）,查询检索器（即用户检索界面）,随着搜索引擎的发展，许多搜索引擎在此基础上增加特色功能。如百度增加了监控程序。,20,网络信息检索第2章 张胜光制作,搜索引擎的工作原理就像超市,索引生成器,（网页数据库）,爬行器,（蜘蛛）,查询检索器,（用户查询）,因特网,21,网络信息检索第2章 张胜光制作,22,网络信息检索第2章 张胜光制作,23,网络信息检索第2章 张胜光制作,第三节 两类搜索引擎及网页搜索引擎,两类搜索引擎的代表,2,以,FTP,和,P2P,资源搜索为主的搜索引擎,1,以网页搜索为主的搜索引擎,百度、,Google,、,Yahoo,等,迅雷、天网,Maze,等,25,网络信息检索第2章 张胜光制作,第一类搜索引擎：网页搜索引擎以谷歌和百度为代表,26,网络信息检索第2章 张胜光制作,1,、,Google,搜索引擎,Google,搜索引擎诞生于斯坦福大学的一个学生宿舍里，然后迅速传播到全球的信息搜索者。,Google,目前被公认为万维网上最大的搜索引擎，它提供了简单易用的免费服务，使用户能够访问一个包含超过,80,亿个网址的索引。,“,Google”,来自于数学名词“,Googol”,，,Googol,表示一个,1,后面跟着,100,个零。,Google Int.,使用这一术语体现了公司整合网上海量信息的远大目标。地址：,,/,27,网络信息检索第2章 张胜光制作,2,、,百度(baidu,),全球最大中文搜索引擎。提供网页快照、网页预览,/,预览全部网页、相关搜索词、错别字纠正提示、新闻搜索、,Flash,搜索、信息快递搜索、百度搜霸、搜索援助中心。,地址：,,/,28,网络信息检索第2章 张胜光制作,北京正望咨询有限公司,29,网络信息检索第2章 张胜光制作,百度,VS Google,30,网络信息检索第2章 张胜光制作,第四节搜索引擎使用技巧,简单搜索,输入查询字符串,搜索引擎返回结果,32,网络信息检索第2章 张胜光制作,搜索结果分析(,Google),网页标题,标题上下文本,A,B,C,网页地址,D,网页大小,E,F,网页快照,类似网页,33,网络信息检索第2章 张胜光制作,搜索结果分析(,Baidu,),网站被搜索引擎收录时间,34,网络信息检索第2章 张胜光制作,轻轻松松学检索,四次文献,三大系列中文网站,两类搜索引擎,Keyword,原则,35,网络信息检索第2章 张胜光制作,提炼搜索关键词,细化搜索条件,用好逻辑符号,强制搜索,如何运用“关键词原则”,36,网络信息检索第2章 张胜光制作,提炼搜索关键词,学会从复杂搜索意图中提炼出最具代表性和指示性的关键词，对提高信息查询效率至关重要，这方面的技巧是搜索技巧的基础。如：搜索与秦朝历史文化有关的资料，可提炼关键词：“秦始皇”、“兵马俑”。,37,网络信息检索第2章 张胜光制作,搜索条件越具体，搜索引擎返回的结果就越精确，有时多输入一两个关键词效果就完全不同，这是搜索的基本技巧之一。如：要了解中国戏剧中京剧的服饰及脸谱知识，搜索条件可为,“,京剧,”,、,“,脸谱,”,。,细化搜索条件,38,网络信息检索第2章 张胜光制作,用好逻辑符号,高级关键字举例：,空格 一般用作增加搜索范围,“”强制限定检索词,+扩大检索范围,-缩小检索范围,Intitle,限制关键字在题目里,Site,限制关键字在某网站里,加入看似无关但和搜索目标具有相关性的关键字。,39,网络信息检索第2章 张胜光制作,例题：搜索有关朱镕基总理的报道,实际上为通配符的应用问题,“,朱*基,”“,朱 基”,容错能力,“,朱容基”,40,网络信息检索第2章 张胜光制作,通过添加英文双引号来搜索短语词，这一方法在查找名言警句或专有名词时显得格外有用。请同学们搜索 电脑课件之家 和,”,电脑课件之家,”,，看结果有何不同。,强制搜索,41,网络信息检索第2章 张胜光制作,42,网络信息检索第2章 张胜光制作,QQ,qq,site:,VS,43,网络信息检索第2章 张胜光制作,杨晨,site:,VS,杨晨 杜章勇,44,网络信息检索第2章 张胜光制作,目标信息一定含有的关键字：用双引号连起来,目标信息不能含有的关键字：用“,-”,去掉,目标信息可能含有的关键字：用“,OR”,或空格连起来,重要提示,45,网络信息检索第2章 张胜光制作,关于搜索的一些思想,不是互联网上所有的信息都能被搜索引擎搜集。,动手前多动脑。,不要盲目信任搜索得到的信息。,不要期望一次搜索解决问题。,互联网上并没有所有的东西！,46,网络信息检索第2章 张胜光制作,文献检索课程作业,5,寻找蒙娜丽莎,、请在网上寻找如下图所示世界名画,蒙娜丽莎,的指定图片和介绍她被偷的文章。注意，如不是指定图片则此题不给分！,提示：可试用以下检索词：,Mona Lisa,Louvre,museum,stolen,蒙娜丽莎,500,岁 蒙娜丽莎被偷 卢浮宫,47,网络信息检索第2章 张胜光制作,、请在网上寻找卢浮宫三件“镇馆之宝”的另外两件维纳斯和胜利女神的雕像图片，把有关图片下载到你的作业文件夹中，作业文件名必须是图片的主题，否则不给分。,48,网络信息检索第2章 张胜光制作,【,操作步骤提示,】,1,、打开,IE,浏览器，在地址栏中输入 百度或,Google,搜索引擎的网址,2,、在搜索引擎对话框中反复输入不同的检索词，搜索给定的目标文献网页。,3,、点击,IE,浏览器文件菜单上的“另存为,”,命令，将该页面下载到你的作业文件夹中保存。,4,、此作业全部完成后，将作业文件夹中保存的全部文件，通过局域网作业提交系统，传输到实验室服务器中，作为评分依据。,49,网络信息检索第2章 张胜光制作,第五节,P2P,搜索引擎使用方法,第二类搜索引擎：,FTP,或,P2P,搜索引擎以迅雷和天网为代表,51,网络信息检索第2章 张胜光制作,什么是,FTP,资源,FTP,是在,Internet,网上使用最广泛的一种服务,使用,FTP,几乎可以传送任何类型的文件,:,如文本文件、二进制的可执行程序、科学论文、图像文件、压缩文件、声音文件等。因此有大量有价值的信息资源存储在,Internet,网上的,FTP,服务器上,获取这些资源也是信息检索的一项内容。,52,网络信息检索第2章 张胜光制作,FTP,的工作原理,FTP(File,Transfer Protocol),是,TCP/IP,协议的一种,它是在,Internet,网上使用最广泛的一种服务,它可被用来在,两台,位于,Internet,网上的计算机之间传输文件,它是一种,实时的联机服务,使用时,用户应首先登录到对方的主机上,登录成功后,可以进行文件搜索和文件传送的操作,如列文件目录,改变当前目录,设置传送参数等。,53,网络信息检索第2章 张胜光制作,像其它,Internet,服务一样,FTP,采用,Client/Server,结构。用户在使用,FTP,服务时,需要输入远程主机的用户名和口令才能被允许登录,在,Internet,网上有许多数据服务中心提供一种称为匿名文件传送服务,(Anonymous FTP),用户在登录时,以,Anonymous,作为用户名,以自己的邮件地址做为,Password,即可。一旦主机提供了匿名的,FTP,服务,它有限制地允许客户访问远程主机。因此，网页搜索引擎一般不能访问到,FTP,服务器上的信息资源。,54,网络信息检索第2章 张胜光制作,什么是,P2P,P2P,在,IT,界最初的含义是,Peer-to-peer,（点对点）。现在,P2P,已经被更广泛的理解为,Pointer-to-Pointer,PC-to-PC,等等。简单来说，,P2P,就是指数据的传输不再通过服务器，而是网络用户之间直接传递数据。,55,网络信息检索第2章 张胜光制作,举一个简单的例子，在,QQ,出现之前，人们上网聊天大多通过聊天室，信息的传递方式是：用户,A,聊天室服务器用户,B,。这些不是,P2P,的方式。在,QQ,时代，用户与服务器的交互仅用来完成登陆、维持在线状态等等，信息用户之间的信息传递不需要服务器参与，信息传递方式为：用户,A,用户,B,。这就是典型的,P2P,应用。不过，当信息的接收方不在线时，信息会通过服务器中转，这就又变成了上面提到的,C/S,模式,56,网络信息检索第2章 张胜光制作,第二类搜索引擎,从,FTP,和,P2P,的工作方式可以看出，它们都不是传统意义上的,www,网站，而是直接在两台计算机之间进行的远程通信和文件传输。所以象百度和谷歌这类搜索引擎对这两种信息资源的搜索往往不能奏效。这就需要有新的类型的搜索引擎诞生。其中有代表性的是迅雷和天网搜索引擎。,57,网络信息检索第2章 张胜光制作,一、迅雷在线搜索引擎,58,网络信息检索第2章 张胜光制作,59,网络信息检索第2章 张胜光制作,迅雷在线搜索引擎,迅雷是一款免费下载工具，号称第三代快速下载工具，它使用的多资源超线程技术基于网格原理，能够将网络上存在的服务器和计算机资源进行有效的整合，构成独特的迅雷网络，通过迅雷网络各种数据文件能够以最快的速度进行传递，据说下载速度是网际快车的,7-8,倍，支持断点续传。迅雷还拥有一个强大的资源网络，实际上构成了一个独特的搜索引擎。任何人都可以将自己在因特网搜索到的资源再次在迅雷上发布，成为迅雷的“雷友”，拥有自己的迅雷博客。这样，迅雷就可以通过对雷友博客的搜索，提供更多的信息资源。,60,网络信息检索第2章 张胜光制作,作业,4,迅雷在线搜索,本作业要求，对,2006,年最火爆的“明星学者”易中天先生的力作：,CCTV,百家讲坛,易中天品三国,在迅雷上进行搜索，将这套系列视频教程的总目录列出来（据说有,30,多集），按演讲顺序编号，并附上资源发布站点的屏幕抓图，以使读者能够方便地下载自己需要的讲座内容。,61,网络信息检索第2章 张胜光制作,二、天网搜索引擎,62,网络信息检索第2章 张胜光制作,63,网络信息检索第2章 张胜光制作,天网中文搜索引擎,北大天网,张胜光制作,65,网络信息检索第2章 张胜光制作,66,网络信息检索第2章 张胜光制作,主要以,P2P,资源搜索为主的搜索引擎,2,北京天网时代科技有限公司（,,/,）的前身是北大天网（,,/,），北大天网是中国第一家为互联网用户提供服务的搜索引擎。,2003,年,7,月，北京天网时代科技有限公司完全收购了北大天网，开展搜索相关业务。,67,网络信息检索第2章 张胜光制作,天网资源：,Web,、,FTP,、,Maze,等,68,网络信息检索第2章 张胜光制作,天网,FTP,资源,69,网络信息检索第2章 张胜光制作,“天网妹子”,天网资源最具特色的是,Maze,资源，天网,Maze,是一款集搜索和下载为一体的、基于,P2P,底层技术的客户端软件，它的特点是同时具有搜索、下载和共享发布的功能，当你安装此软件并注册后，就可以输入关键词进行搜索。但它搜索的对象主要是所有的,Maze,用户，你可以直接从找到的在线,Maze,用户的个人计算机共享文件夹上下载你感兴趣的任何文件。,70,网络信息检索第2章 张胜光制作,71,网络信息检索第2章 张胜光制作,作业,8,天网,Maze,大学课程在线搜索,它的下载方式类似,BT,下载方式，浏览方式类似,FTP,浏览方式，下载速度快，支持断点续传。特别是它的主要用户都是教育网上的用户，所以在校园网上下载速度极快。本作业要求从天网大学课程在线上下载一部指定的视频教程。这也将是本课程期末考试的必考题目之一，请用心掌握下述操作技巧。,72,网络信息检索第2章 张胜光制作,用天网妹子搜索到的大学课程在线,73,网络信息检索第2章 张胜光制作,大学课程在线项目理念,来源于如下一些理想中的场景：场景一：,新疆石河子大学计算机系讲授,计算机体系结构,的张老师对他的学生说：关于“指令流水线部分”的内容请大家点播“大学课程在线”上北京大学李老师相关的视频，我们的答疑时间是本周星期四。,74,网络信息检索第2章 张胜光制作,场景二：,西北大学的王老师的,文科计算机基础,课程刚刚被评选为教育部优秀课程，全国高校的学生和老师很快就能在“大学课程在线”上看到王老师的风采。,75,网络信息检索第2章 张胜光制作,场景三：,未名湖边，博雅塔下，一位北大的学生打开自己的笔记本电脑，开始在“大学课程在线”上聆听周老师关于离散数学中的组合计数定理部分的内容，这已经是他第三次学习这部分内容了。,76,网络信息检索第2章 张胜光制作,场景四：东北大学的学生们在自己学校的机房里打开“大学课程在线”，开始观看前一天到访清华大学的诺贝尔奖获得者的精彩演讲。场景五：五十年后，我突然想看看国学大师在北大讲坛上的音容笑貌，于是我打开了“大学课程在线”。,77,网络信息检索第2章 张胜光制作,场景六：,一个没有读过大学的人，却对中国高校里面的名师如数家珍，因为他在闲暇时候观看了“大学课程在线”的所有课程并认真地阅读了老师们指定的参考书。这成了他事业成功的坚实基础。,78,网络信息检索第2章 张胜光制作,三、其他,P2P,搜索引擎,BT,电驴,电骡,79,网络信息检索第2章 张胜光制作,80,网络信息检索第2章 张胜光制作,特色搜索引擎,1.,图像搜索引擎,2.FTP,搜索引擎,3.,新闻组搜索引擎,4.,新闻搜索引擎,5.MP3,搜索引擎,6.Flash,搜索引擎,7.,其他特色搜索引擎,81,网络信息检索第2章 张胜光制作,第六节门户网站和“看不见的”网站,一、门户网站的概念,中国有三大网站被称为“门户网站”,（新浪、搜狐和网易）,。之所以他们被称为中国最大的三大门户网站，除了因为它们有搜索引擎以外，还因为它们安排了多种多样的信息服务，使得人们能自觉自愿地登陆这些网站开始“网上冲浪”，恰似因特网的大门一样。,83,网络信息检索第2章 张胜光制作,一、,搜狐网站及其搜索引擎,Keyword searching,84,网络信息检索第2章 张胜光制作,第三代互动式搜索引擎搜狗,搜狗,是搜狐（,）,推出的第三代互动式搜索引擎，在用户输入一个查询词后，尝试理解用户可能的查询意图，给出多个主题概念的搜索提示，通过人机交互过程，智能展开多组相关的主题概念，引导用户更快速准确定位自己所关注的内容。,85,网络信息检索第2章 张胜光制作,搜狗的地图功能,86,网络信息检索第2章 张胜光制作,87,网络信息检索第2章 张胜光制作,88,网络信息检索第2章 张胜光制作,搜狐博客,89,网络信息检索第2章 张胜光制作,二、新浪网站及其搜索引擎,90,网络信息检索第2章 张胜光制作,新浪网的搜索引擎,91,网络信息检索第2章 张胜光制作,92,网络信息检索第2章 张胜光制作,93,网络信息检索第2章 张胜光制作,爱问共享资料,94,网络信息检索第2章 张胜光制作,95,网络信息检索第2章 张胜光制作,96,网络信息检索第2章 张胜光制作,97,网络信息检索第2章 张胜光制作,三、网易网站及其搜索引擎,Keyword searching,98,网络信息检索第2章 张胜光制作,网易博客,99,网络信息检索第2章 张胜光制作,网易相册,100,网络信息检索第2章 张胜光制作,101,网络信息检索第2章 张胜光制作,中国雅虎,102,网络信息检索第2章 张胜光制作,103,网络信息检索第2章 张胜光制作,104,网络信息检索第2章 张胜光制作,二、看不见的网站,与门户网站相反，有相当一批网络信息资源是搜索引擎看不到的，譬如天网妹子上的大学视频教程，以及私人服务器上的,BT,资源，百度、谷歌就对它们无能为力。因而就有了“看不见、搜不着的网站”的说法。但这些信息资源绝不是不重要的。,105,网络信息检索第2章 张胜光制作,WWW,信息资源,FTP,信息资源,Blog,信息资源,Telenet,信息资源,BBS,、新闻组信息资源,P2P,信息资源,数据库和收费网站信息资源,这三类资源可见度较高，但每个搜索引擎最多能搜到其中的,40%,大多数情况下，搜索引擎对这几类资源无能为力，只能另想办法查找。,看得见和看不见的网站,106,网络信息检索第2章 张胜光制作,轻轻松松学检索,四次文献,三大系列中文网站,两类搜索引擎,Keyword,原则,107,网络信息检索第2章 张胜光制作,本章作业,实验二 搜索引擎的使用,【,实验目的,】,掌握百度、,Google,和天网搜索引擎的基本知识和使用方法,【,使用环境,】,连接到因特网的实验室局域网环境,【,实验内容,】,通过以下作业掌握搜索引擎的基本知识和使用方法,作业,3,下载,PPT,模板,作业,4,迅雷资源下载,作业,5,寻找蒙娜丽莎,108,网络信息检索第2章 张胜光制作,