传播技术第3章检索原理和搜索引擎2学时.ppt

Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,农业传播技术 张胜光制作,*,Click to edit Master,1,农业传播技术 张胜光制作,第三章,检索原理和,搜索引擎,农业传播技术与应用,2,农业传播技术 张胜光制作,本章内容,搜索引擎原理和概况,2,门户网站和看不见的网站,5,网络信息检索原理,3,1,网页搜索引擎简介,3,3,P2P,搜索引擎使用方法,3,4,3,农业传播技术 张胜光制作,第一节 信息检索原理：关键词匹配原则,4,农业传播技术 张胜光制作,1,、从“图灵实验”说起,大家都知道，计算机发展史上有一个重要人物图灵，他在上世纪,50,年代曾经提出了一个假想的实验，认为计算机可以具有人类的思维能力，被称为“图灵实验”。他并且预言，在,20,世纪末，具有人工智能的计算机将会出现。但时至今日，仍未有任何一台计算机能通过“图灵实验”。,5,农业传播技术 张胜光制作,2,、计算机检索的奥妙：关键词匹配,计算机既然如此“无能”，连三岁小孩的智能都不具有，那么为什么人们要在网上查找信息，却总要通过计算机帮忙呢？计算机检索的奥妙在哪里呢？,原来，计算机实现检索的奥妙，就在于它能把你输入的检索词，与它后台数据库中存储的文件关键词进行比对，如果能够匹配，就认为这条信息是你需要的，立刻输出给你。,6,农业传播技术 张胜光制作,存 储,检 索,原始文献,加工整理,数据库,提 问,检 索,输 出,“,爱因斯坦论文,”,“,论文,”,“,爱因斯坦,”,“,论文,”,“,爱因斯坦,”,7,农业传播技术 张胜光制作,4,、信息检索原理,检索,提问式,信息,的选,择与,收集,信息,特征,标,识,语,言,检索工具,匹配,检,索,结,果,信,息,源,用,户,信,息,需,求,检索,提问,数据库,8,农业传播技术 张胜光制作,What,？,Where,？,How,？,5,、信息检索的要领,9,农业传播技术 张胜光制作,6,、信息检索类型,依信息存储和检索的方式,手工检索Manual Retrieval,）,也叫传统信息检索，是利用各种印刷型检索工具来查找文献的一种方法。,计算机检索,（,Camputer,-based Retrieval,）,也叫现代信息检索，是指利用计算机和网络来处理和查找文献信息的检索方式。,10,农业传播技术 张胜光制作,7,、主要计算机检索系统类型,检索系统由一定的检索设备（计算机）和经过加工整理并存储在相应载体上的信息集合及其他设备共同构成的具有存储和检索功能的信息服务系统。,联机检索,(online search),脱机检索（,offline search,）,光盘检索（,CD search,）,网络检索（,Internet/Web search,）,全球数字图书馆系统（,digital global system,）,11,农业传播技术 张胜光制作,8,、“关键词原则”是信息检索的根本原则,四次文献,三大系列中文网站,两类搜索引擎,Keyword,原则,12,农业传播技术 张胜光制作,第二节 搜索引擎的原理和发展概况,13,农业传播技术 张胜光制作,1,、网络信息资源种类,WWW,信息资源：,web,网页,FTP,信息资源：远程计算机上的文件夹,Blog,信息资源：博客、播客等等信息资源,Telenet,信息资源：直接调用远程主机,BBS,、新闻组信息资源：相当于论坛信息,P2P,信息资源：私人计算机上的信息资源,数据库和收费网站：如三大库三大馆,14,农业传播技术 张胜光制作,2,、网络信息资源的特点,信息量大、传播广泛,信息类型多样、内容丰富,信息时效性强、变化频繁,信息分散无序、但关联程度高,信息缺乏管理、良莠不齐,所以在网络信息检索中，我们常常要借助于搜索引擎来帮助我们“大海里捞针”。,15,农业传播技术 张胜光制作,搜索引擎,Search Engine,Internet网络信息检索工具,3,、搜索引擎的概念,16,农业传播技术 张胜光制作,4,、搜索引擎的发展历史,17,农业传播技术 张胜光制作,搜索引擎发展历史,元搜索,引擎,1995,Yahoo!,1994,Gopher,1993,Archie,1990,第二代搜索,目录搜索,Google,1996,Baidu,1999,第三代搜索,网页搜索,18,农业传播技术 张胜光制作,搜索引擎的起源,Archie,所有搜索引擎的祖先，是,1990,年由,蒙特利尔,的,McGill University,三名学生发明的,Archie,(Archie FAQ),。,Alan,Emtage,等想到了开发一个可以用文件名查找文件的系统，于是便有了,Archie,。,Archie,是第一个自动索引互联网上匿名,FTP,网站文件的程序，但它还不是真正的搜索引擎。,Archie,是一个可搜索的,FTP,文件名列表，用户必须输入精确的文件名搜索，然后Archie,会告诉用户哪一个,FTP,地址可以下载该文件。,19,农业传播技术 张胜光制作,1994,年,4,月，斯坦福大学的两名博士生，美籍华人杨致远和,David,Filo,共同创办了,Yahoo,）。,随着访问量和收录链接数的增长，,Yahoo,目录开始支持简单的数据库搜索。因为,Yahoo!,的数据是手工输入的，所以不能真正被归为搜索引擎，事实上只是一个可搜索的目录。,Yahoo!,中收录的网站，因为都附有简介信息，所以搜索效率明显提高。,Yahoo!-,几乎成为,20,世纪,90,年代的因特网的代名词。,第二代搜索：目录式搜索,Yahoo!,20,农业传播技术 张胜光制作,第三代搜索：网页搜索,它们都属于网页自动搜索引擎，有的还带有智能分析或,FTP,、,P2P,搜索功能,21,农业传播技术 张胜光制作,5,、搜索引擎的工作原理,22,农业传播技术 张胜光制作,23,农业传播技术 张胜光制作,搜索引擎并不真正搜索互联网，它搜索的实际上是预先整理好的网页索引数据库。,搜索引擎至少由三部分组成：,爬行器（即机器人、蜘蛛等搜索程序）,索引生成器（即网页索引数据库）,查询检索器（即用户检索界面）,随着搜索引擎的发展，许多搜索引擎在此基础上增加特色功能。如百度增加了监控程序。,24,农业传播技术 张胜光制作,搜索引擎的工作原理就像超市,索引生成器,（网页数据库）,爬行器,（蜘蛛查询检索器,（用户查询）,因特网,25,农业传播技术 张胜光制作,26,农业传播技术 张胜光制作,27,农业传播技术 张胜光制作,第三节 两类搜索引擎及网页搜索引擎,28,农业传播技术 张胜光制作,两类搜索引擎的代表,2,以,FTP,和,P2P,资源搜索为主的搜索引擎,1,以网页搜索为主的搜索引擎,百度、,Google,、,Yahoo,等,迅雷、天网,Maze,等,29,农业传播技术 张胜光制作,第一类搜索引擎：网页搜索引擎以谷歌和百度为代表,30,农业传播技术 张胜光制作,1,、,Google,搜索引擎,Google,搜索引擎诞生于斯坦福大学的一个学生宿舍里，然后迅速传播到全球的信息搜索者。,Google,目前被公认为万维网上最大的搜索引擎，它提供了简单易用的免费服务，使用户能够访问一个包含超过,80,亿个网址的索引。,“,Google”,来自于数学名词“,Googol”,，,Googol,表示一个,1,后面跟着,100,个零。,Google Int.,使用这一术语体现了公司整合网上海量信息的远大目标。地址：,,/,31,农业传播技术 张胜光制作,Google,简介,:,Larry Page,，,创始人之一，主管产品,的总裁。密西根安娜堡大学的荣誉毕,业生，拥有理工科学士学位。他还因,其出色的领导才能获得过多项荣誉，以奖励他对工学院,的贡献。他曾担任密西根大学,Eta,Kappa,Nu,荣誉学会,的会长。目前他暂时从斯坦福大学计算机研究所博士班,休学，其指导教授是,Terry,Winograd,博士。,Google,就是由,Page,在斯坦福大学发起的研究项目转变而来的。,32,农业传播技术 张胜光制作,Google,简介,:,Sergey,Brin,，,创始人之一，主管技术的总裁。出生于莫斯科，是马里兰大学校本部的荣誉毕业生，拥有数学专业和计算机专业的理学士学位。已取得斯坦福大学计算机专业硕士学位，目前暂时从博士班休学。,29,岁的,Sergey,是美国国家科学基金会的奖学金得主。他在斯坦福遇到了,Larry Page,并参与了后来成为,Google,的研究项目他们于,1998,年共同创立了,Google,。,33,农业传播技术 张胜光制作,注意用,“,”,与*功能,34,农业传播技术 张胜光制作,35,农业传播技术 张胜光制作,谷歌其他功能,36,农业传播技术 张胜光制作,2,、,百度(baidu,),全球最大中文搜索引擎。提供网页快照、网页预览,/,预览全部网页、相关搜索词、错别字纠正提示、新闻搜索、,Flash,搜索、信息快递搜索、百度搜霸、搜索援助中心。,地址：,,/,37,农业传播技术 张胜光制作,,38,农业传播技术 张胜光制作,一、,概况,百度（,B,，,Inc,）,于,1999,年底,成立于美国硅谷，,2000,年，落户中国。,2001,年,8,月，发布,B,搜索引擎,Beta,版，从后台服务转向独立提供搜索服务，并且在中国首创了竞价排名商业模式。,2001,年,10,月,22,日正式发布,Baidu,搜索引擎。,2005,年,8,月,5,日，百度在美国纳斯达克上市。,李彦宏,39,农业传播技术 张胜光制作,“百度”二字取自辛弃疾的,青玉案,“,众里寻她千百度”。,现在百度已成为世界上最大的中文搜索引擎。用户能够访问超过,6,亿的中文网页，,5000,多万张图片、,500,多万首中文,mp3,及各种格式的音乐。,40,农业传播技术 张胜光制作,41,农业传播技术 张胜光制作,3,、其它中文搜索引擎,新浪：,张胜光制作,北京正望咨询有限公司,43,农业传播技术 张胜光制作,百度,VS Google,44,农业传播技术 张胜光制作,目标信息一定含有的关键字：用双引号连起来,目标信息不能含有的关键字：用“,-”,去掉,目标信息可能含有的关键字：用“,OR”,或空格连起来,重要提示,45,农业传播技术 张胜光制作,关于搜索的一些思想,不是互联网上所有的信息都能被搜索引擎搜集。,动手前多动脑。,不要盲目信任搜索得到的信息。,不要期望一次搜索解决问题。,互联网上并没有所有的东西！,46,农业传播技术 张胜光制作,用搜索引擎查英文一次文献,有时会碰到查不到的英文文献，而这些文献的数据库我们所在研究所或大学又没有买，怎么办？可以通过以下几个途径来得到文献。,1,首先在,Google,学术搜索里进行搜索，里面一般会搜出来你要找的文献，在,Google,学术搜索里通常情况会出现“每组几个”等字样,然后进入后，分别点击，里面的其中一个就有可能会下到全文，当然这只是碰运气，不是万能的，因为我常常碰到这种情况，所以也算是得到全文文献的一条途径吧。可以试一下。,47,农业传播技术 张胜光制作,2,如果上面的方法找不到全文，就把文章作者的名字或者文章的,title,在,Google,里搜索，用作者的名字来搜索,是因为我发现很多国外作者都喜欢把文章的全文（,PDF,）直接挂在网上，一般情况下他们会把自己的文章挂在自己的个人主页（home page,）上，这样可能也是为了让别的研究者更加了解自己的学术领域，顺便推销自己吧。这样你就有可能下到你想要的文献的全文了。甚至可以下到那个作者相近的内容的其它文章。,48,农业传播技术 张胜光制作,如果文献是由多个作者写的，第一作者查不到个人主页，就按上面的方法查第二作者，以此类推。用文章的,title,来搜索,是因为在国外有的网站上,例如有的国外大学的图书馆可能会把本校一年或近几年的学术成果的,Publication,的,PDF,全文献挂在网上,或者在这个大学的,ftp,上也有可能会有这样类似的全文,.,这样就很可能会免费下到你想要的全文了,.,49,农业传播技术 张胜光制作,3,如果上面两个方法都没有查到你要的文献，那你就直接写邮件向作者要。一般情况下作者都喜欢把自己的文献给别人，因为他把这些文献给别人，也相当于在传播他自己的学术思想。一般讲英语的国家的作者给文章的机率会大，一般你要就会给，其它不讲英语的国家，如德国，法国，日本等国家的作者可能不会给。出于礼貌,如果你要的文献作者,E-mail,给你了,千万别忘记回信致谢,.,50,农业传播技术 张胜光制作,向老外作者要文献的一个常用的模板,Dear Professor I am in Institute of,Chinese Academy of Sciences.,I am writing to request your assistance.I search one of your papers:,。（你的文献题目）,but I can not read full-text content,would you mind sending your papers by E-mail?Thank you for your assistance.Best wishes!(or best regards),51,农业传播技术 张胜光制作,第四节,P2P,搜索引擎使用方法,52,农业传播技术 张胜光制作,第二类搜索引擎：,FTP,或,P2P,搜索引擎以迅雷和天网为代表,53,农业传播技术 张胜光制作,什么是,FTP,资源,FTP,是在,Internet,网上使用最广泛的一种服务,使用,FTP,几乎可以传送任何类型的文件,:,如文本文件、二进制的可执行程序、科学论文、图像文件、压缩文件、声音文件等。因此有大量有价值的信息资源存储在,Internet,网上的,FTP,服务器上,获取这些资源也是信息检索的一项内容。,54,农业传播技术 张胜光制作,FTP,的工作原理,FTP(File,Transfer Protocol),是,TCP/IP,协议的一种,它是在,Internet,网上使用最广泛的一种服务,它可被用来在,两台,位于,Internet,网上的计算机之间传输文件,它是一种,实时的联机服务,使用时用户应首先登录到对方的主机上,登录成功后,可以进行文件搜索和文件传送的操作,如列文件目录,改变当前目录,设置传送参数等。,55,农业传播技术 张胜光制作,像其它,Internet,服务一样,FTP,采用,Client/Server,结构。用户在使用,FTP,服务时,需要输入远程主机的用户名和口令才能被允许登录,在,Internet,网上有许多数据服务中心提供一种称为匿名文件传送服务,(Anonymous FTP),用户在登录时,以,Anonymous,作为用户名,以自己的邮件地址做为,Password,即可。一旦主机提供了匿名的,FTP,服务,它有限制地允许客户访问远程主机。因此，网页搜索引擎一般不能访问到,FTP,服务器上的信息资源。,56,农业传播技术 张胜光制作,什么是,P2P,P2P,在,IT,界最初的含义是,Peer-to-peer,（点对点）。现在,P2P,已经被更广泛的理解为,Point-to-Point,PC-to-PC,等等。简单来说，,P2P,就是指数据的传输不再通过服务器，而是网络用户之间直接传递数据。,57,农业传播技术 张胜光制作,举一个简单的例子，在,QQ,出现之前，人们上网聊天大多通过聊天室，信息的传递方式是：用户,A,聊天室服务器用户,B,。这些不是,P2P,的方式。在,QQ,时代，用户与服务器的交互仅用来完成登陆、维持在线状态等等，信息用户之间的信息传递不需要服务器参与，信息传递方式为：用户,A,用户,B,。这就是典型的,P2P,应用。不过，当信息的接收方不在线时，信息会通过服务器中转，这就又变成了上面提到的,C/S,模式,58,农业传播技术 张胜光制作,第二类搜索引擎,从,FTP,和,P2P,的工作方式可以看出，它们都不是传统意义上的,www,网站，而是直接在两台计算机之间进行的远程通信和文件传输。所以象百度和谷歌这类搜索引擎对这两种信息资源的搜索往往不能奏效。这就需要有新的类型的搜索引擎诞生。其中有代表性的是迅雷和天网搜索引擎。,59,农业传播技术 张胜光制作,一、迅雷在线搜索引擎,60,农业传播技术 张胜光制作,61,农业传播技术 张胜光制作,迅雷在线搜索引擎,迅雷是一款免费下载工具，号称第三代快速下载工具，它使用的多资源超线程技术基于网格原理，能够将网络上存在的服务器和计算机资源进行有效的整合，构成独特的迅雷网络，通过迅雷网络各种数据文件能够以最快的速度进行传递，据说下载速度是网际快车的,7-8,倍，支持断点续传。迅雷还拥有一个强大的资源网络，实际上构成了一个独特的搜索引擎。任何人都可以将自己在因特网搜索到的资源再次在迅雷上发布，成为迅雷的“雷友”，拥有自己的迅雷博客。这样，迅雷就可以通过对雷友博客的搜索，提供更多的信息资源。,62,农业传播技术 张胜光制作,作业,4,迅雷在线搜索,本作业要求，对,2006,年最火爆的“明星学者”易中天先生的力作：,CCTV,百家讲坛,易中天品三国,在迅雷上进行搜索，将这套系列视频教程的总目录列出来（据说有,30,多集），按演讲顺序编号，并附上资源发布站点的屏幕抓图，以使读者能够方便地下载自己需要的讲座内容。,63,农业传播技术 张胜光制作,二、天网搜索引擎,64,农业传播技术 张胜光制作,65,农业传播技术 张胜光制作,天网中文搜索引擎,北大天网,张胜光制作,67,农业传播技术 张胜光制作,68,农业传播技术 张胜光制作,主要以,P2P,资源搜索为主的搜索引擎,2,北京天网时代科技有限公司（,,/,）的前身是北大天网（,,/,），北大天网是中国第一家为互联网用户提供服务的搜索引擎。,2003,年,7,月，北京天网时代科技有限公司完全收购了北大天网，开展搜索相关业务。,69,农业传播技术 张胜光制作,天网资源：,Web,、,FTP,、,Maze,等,70,农业传播技术 张胜光制作,天网,FTP,资源,71,农业传播技术 张胜光制作,“天网妹子”,天网资源最具特色的是,Maze,资源，天网,Maze,是一款集搜索和下载为一体的、基于,P2P,底层技术的客户端软件，它的特点是同时具有搜索、下载和共享发布的功能，当你安装此软件并注册后，就可以输入关键词进行搜索。但它搜索的对象主要是所有的,Maze,用户，你可以直接从找到的在线,Maze,用户的个人计算机共享文件夹上下载你感兴趣的任何文件。,72,农业传播技术 张胜光制作,73,农业传播技术 张胜光制作,天网,Maze,大学课程在线搜索,它的下载方式类似,BT,下载方式，浏览方式类似,FTP,浏览方式，下载速度快，支持断点续传。特别是它的主要用户都是教育网上的用户，所以在校园网上下载速度极快。本作业要求从天网大学课程在线上下载一部指定的视频教程。这也将是本课程期末考试的必考题目之一，请用心掌握下述操作技巧。,74,农业传播技术 张胜光制作,用天网妹子搜索到的大学课程在线,75,农业传播技术 张胜光制作,大学课程在线项目理念,来源于如下一些理想中的场景：场景一：,新疆石河子大学计算机系讲授,计算机体系结构的张老师对他的学生说：关于“指令流水线部分”的内容请大家点播“大学课程在线”上北京大学李老师相关的视频，我们的答疑时间是本周星期四。,76,农业传播技术 张胜光制作,场景二：,西北大学的王老师的,文科计算机基础,课程刚刚被评选为教育部优秀课程，全国高校的学生和老师很快就能在“大学课程在线”上看到王老师的风采。,77,农业传播技术 张胜光制作,场景三：,未名湖边，博雅塔下，一位北大的学生打开自己的笔记本电脑，开始在“大学课程在线”上聆听周老师关于离散数学中的组合计数定理部分的内容，这已经是他第三次学习这部分内容了。,78,农业传播技术 张胜光制作,场景四：东北大学的学生们在自己学校的机房里打开大学课程在线”，开始观看前一天到访清华大学的诺贝尔奖获得者的精彩演讲。场景五：五十年后，我突然想看看国学大师在北大讲坛上的音容笑貌，于是我打开了“大学课程在线”。,79,农业传播技术 张胜光制作,场景六：,一个没有读过大学的人，却对中国高校里面的名师如数家珍，因为他在闲暇时候观看了“大学课程在线”的所有课程并认真地阅读了老师们指定的参考书。这成了他事业成功的坚实基础。,80,农业传播技术 张胜光制作,三、其他,P2P,搜索引擎,BT,电驴,电骡,81,农业传播技术 张胜光制作,82,农业传播技术 张胜光制作,第五节门户网站和“看不见的”网站,83,农业传播技术 张胜光制作,一、门户网站的概念中国有三大网站被称为“门户网站”,（新浪、搜狐和网易）,。之所以他们被称为中国最大的三大门户网站，除了因为它们有搜索引擎以外，还因为它们安排了多种多样的信息服务，使得人们能自觉自愿地登陆这些网站开始“网上冲浪”，恰似因特网的大门一样。,84,农业传播技术 张胜光制作,一、,搜狐网站及其搜索引擎,Keyword searching,85,农业传播技术 张胜光制作,互动式搜索引擎搜狗,搜狗,是搜狐（,）,推出的互动式搜索引擎，在用户输入一个查询词后，尝试理解用户可能的查询意图，给出多个主题概念的搜索提示，通过人机交互过程，智能展开多组相关的主题概念，引导用户更快速准确定位自己所关注的内容。,86农业传播技术 张胜光制作,搜狗的地图功能,87,农业传播技术 张胜光制作,88,农业传播技术 张胜光制作,89,农业传播技术 张胜光制作,搜狐博客,90,农业传播技术 张胜光制作,二、新浪网站及其搜索引擎,91,农业传播技术 张胜光制作,新浪网的搜索引擎,92,农业传播技术 张胜光制作,93,农业传播技术 张胜光制作,94,农业传播技术 张胜光制作,爱问共享资料,95,农业传播技术 张胜光制作,96,农业传播技术 张胜光制作,97,农业传播技术 张胜光制作,98,农业传播技术 张胜光制作,三、网易网站及其搜索引擎,Keyword searching,99,农业传播技术 张胜光制作,网易博客,100,农业传播技术 张胜光制作,网易相册,101,农业传播技术 张胜光制作,102,农业传播技术 张胜光制作,二、看不见的网站,与门户网站相反，有相当一批网络信息资源是搜索引擎看不到的，譬如天网妹子上的大学视频教程，以及私人服务器上的,BT,资源，百度、谷歌就对它们无能为力。因而就有了“看不见、搜不着的网站”的说法。但这些信息资源绝不是不重要的。,103,农业传播技术 张胜光制作,WWW,信息资源,FTP,信息资源,Blog,信息资源,Telenet,信息资源,BBS,、新闻组信息资源,P2P,信息资源,数据库和收费网站信息资源,这三类资源可见度较高，但每个搜索引擎最多能搜到其中的,40%,大多数情况下，搜索引擎对这几类资源无能为力，只能另想办法查找。,看得见和看不见的网站,104,农业传播技术 张胜光制作,轻轻松松学检索,四次文献,三大系列中文网站,两类搜索引擎,Keyword,原则,105,农业传播技术 张胜光制作,本章思考题,1,、什么是网页搜索引擎？它的工作原理是什么？常见的搜索引擎有哪些？,2,、什么是,FTP,搜索引擎？常见的,FTP,搜索引擎有哪些？,3,、什么是“三大门户网站”？其中有特色的信息资源有哪些？,106,农业传播技术 张胜光制作,