信息检索课程介绍.pptx

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2019/12/22,#,1,写,在授课之前,授课学时,实验学时,10,学时,30,学时,2,Quiz,下面场景中，按回车键，会发生什么？,浏览器地址栏里输入,List),，,Signature,文件，,PAT,树等,提问,(Query),处理,提问理解，提问的语义扩展（包括基于局部聚类的提问扩展，基于局部上下文分析的提问扩展，基于相似语义词典的提问扩展，基于统计词典的语义扩展）,相关反馈（包括,Term,权重的重新计算，相关反馈策略的评价等）,10,文本分类和聚类,特征词抽取,TFIDF,信息增益方法,文本表示,文本相似度计算,文本分类算法,文本聚类算法,11,文本过滤,过滤系统中的,Profile,的表示与管理,各种匹配算法,Brute Force,算法,Knuth-Morris-Pratt,算法,Boyer-Moore,算法,Karp-Rabin,过滤系统在信息安全中的应用,12,Web,信息检索,Web,检索的历史与现状,Web Information Discovery,搜索技术（,Crawling,）,排序算法,PageRank,Hits,Web Noises Detection,13,*,基于内容的图像及音频检索*,图像的特征表示,图像相似度计算,相关反馈,基于音频的信息检索计算,14,*,问答系统及自动文摘*,问答系统,问题的理解与分类,转述,(Paraphrasing),答案抽取,问答式信息检索的应用,自动文摘,自动摘录,基于理解的自动文摘,基于信息抽取的自动文摘,基于篇章结构的自动文摘,15,课程目的,发现了什么问题？,Web,信息的数量，内容丰富程度（庞杂）,人们访问信息的效率,课程目的,介绍面对,web,信息过载问题挑战的各种研究和尝试，具体为大规模,Web,信息搜集、分析与处理方法与技术,认识这个激动人心领域的导论,16,研究对象,Web,1980,年,Tim Berners-Lee,负责的,Enquire,（,Enquire Within Upon Everything,的简称）项目。,1990,年,11,月，第一个,Web,服务器,nxoc01.cern.ch,开始运行，,Tim Berners-Lee,在自己编写的图形化,Web,浏览器,“,WorldWideWeb,”,上看到了最早的,Web,页面。,1991,年，,CERN,（,European Particle Physics Laboratory,）正式发布了,Web,技术标准。,目前，与,Web,相关的各种技术标准都由著名的,W3C,组织（,World Wide Web Consortium,）管理和维护。,www.w3c.org,17,Web,的支撑技术,用超文本技术（,HTML,）实现信息与信息的连接,用统一资源定位技术（,URI,）实现全球信息的精确定位,用新的应用层协议（,HTTP,）实现分布式的信息共享。,这三个特点无一不与信息的分发、获取和利用有关。,Tim Berners-Lee,说：,Web,是一个抽象的（假想的）信息空间。,也就是说，作为,Internet,上的一种应用架构，,Web,的首要任务就是向人们提供信息和信息服务。,18,Web,技术的发展,客户端技术,GIF,第一次为,HTML,页面引入了动感元素,JavaApplets,和,JavaScript,的支持,CSS,（,Cascading Style Sheets,）和,DHTML,（,Dynamic HTML,）技术,插件、,ActiveX,控件技术,服务端技术,CGI,允许服务端的应用程序根据客户端的请求，动态生成,HTML,页面，动态信息交换,Perl,，,PHP,、,ASP,、,JSP,企业级开发平台,-J2EE,和,.NET,19,Web,增长,Load on the first Web server(info.cern.ch)1000 times what it has been 3 years earlier,20,Web,增长,网站数目 ,1993-1996,from 130 to 600.000 sites,Netcraft said that it has counted 85,541,228 websites at the beginning of 2006/06,The number represents a gain of 3.96 million sites over the previous month,用户数目 ,Then what happened?,21,浏览器大战,1993,，,Mark Andreessen,编写,Mosaic,“,The great thing about the Internet-the thing that catalyzed it in the first place and renews it every day-is that there are so many people able to use it,able to do a million different things.Its an open platform that anybody can develop and create applications for.A lot of people are able to apply their energy,and see it bear fruit.,”,22,浏览器大战,1994,，,Mark Andreessen,发布,Netscape,，成为当时的事实标准,1995,Microsoft,开始全面转向,Internet,，发布,Internet Explorer 1.0,，三个月后发布,2.0,1997,IE4.0,发布，引入,DHTML,，,Winner,1998,Netscape,开放源码,2004,，,Mozilla.org,在,Netscape,源码基础上开发发布,Firefox,，比,IE,有更多新功能和更好安全性，开始了新一轮浏览器大战。,Why?,Web Browser,成为争夺的焦点？,23,丰富的,web,应用,www.eB,（电子港湾）：在线拍卖和购物,1995,年用户：,1.68,亿,（维基百科）：免费百科全书,2001,年用户：每天,91.2,万人次访问,（纳帕斯特）：音乐共享,1999,年用户：,50,万个付费用户,：视频共享,2005,年用户：每天,1,亿人次视频浏览,（博客网）,1999,年用户：,1850,万固定访客,24,丰富的,web,应用,（友聚网）：校友录,1999,年用户：,1500,万,（德拉吉报道）：个人媒体,1994,年用户：每天,800,万到,1000,万页次浏览,（我的空间）：社交网络,2003,年用户：,1,亿,（亚马逊书店）：网上书店,1994,年用户：超过,250,个国家和地区,3500,多万用户,www.slashdot.org,：科技论坛,1997,年 用户：每月,5500,万,25,丰富的,web,应用,（沙龙网）：在线杂志,1995,年 用户：每月,2500,万至,3500,万访客,www.craigslist.org,（克雷格列表）：分类广告,1995,年 用户：每月,4,万亿页次浏览,（谷歌）：搜索引擎,1998,年 用户：每天,10,亿个搜索请求,（雅虎）：门户网站,1994,年 用户：,4,亿,（易航网）：廉价航空,1995,年 用户：去年乘客,3000,万人次,26,27,Web,的未来,W3C,：,Web,的未来是语义化的,Web,（,Semantic Web,）,2001,XML,信息本身的格式和数据内容,SOAP,协议，,WSDL,协议,Web Service,RDF,（,Resource Description Framework,）元数据的存储结构和相关的技术标准,OWL,（,OWL Web Ontology Language,）,28,Web 1.0,Web 2.0,DoubleClick,Google AdSense,Ofoto,Flickr,Akamai,BitTorrent,Napster,大英百科全书在线（,Britannica Online,）,维基百科全书（,Wikipedia,）,个人网站,personal websites,博客,(blogging),evite,upcoming.org,和,EVDB,域名投机,搜索引擎优化,SEO,页面浏览数,page views,每次点击成本,cost per click,屏幕抓取（,screen scraping,）,网络服务（,web services,）,发布,publishing,参与,participation,内容管理系统,content management,维基,wikis,目录（分类,),directories,标签（,tagging,folksonomy,）,粘性,stickiness,聚合,syndication,29,我们关心的角度,The world wide web(web)is a network of information resources.,Web,图：节点代表,web pages,，边是,hyperlinks,大规模、动态、分布式的图,反映了人们组织信息的方式,研究人们访问,web,的方式,信息资源：主要关注文本资源,(html web pages),a recent study indicated that 80%of,a company,s information is contained in text documents.,1,如何更有效访问这些信息资源？,用户信息：,站点访问日志反映了用户访问信息的方式,30,我们关注的中心,Dragon metaphor,Gatekeepers of our society,s treasure trove of information,magic,powerful,independent,and unpredictable.,Search Engine,31,The SuperStar of Web Application is,Search Engine!,Google 2005,年,8,月,19,日上市，以,85,美元的价格筹集到了,16.7,亿美元,百度,2005,年,8,月,5,日晚在美国纳斯达克上市，融资,1.09,亿美元。,发行价27美元，,最高达,151,美元,Microsoft,，,Yahoo,，等公司对,web search,的巨大投入,国内门户网站纷纷推出自己研发的,search engine,，,sohu,netease,qq,Google says it,s goal is,“,to organize the world,s information and make it universally,accessible and useful,”,32,Who,Who search the Web?,Every body,33,Where,Search Engine Service,Search box,也成为网站的信息入口,:,Ebay,amazon,taobao,china-pub,34,What,What are people searching for?,15%for,“,a good collection of links on a subject,”,25%for,“,a specific Web site that already had in mind,”,36%for,“,intent to perform some Web-mediated activity,”,35,How,How does the search engine work?,Crawling,Preprocess&indexing,Retrieving,www,36,When,1994,年,7,月，,Michael Mauldin,将,John Leavitt,的蜘蛛程序接入到其索引程序中，创建了大家现在熟知的,Lycos,，成为第一个现代意义的搜索引擎。,Excite,Yahoo,Infoseek,Inktomi,Altavista,GoT,-Overture-yahoo,Ask Jeeves,Google,国内,1997,北大天网搜索，清华指南针搜索，华南木棉搜索,2000,年,baidu,37,Pre-Google,First Truly Good Search Engine:Altavista,Louis Monier,DEC,s Western Lab,1995,10M,网页；,1995/12/15,发布,时已经索引了,16M,网页,1997,，,25M queries/day,，,$50M revenue,核心技术,大规模资源搜集,crawling,：效率、存储、组织,从,keyword,怎样找到相关的网页？,(,信息检索,),38,Google,Google,Larry Page,and,Sergey Brin,Standford,Spams kill the search engine,，,so,2005,年索引,80 Billions,网页，每日查询,1Billion!,核心技术,基于链接分析的排序技术：,pagerank,基于搜索的广告：,AdWords,AdSense,海量数据处理基础设施：,tens of thousands of pcs,39,Future of the Search,Is Google perfect?,搜索数据资源种类不断增加,Search Everywhere,Mp3,pictures,bbs,forum,literature,blog,本地化、个性化,Local&Personal,Clickstream!,Y!Q,面向特定领域的垂直搜索,酷讯,，,爱帮,，,(,信息提取,),结果可视化,Vivisimo,(,结果聚类,),Question Answer,百度知道,IBM WebFountain,WebDigest,?,40,More than search?,Query Like this:,“,Give me all the documents on the web that have at least one page of content in Arabic,are located in the Midwest,and are connected to at least two similar documents but are not connected to the official Al Jazeera Web site,and mention anyone ion a specified list of suspected terrorists,”,41,Web,数据挖掘,海量数据上，我们能做什么？,网上出现次数最多的,100,个人是哪些,.,哪个网站最先报道了禽流感消息,.,对于吉林石化的爆炸事件，不同的省份分别有哪些报道,.,关于超女现象，给出网上报道的一个综述,.,42,教材和参考材料,Modern Information Retrieval.Ricardo Baeza-Yates,Berthier Ribiero-Neto and Berthier Ribeiro-Neto.Addison-Wesley.,现代信息检索 王知津贾福新郑红军等译,机械工业出版社,43,搜索引擎原理、技术与系统,李晓明,闫宏飞,王继民,.,科学出版社,.(,电子版,),搜索引擎与信息检索教程,袁津生等编著,水利水电出版社,44,课程的要求,背景知识要求,高等数学，线性代数，概率论和统计,熟练的程序设计（,C,Java,），,Web,知识（浏览器，,HTML,，,HTTP,等），最好有一定的,Web,编程经验,成绩构成,实验（实验报告），作业，出勤等,20%,期末考试，,80%,45,小结,Web,，改变着人们生活和工作的方式，它也是一个广袤、深邃、生机勃勃的研究对象,面对,Web,信息过载问题的挑战，人们在研究和尝试各种方法和技术，我们一起通过,Web,信息检索技术这门课程来认识这一活跃的领域,46,思考题,选一个,web,应用，分析其信息处理的技术。,访问,ppt,中涉及到的有趣的网站,