简单的认识搜索引擎.pdf

-云客网云客网 您网站的流量加油站您网站的流量加油站SEO 排名 http:/ referer，但网站 SEO 优化工作，依然不可缺少。因为做 SEO 优化，是为了使网站更加适合搜索引擎的检索行为，为网站带来自然流量。常言道，知己知彼，百战不殆，下面，就和白掌一起来认识一下搜索引擎把。首先，和白掌一起认识一下什么是搜索引擎。搜索引擎，就是在搜索框中，直接输入所需信息的关键词，就可从互联网中获取与搜索词相关信息的软件系统。通常，这些搜索结果会呈现在搜索结果页，搜索到的信息，可能是网页，可能是图像，也可能是其它类型的文件。对于人工实时维护更新的站点，大多情况下，也就是我们所优化的网站，搜索引擎会派出基于一定算法的网站爬虫来抓取站点实时更新的信息。但是，在搜索引擎发展之初，并没有网站爬虫的存在。然后，让我们一起来看一下搜索引擎早期的发展。在互联网发展早期，蒂姆伯纳斯李建立了第一个网站并托管在 CERN(欧洲核子研究组织)的服务器上。后来，蒂姆在这个网站中列举了其它网站，其中尚存有记录的是 1992 年的一次具有历史意义的快照。但随着越来越多服务器上线，这份列表无法及时更新，自后再上线的新服务器，都会出现在 NCSA Mosaic 下一个名为“Whats New”的分类中。第一个被用于在互联网上提供搜索服务的工具时 Archie，这一象征“Archive“的名称，并不包含其中的字母”v“。这一工具，是由蒙特利尔市 McGillUniversity 计算机科学专业的学生 Alan Emtage、Bill Heelan 和 J.Peter Deutschz于 1990 年做成。他们下载了公共匿名 FTP 站点上所有文件的目录列表，创建了一个可对文件名称进行搜索的数据库。但不管怎样，受数据量的限制，Archie不能索引这些站点的内容，只能进行手动搜索。1991 年，Mark McCahill 创建了 Gopher 系统。它的出现促使两大新搜索程序-Veronica 和 Jughead-诞生。类似于 Archie，这两项搜索程序可搜索收录于Gopher 索引系统中的文件名和标题。其中，Veronica 提供了在 Gopher 列表的大多数目录标题中进行关键词搜索的服务，Jughead 则是一个从特定 Gopher 服务器获取菜单信息的工具。当搜索引擎 Archie 的名称还未收录到 Archie 系列丛书中，Veronica和Jughead就已存在于这套丛书中，不过其中会索引Archie相关的内容。1993 年夏天，虽然专业目录有人工维护，但尚没有为 Web 而存在的搜索引擎。Geneva 某大学的 Oscar Nierstrasz 写了一系列 Perl 手稿。Oscar 会在这些手稿中，定期反馈网页的情况，后来他又按照一种标准格式，将这些手稿编辑了一遍。这些手稿，就是之后 W3Catalog 的雏形，web 的第一个原始搜索引擎发布于1993 年 9 月 2 日。-云客网云客网 您网站的流量加油站您网站的流量加油站SEO 排名 http:/ 年 6 月，Matthew Gray 打造了第一个 web robot(搜索引擎爬虫机器人)-the Perl-based World Wide Web Wanderer，并将其用于生成一种叫做 Wandex的索引。Wanderer 存在的目的是为了衡量万维网(World Wide Web)的大小，Web的第二个搜索引擎是Aliweb，它出现于1993年11月。Aliweb没有采用web robot，它是使用一种特定的格式来索引每一个站点的信息。1993 年 12 月，Jonathon Fletcher 创建了 Jump Station 系统。这种系统使用一种 Web Robot 来发现网页并为其建立索引，同时，用一种 web 格式来作为其搜索程序的接口。Jump Station 可以说是世界上第一个 World Wide Web 的搜索引擎。它将网页搜索引擎的三大基本特征-抓取、索引和搜索-集于一体。但是由于 JumpStation 所在平台可用资源的局限性，其索引内容仅限于 web robot 遇到的网页标题和副标题。1994 年，WebCrawler 诞生，它是允许 Web Robot 爬取“全文内容“的搜索引擎之一。与其前辈不同的是，它支持用户搜索任一网页中的任一个搜索词。之后，它成为所有主流搜索引擎的标准，也是第一个被公众所熟知的搜索引擎。同年，卡内基梅隆大学创建了 Lycos。Lycos 是搜索引擎中的元老，最早提供信息搜索服务的网站之一，也是重要的商业典型。1996 年，Lycos 以收录 6000W文件位居当时最大的搜索引擎。随后，互联网中出现很多搜索引擎。这些搜索引擎包括 Magellan 网际网路搜索引擎、EXCITE 搜索引擎、Infoseek 资讯查找、因特通、Northern Light 搜索引擎和 AltaVista，纷纷抢占人气。Yahoo!是当时广受欢迎的搜索方式，但它的搜索功能仅能在它的网页目录下运行，而不是其网页的全文本副本。查询的人也可以浏览目录，而无需进行关键词搜索。1996 年，Netscape 计划在其浏览器打造一款专属自己并极具特色的搜索引擎。消息发出后，对此感兴趣的互联网公司很多，Netscape 就改变计划，与五家主流搜索引擎达成协议，将这五个搜索引擎轮流放在 Netscape 的搜索引擎页。这五家公司分别是 Yahoo!,Magellan，Lycos，Infoseek 和 Exicite。1998 年，Google 从 G 引入了 PPC 的概念，简单的说就是，买卖搜索词，这对于之后搜索引擎商业化具有重大意义，使互联网变现成为可能。在 20 世纪 90 年代末期，搜索引擎，也以互联网投资风暴中的明星产品而著称。有些公司高调进入互联网市场，在首次公开募股中均获得了创纪录的收益。有些公司则砍掉了其公共搜索引擎，转型为专门的营销公司，比如 Northern Light。很多搜索引擎公司都遭遇了投机泡沫(1995-2001)期间的互联网泡沫，鼎盛于1999 年，结束于 2001 年。2000 年前后，Google 搜索引擎声名鹊起。正如谷歌后来的创始人 Sergey Brin和 Larry Page 所写的 Anatomy of a Search Engine 一文中所解释的，PageRank 技术的提出采用谷歌搜索可以得到较好的搜索结果。这一为网页排名的迭代算法，是通过互联网浩瀚的超链接关系来确定页面的等级。Google 把从 A 网页到 B 网-云客网云客网 您网站的流量加油站您网站的流量加油站SEO 排名 http:/ A 网页给 B 网页的“点赞”，然后 Google 根据“点赞”网页(甚至来源的来源，即链接到 A 网页的网页)和“被点赞”网页的等级来决定新的等级，简单的说，一个高等级的网页可使其它低等级页面的等级提升。谷歌搜索也一直为其搜索引擎维持一个简洁的页面。相反，谷歌的很多竞争对手都选择将其搜索引擎嵌入到某一门户网站。树欲静而风不止，谷歌因其饱受欢迎一直在被 MysterySeeker 恶搞，比如前段时间，谷歌地图中显示白宫是个“黑鬼屋”。2000 年，Yahoo!在 Inktomi 的搜索引擎中提供搜索服务。2002 年，Yahoo!收购 Inktomi，并于 2003 年收购 Overture。2004 年，Yahoo!兼并了 Inktomi 和Overture 的技术，推出自己的搜索引擎，与谷歌成为竞争对手。1998 年秋天，Microsoft 采用 Inktomi 的搜索结果推出 MSN 搜索。1999 年上半年，MSN 开始在 Inktomi 搜索结果中掺杂来自 Looksmart 搜索结果。1999 年有一段时间，MSN 搜索也会采用 AltaVista 的搜索列表。2004 年，Microsoft 开始专注搜索技术，打造自己的 Web Robot。2009 年 1 月 1 日，Microsoft 将 MSN更名为 Bing 并上线。2009 年 7 月 29 日，Yahoo!与 Microsoft 达成合作关系，在这一合作中，Yahoo!可得到 Microsoft Bing 技术的支持。最后，和白掌一起来了解一下搜索引擎的工作。搜索引擎的工作通常分为三个步骤，即爬行、索引，搜索。简单地说，搜索引擎会存储标记有 html 的网页，这些网页通常都是网站爬虫(有时也称作蜘蛛)抓取来的。而网站爬虫，会定期到访网站，并爬行网站内容的自动程序。站长可通过 robots.txt 文件来排除不希望被爬虫抓取的页面。爬虫将页面内容抓取回来后，搜索引擎会对这些内容进行分析，以确定如何索引这些内容，例如，搜索引擎会从网页的标题、网站内容、题目或 Meta 标签中提取出关键词。网页的数据会存储至索引库，用于之后的搜索词搜索。用户的搜索词可以是单个的词，索引会帮助用户尽可能快的找到搜索词相关的信息。搜索词处理用户在搜索引擎界面输入关键词，单击“搜索”按钮后，搜索引擎程序即对搜索词进行处理，如中文特有的分词处理，去除停止词，判断是否需要启动整合搜索，判断是否有拼写错误或错别字等情况。搜索词的处理必须十分快速。排序对搜索词处理后，搜索引擎程序便开始工作，从索引数据库中找出所有包含搜索词的网页，并且根据排名算法计算出哪些网页应该排在前面，然后按照一定格式返回到“搜索”页面。-云客网云客网 您网站的流量加油站您网站的流量加油站SEO 排名 http:/ SEO 的帮助，搜索引擎常常不能正确的返回最相关、最权威、最有用的信息。