搜索引擎核心技术解密.pdf

技术成就梦想 DataGuru 专业数据分析社区 网址： 1 搜索引擎核心技术解密搜索引擎核心技术解密 经过十几年的发展，搜索引擎已经成为互联网的重要入口之一，全球互联网上访问量最大的十个网站之一 Twitter 联合创始人埃文.威廉姆斯提出了“域名已死轮”：好记的域名不再重要，因为人们会通过搜索进入网站。搜索引擎的排名对于中小网站流量来说至关重要了，了解搜索引擎简单界面背后的技术原理其实对很多人都很重要 授课对象授课对象：一、对搜索引擎核心算法有兴趣的技术人员 1、搜索引擎的整体框架是怎样的？包含哪些核心技术？2、网络爬虫的基本架构师什么？常见的爬取策略是什么？什么是暗网爬取？如何构建分布式爬虫？百度的阿拉丁计划是 3、什么是倒排索引？如何对倒排索引进行数据压缩？4、搜索引擎如何对搜索结果排序?5、什么是向量空间模型？什么是概率模型？什么是 BM25 模型？什么是机器学习排序？它们之间有何异同？6、PageRank 和 HITS 算法是什么关系？有何异同？SALSA 算法是什么？Hilltop 算法又是什么？各种链接分析算法之间是什么关系？7、如何识别搜索用户的真实搜索意图？用户搜索目的可以分为几类？什么是点击图？什么是查询会话？相关搜索是如何做到的？8、为什么要对网页进行去重处理？如何对网页进行去重？哪种算法效果较好？9、搜索引擎缓存有几级结构？核心策略是什么？10、什么是情境搜索？什么是社会化搜索？什么是实时搜索？二、对云计算与云存储有兴趣的技术人员 1、什么是 CAP 原理？什么是 ACID 原理？它们之间有什么异同？2、Google 的整套云计算框架包含哪些技术？Hadoop 系列和 Google 的云计算框架是什么关系？3、Google 的三驾马车 GFS、BigTable、MapReduce 各自代表什么含义？是什么关系？4、Google 的咖啡因系统的基本原理是什么？5、Google 的 Pregel 计算模型和 MapReduce 计算模型有什么区别？6、Google 的 Megastore 云存储系统和 BigTable 是什么关系？7、亚马逊公司的 Dynamo 系统是什么？技术成就梦想 DataGuru 专业数据分析社区 网址： 2 8、雅虎公司的 PNUTS 系统是什么？9、Facebook 公司的 Haystack 存储系统适合应用在什么场合？三、从事搜索引擎优化的网络营销人员及中小网站站长 从事搜索引擎优化的网络营销人员及中小网站站长 搜索引擎的反作弊策略是怎样的？如何进行优化避免被认为是作弊？搜索引擎如何对搜索结果排序？链接分析和内容排序是什么关系?什么是内容农场？什么是链接农场？它们是什么关系？什么是 Web 2.0 作弊？有哪些常见手法？什么是 SpamRank?什么是 TrustRank?什么又是 BadRank？它们是什么关系？咖啡因系统对网页排名有何影响？课程大纲课程大纲：第一课：初识搜索引擎，了解其技术架构 1、按照各大搜索引擎商业公司使用的技术为依据对搜索引擎进行时代划分 2、讲解搜索引擎的三大实现目标 3、讲解搜索引擎的三大核心问题及技术发展 4、详细讲解搜索引擎的技术架构 第二课：讲解网络爬虫 1、讲解通用爬虫框架 2、讲解通过哪些特征来判断一个网络爬虫是否优秀 3、详细讲解网络爬虫的抓取策略 4、详细讲解网络爬虫对网页更新策略 5、详细讲解网络爬虫的暗网抓取 6、详细讲解分布式爬虫 第三课：讲解搜索引擎索引 1、讲解单词-文档矩阵、倒排索引基本概念、倒排索引简单实例 2、讲解单词词典：哈希加链表、树形结构、3、讲解两遍文档遍历法、排序法、归并法、动态索引 4、讲解索引更新策略：完全重建策略、在合并策略、原地跟新策略、技术成就梦想 DataGuru 专业数据分析社区 网址： 3 5、讲解查询处理：一次一文档、一次一单词、跳跃指针、多字段索引 第四课：讲解索引压缩 1、讲解词典压缩 2、讲解倒排列表压缩算法 3、讲解文档编号重排序 4、讲解静态索引裁剪 第五课：检索模型与搜索排序 1、讲解布尔模型 2、讲解向量空间模型 3、讲解概率检索模型 4、讲解语言模型方法 5、讲解机器学习排序 第六课：讲解链接分析 1、讲解 web 图 2、讲解随机游走模型、子集传播模型、链接分析算法之间的关系 3、讲解 PageRank 算法 4、讲解 HITS 算法 5、讲解 SALSA 算法 6、讲解主题敏感 PageRank 7、讲解 Hilltop 算法 第七课：云存储与云计算 1、讲解云存储与云计算概述 2、讲解 CAP 原理 3、讲解 Google 的云存储与云计算架构 4、讲解 google 文件系统 GFS 5、讲解 BigTable 存储模型 6、讲解 Map/Reduce 云计算模型 技术成就梦想 DataGuru 专业数据分析社区 网址： 4 第八课：讲解网页反作弊 1、讲解内容作弊 2、讲解链接作弊 3、讲解网页隐藏作弊 4、讲解 Web 2.0 作弊方法 5、讲解反作弊技术的整体思路 6、讲解通用链接反作弊方法 7、讲解专用链接反作弊技术 第九课：讲解用户查询意图分析 1、讲解搜索行为及其意图 2、讲解搜索日志挖掘 3、讲解相关搜索 4、讲解查询纠错 第十课：讲解网页去重 1、讲解通用去重算法框架 2、讲解 Shingling 算法 3、讲解 I-Match 算法 4、讲解 SimHash 算法 5、讲解 SpotSig 算法 第十一课：搜索引擎缓存机制 1、讲解搜索引擎缓存系统架构 2、讲解缓存对象 3、讲解缓存结构 4、讲解缓存淘汰策略 5、讲解缓存跟新策略 第十二课：讲解搜索引擎的发展趋势 1、讲解个性化搜索 2、讲解社会化搜索 技术成就梦想 DataGuru 专业数据分析社区 网址： 5 3、讲解实时搜索 4、讲解移动搜索 5、讲解地位位置感知搜索 6、讲解跨语言搜索 7、讲解多媒体搜索 8、讲解情景搜索 第十三课：实战讲解怎么构建一个搜索引擎 01（使用 java 开发）1、准备搜索引擎开发环境、提取 HTML 文件内容：结构化信息提取、网页架构相似度计算、正文提取工具 FireBug、NekoHTML 的使用 2、提取 txt、pdf、word、execl、PowerPoint 等文件内容、流媒体文件内容提取（音频文件、视频文件）3、Lucene 中的中文分词、Lietu 中文分词的使用、理解 Lucene 的索引库结构、设计一个简单的索引库 4、自动分类的 SVM 方法实现、K 均值聚类方法、K 均值实现、拼音转换、语义搜索 第十四课：实战讲解怎么构建一个搜索引擎 02（使用 java 开发）1、索引优化、查询优化、实现时间加权排序、实现字词混合索引、定制 Similarity、定制Tokenizer 2、Lucene 搜索接口、搜索页面设计、实现搜索接口 3、实现关键字高亮、实现多维视图、实现相似文档搜索、实现 AJAX 自动完成 4、使用 Solr 实现分布式搜索：Solr 服务器端的配置与中文支持、Solr 索引库的查找、Solr搜索优化、SolrJ 查询分析器、Solr 的.net 客户端、Solr 的 php 客户端 收获预期收获预期：对搜索引擎的原理掌握，对搜索引擎相关技术掌握 课程环境课程环境：java 开发环境 讲师介绍讲师介绍：技术成就梦想 DataGuru 专业数据分析社区 网址： 6 本次课程将由 zouhg 讲师完成。zouhg 讲师从 2010 年开始，从事大型 web 站点的运维工作，曾经任职多家互联网担任资深运维工程师的职位，对大型 web 站点运维有相当丰富的经验。