《数据挖掘》课件 第9章 互联网数据挖掘.pdf

数据挖掘高级大数据人才培养丛书之一，大数据挖掘技术与应用第九章互联网数据挖掘互联网数据挖掘是对当前互联网上蓬勃涌现出的各类型数据及其背后的价值的一种新的探索。而其数 据的收集、分析解读和相关展示，也需要应用经典数据挖掘模型、算法、方法和工具，甚至与其他行 业学科的数据挖掘分析经验进行关联思考，从而更精准而高效地获得问题突破的关键力量。这里我们 回溯了pagerank的源起、聚合了模型选用的取舍智慧，并塑造出以数据挖掘为手段提炼数据为人服 务的终极意义。高级大数据人才培养丛书之一，大数据挖掘技术与应用第九章互联网数据挖掘9.1 链接分析与互联网排序9.2 互联网信息抽取9.3 日志挖掘与查询分析 习题，9.1链接分析与互联网排序第九章链接分析与互联网排序9.1.1 PageRank起源互联网信息检索需求去粗取精，9.1链接分析与互联网排序第九章链接分析与互联网排序9.1.1Page Rank 起源排序算法，拉里佩奇论文节选S.Hrin.L.Page/Co mput et Net u(frks and ISDN Syxt ems.W(1998)107-117about d 巴以 A 皿RA)is definedasjknumber of links going outofaA.The PogeRank of a page A is given as follows:PR(A)=(1-c/)、(PRE)PR(Tn)、+d C(n)+,+Tcfn)Note that the Page Ranks form a probabi litvdfs-lrtbiUii)n()ver Web pages,so ihe sunjfll Web pages PaeRanks will bt;vnir.PageRank or PR(A)can be calculated using a simple iterative algorithm,and corresponds lo the principal eigenvector of fhe normalized link matrix of the Web.Also,a PageRank for 26 million Web pages can be computed in a few hours on a medium size workstation.There are many other details which are beyond the scope of this paper.2.1.2.intuitive julificutionPageRank can be thought of as a model of user2.2.Anchor textThe text of links is treated in a special way in our search engine.Most search engines associate the text of a link with the page that the link is on.In addition,we associate il with the page the link,points to.This has several advantages.First,anchors often provide more accurate descriptions of Web pages than the pages themselves.Second,anchors may exist for documents which cannot be indexed by a text-based search engine,such as images,programs,and databases.This makes it possible to return Web pages which have not actually been crawled.Note that pages that have not been crawled can cause problems,since they are never checked for validity before being returned to the user.In this case,the search engine can even return a page that never actually existed,but had hyperlinks pointing to it.However,it is possible io sort the results,so that this particular problem rarely happens.，9.1链接分析与互联网排序第九章链接分析与互联网排序9.1.1 PageRank起源成立公司，服务自己，服务大家广告I 了解facebook推广，你还需使用SHOPY.广告|买电脑就上Z.CN!亚马逊海外.广告|google,苏宁电脑Google GoogleV3co9.1链接分析与互联网排序第九章链接分析与互联网排序9.1.1 PageRank谁的信息、资讯、数据更权威？，9.1链接分析与互联网排序第九章链接分析与互联网排序9.1.1 PageRank-链接数量与质量，9.1链接分析与互联网排序第九章链接分析与互联网排序9.1.1 PageRankPR值计算相关的数学图论马尔科夫链随机漫步马尔可夫链，因安德烈马尔可夫（AAMarkov,1856-1922）得名，是指数学中具有马尔可夫性质的离散事件随机过程。该过程中，在给 定当前知识或信息的情况下，过去（即当前以前的历史状态）对于预 测将来（即当前以后的未来状态）是无关的。矩阵运算随机漫步矩阵乘法线性方程组求解 R二MR Rn=MxRn-l=MnxRO，9.1链接分析与互联网排序第九章链接分析与互联网排序9.1.1 PageRankPR值基于一个微型网络一 一2 2/O/1X2 2/O1X-I，9.1链接分析与互联网排序第九章链接分析与互联网排序9.1.1PageRankhttp:/spark.apache.org/网站上算法参考oARC DFrGHIJ I MNOP RSTIJVdisplay packages onlyotq apache spark gnaphx libO PageRankorg.apache.spark.graphxhide focusobject PageRank extends LoggingO G EdgeO G EdgeDirectionG EdgeRDDG EdgeTnplet0 G GraphG GraphKryoRegistratorO GraphLoaderG GraphOpsO O Partitionstrategy0 PregelO G VertexRDDPageRank algorithm imptementation There are two implementations of PageRank implementedThe first implementation uses the Preoel interface and runs PageRank for a fixed number of iterationsvar PR=Array.fill(n)(1.)val oldPR=Array,fil 1 Gi)(1.1)for(iter _ until nunJter)(swap(oldPR.PR)for(i oldPRj/outDegj).sum)hide focus org.apache.spark.graphx.implThe second implementation uses the standalone Gfacb interface and runs PageRank until convergence:GraphlmplI org.apache.spark.graphx.lib hide focus30。AnalyticsConnectedComponentsPageRankStronglyConnectedComponents SVDRusPlusT nangleCountorg.apache.spark.graphx util hide focusO GraphGeneratocsvar PR=Array,fillG)(1.)val oldPR=Array,fill(n)(.1)while(max(abs(PR-oldPr)tol)swap(oldPR,PR)for(i tol)PRi=alpha+(1 aIpha)inNbrsil.nap(j=oldPRtj/outDegtj).sun)alpha is the random reset probability(typically 0 15),inNbrsi is the set of neighbors whick link to i and outDeglj is the out degree of vertex jNote that this is not the nonnalized PageRank and as a consequence pages that have no inlinks will have a PageRank of alpha Linear SupertypesQ GOrdering Alphab*,Inherited PageRank Logging AnyRp-AnyHide AJI Show all Learn more about menoer setectiofiVisibility Public A：Value Membersdef runVD,BD(graph:GrachVU ED,numlter:Ini,resetProb:Double=0.15)(iaplicit argO:ClassTagO,argl:ClassTagED):，9.1链接分析与互联网排序第九章链接分析与互联网排序9.1.2 Page Rank的快速计算在时间和存储空间资源稀缺环境下对PageRank计算,巨大的互联网，海量的网页,产 生大量的矩阵计算，如何给予其更高效处理，我们能否做得更好？业务需求驱动。审视并挖掘数据特征予以应用。，9.1链接分析与互联网排序第九章链接分析与互联网排序9.1.3 面向主题的PageRank面向主题的PangRank计算也是计算PR值时，追求精益求精，避免链接作弊而产生的改 良方法。将用户感兴趣的主题网页归类并抽象为集合，调整PR值计算公式，会得到不 一样的PR值结果。，9.1链接分析与互联网排序第九章链接分析与互联网排序9.1.4 时间序列分析可否对PageRank进行基于时间序列分析的预测计算？ARIMA模型，找规律网页排序经济学，9.1链接分析与互联网排序第九章链接分析与互联网排序9.1.4时间序列分析可否对PageRank进行基于时间序列分析的预测计算？价值动因树复杂问题的处理方法金排序P主题面向主题当前PR新颖度时间高级大数据人才培养丛书之一，大数据挖掘技术与应用第九章互联网数据挖掘9.1 链接分析与互联网排序9.2 互联网信息抽取9.3 日志挖掘与查询分析 习题，9.2互联网信息抽取第九章链接分析与互联网排序9.2.1概述互联网信息抽取毫无疑问要用到模型、算法和相关的技术。然而怎样才能发现新知，创 新，创意呢，且这也通常是数据挖掘的初衷？我们还需要改变用维和转换视角数据挖掘出众的人;会把数据放包整体中，穷尽所有可能：远、近、高、低各不同；细 节、结构都要看的视角；摒弃固定观念转投逆向思维、增加或减少因素权重数值等等，才能够发现观察对象的本质，从而达成目标，此也应是信息抽取的基础哲学。Top ViewFront View9.2互联网信息抽取第九章链接分析与互联网排序9.2.2典型应用模型构建模型构建同样受限于视野，调参数可以较好的改善和平衡其不足。另一方面模型结构本 身也是一种数据展示和分析。资产流动资产固定资产负债+所有者权 益负债所有者权益，9.2互联网信息抽取第九章链接分析与互联网排序923挖掘、存储与网络技术分析挖掘与多维分析是什么关系？彳口 客户端数据仓库（D W 噫喧 据工数据库 第三方 历史数据，9.2互联网信息抽取第九章链接分析与互联网排序9.2.4数据采集管理，9.2互联网信息抽取第九章链接分析与互联网排序9.2.5数据抽取方法与知识发现9.2互联网信息抽取第九章链接分析与互联网排序9.2.5数据抽取方法与知识发现未来新事物过去经验，9.2互联网信息抽取第九章链接分析与互联网排序9.2.6行业案例研究吴恩达courseraAI课：为了达到最优性能，需要大量的数据和大型神经网络。，9.2互联网信息抽取第九章链接分析与互联网排序9.2.6行业案例研究大数据提升物流服务质量。高级大数据人才培养丛书之一，大数据挖掘技术与应用第九章互联网数据挖掘9链接分析与互联网排序9.2 互联网信息抽取9.3 日志挖掘与查询分析习题9.3日志挖掘与查询分析第九章链接分析与互联网排序9.3.1 概述2012之后，智能手机广泛应用，电子商务飞速发展，云计算技术落地催生更多SAAS服 务，使得IT信息化建设渐次落地并兴起数据化建设。互联网上产生的巨量的数据中日志 数据不可忽略。然而数据意识有限，数据基础薄弱让我们对其中的重要信息往往不够敏感。本节从人这 一原点出发，以人为本考虑数据透视，展现数据挖掘的更深内涵。r日志L，9.3日志挖掘与查询分析第九章链接分析与互联网排序9.3.2挖掘分析常用方法与工具比较工具、方法、平台随着技术与应用的更新在不断升级。以下是日志统计平台LSP1.0架9.3日志挖掘与查询分析第九章链接分析与互联网排序9.3.2挖掘分析常用方法与工具比较以下是用户数据仓库模型，百度大数据分析平台，桑文锋著数据驱动从方法到实践User Data Warehouse用户数据仓库网页搜索凤巢网盟知道百科网虫搜索凤巢网盟知道百科结构化数据 文本日志，9.3日志挖掘与查询分析第九章链接分析与互联网排序9.3.2挖掘分析常用方法与工具比较以下是数据源管理，百度大数据分析平台，桑文锋著数据驱动从方法到实践日志源结构化 传输实时化元数据审核查询引擎直接可 分析源结构化数据9.3日志挖掘与查询分析第九章链接分析与互联网排序9.3.2挖掘分析常用方法与工具比较工具比较的挖掘价值缪无日志查询分类、主题确定上下文，意图挖掘垃圾邮件发现上下文，问题发现SVM排序关联规则，聚类推荐&9.3日志挖掘与查询分析第九章链接分析与互联网排序9.3.3海量数据挖掘过程展现与分析海量数据挖掘过程（收集、分解、合并、推理）可视化展现。，9.3日志挖掘与查询分析第九章链接分析与互联网排序9.3.4行业应用举例学生用户日志深度分析与应用习题：1.打包PageRank算法生成Jar包，在Spark集群或单机上运行。2互联网数据挖掘中对已有信息挖掘为什么既可以进行预测，也可以进行评估和控 制？3.怎样理解大数据的预测洞察作用？4.什么是好问题(deep question),良好的提问技巧能使我们在寻找答案(数 据挖掘)的道路上事半功倍,离答案更近一步,为什么?_5.如何在有限稀缺资源约束下最大限度改挖掘到有价值的关联数据？6随着数据挖掘、机器学习、人工智能和大数据的不断发展，人类会变得越来越聪 明，文理兼通不再会是一件很难落地的事情，为什么？7为什么中国古语说纲举目张，它与数据挖掘中的哪些技术方法模型相关？8.知识之间的联系为什么比死的知识更重要？9.为什么中国古语还说一图胜千言？10.读完本章你对中国文化中强调的关系有没有新的认识？11.中国古语所说物以类聚，人以群分是如何总结出的？12.在SEO搜索引擎优化中,标签有一个nofolloyA/属性，它有哪些具体设置 方法，对PR值计算有怎样的影响？感谢聆听