python爬虫入门——邓旭东.ppt

Python爬虫快速入门中南大学商学院邓旭东自我介绍2009-2013哈尔滨工业大学经济管理学院2015-至今中南大学商学院主要研究方向为线上社群及消费者行为，在学习研究过程中，习得了数据科学相关技术，如数据采集、数据清理、数据规整、统计分析熟悉R、python、MongoDB。目录二、准备知识一、引言三、网页请求四、网页解析五、开始采集六、如何应对反爬七、高级爬虫爬虫工作原理HTML+CSSPython基本知识找规律构建urlrequests库如何解析网页BeautifulSoupre库的使用条件、循环语句try。Except异常处理。数据存储控制访问频率伪装装成浏览器使用代理IPselenium+Firefox（36版）抓包应对动态网页引言爬虫能做什么？微博最近有啥热门话题淘宝京东上某商品价格变动邮箱通知女/男神最新动态谁点赞最活跃BBS抢沙发社交网络分析.引言爬虫能做什么一句话，只要浏览器有的，你都可以抓可以爬引言爬虫好学吗？frommathimportpowYouJoinUs=is:TrueIfYouJoinUsis:result=pow(1.01,365)print(result)37.7834简单的道理目录一、引言三、网页请求四、网页解析五、开始采集六、如何应对反爬七、高级爬虫爬虫工作原理HTMLPython基本知识找规律构建urlrequests库如何解析网页BeautifulSoupre库的使用条件、循环语句try。Except异常处理。数据存储控制访问频率伪装装成浏览器使用代理IPselenium+Firefox（36版）抓包应对动态网页二、准备知识爬虫工作原理蓝色线条：发起请求（request）红色线条：返回响应（response）HTML标签访问Python中文社区https:/ TheDormousesstorybsObj.p.attrsclass:title,name:dromousebsObj.p.attrsclasstitlebsObi.p.attrs.get(class)titleNavigableString对象#获取标签内部的文字bsObj.p.stringTheDormousesstoryfind/find_allfind_all(name,attrs)得到的所有符合条件的结果,返回的是列表格式bsObj.findall（a）,Lacie,TilliebsObj.findall(a,href:http:/