山东建筑大学计算机网络课程设计《基于Python的网络爬虫设计》(367).doc

(word完整版)山东建筑大学计算机网络课程设计《基于Python的网络爬虫设计》(367)
山东建筑大学
课 程 设 计 成 果 报 告
题 目: 基于的网络爬虫设计
课 程: 计算机网络
院 (部）： 管理工程学院
专 业： 信息管理与信息系统
班 级:
学生姓名：
学 号：
指导教师：
完成日期：
8 11
目 录
设计目的
设计任务内容
网络爬虫程序总体设计
网络爬虫程序详细设计
设计环境和目标分析
设计环境
目标分析
爬虫运行流程分析
控制模块详细设计
爬虫模块详细设计
管理器设计
网页下载器设计
网页解析器设计
数据输出器详细设计
调试与测试
调试过程中遇到的问题
测试数据及结果显示
课程设计心得与思想到
参考文献
附录 网络爬虫程序设计代码
附录 网络爬虫爬取的数据文档
设计目的
本课程设计是信息管理与信息系统专业重要的实践性环节之一，是在学生学习完《计算机网络》课程后进行的一次全面的综合练习。本课程设计的目的和任务：
．巩固和加深学生对计算机网络基本知识的理解和掌握。
．培养学生进行对网络规划、管理及配置的能力或加深对网络协议体系结构的理解或提高网络编程能力。
．提高学生进行技术汇总报告和撰写说明书的能力。
设计任务内容
网络爬虫是从中发现,下载以及存储内容，是搜索引擎的核心部分。传统爬虫从一个或若干初始网页的开始，获得初始网页上的，在抓取网页的过程中，不断从当前页面上抽取新的放入队列，直到满足系统的一定停止条件。
参照开放源码分析网络爬虫实现方法，给出设计技术指导文件，画出设计流程图。
选择自己熟悉的开发环境，实现网络爬虫抓取页面、从而形成结构化数据的基本功能，界面适当美化。给出软件测试结果。
网络爬虫程序总体设计
管理器

数据输出器

网页下载器
网页解析器
爬虫控制器

在本爬虫程序中共有三个模块：
1、 爬虫调度端：启动爬虫，停止爬虫，监视爬虫的运行情况
2、 爬虫模块:包含三个小模块，管理器、网页下载器、网页解析器。
（1） 管理器：对需要爬取的和已经爬取过的进行管理,可以从管理器中取出一个待爬取的，传递给网页下载器.
（2） 网页下载器：网页下载器将指定的网页下载下来，存储成一个字符串，传递给网页解析器.
（3） 网页解析器：网页解析器解析传递的字符串，解析器不仅可以解析出需要爬取的数据，而且还可以解析出每一个网页指向其他网页的，这些被解析出来会补充进管理器
、数据输出模块:存储爬取的数据
网络爬虫程序详细设计
设计环境和目标分析
设计环境
：
版本：
目标分析
目标：从百度词条开始,以广度优先的方式，爬取相关联的若干词条网页的标题和简介
（)初始:"”
（）词条页面格式:

（3） 数据格式:标题——< "">〈><〉
简介——〈 ”” "">
（）页面编码：
爬虫运行流程分析
爬虫程序的运行流程如图所示.
（1） 爬虫控制器从给定的开始,将给定的初始添加到管理器中，然后调用管理器的相关方法，判断是否有待爬取的
（2） 判断是否有待爬取的，如果有待爬取的，则返回给控制器，控制器将这个传递给网页下载器，下载该网页
（3） 网页下载器将下载好的数据返回给控制器，控制器再将返回的数据传递给网页解析器解析
（4） 网页解析器解析网页之后获取网页数据和网页的链接,再将这两个数据传递给控制器
（5） 控制器得到解析出来的数据之后，将新的链接传递给管理器,将价值数据传递给数据输出器输出
（6） 数据输出器以文本的形式输出传递进来的数据。
（7） 回到第一步，循环

控制模块详细设计
爬虫控制器主要负责调度各个模块，所以在设计的时候只需要一次调用其他模块的方法，给对应的模块传递数据即可.比较简单，可参见附录查看源码。
爬虫模块详细设计
管理器设计
管理器主要管理待抓取的集合和已抓取的集合。管理器设计的难点在于：防止重复抓取，防止循环抓取.
判断是否还有待爬取
添加新到待爬取集合中

获取待爬取
管理器

将从待爬取集合移动端已爬取集合
判断待添加是否在容器中

常用的管理器存储方式有三种，一是使用内存即集合来存储，二是使用数据库，例如，三是使用缓存数据库，例如。因为这只是个简单的爬虫，所以我们选择利用内存存储。建立两个集合，一个为待爬取集合，一个为已爬取集合，功能上图所示。
网页下载器设计
网页下载器是将互联网上对应的网页下载到本地的工具。常用的网页下载器有两种，一个是自带的，一个是第三方包。这里我们选用的是，比较简单的网页下载工具，其中最简洁的下载网页的代码如下:

（）
如果请求码不是，则表示请求不成功。
典型的错误包括(页面无法找到），（请求禁止），（待验证的请求）
回应代码以“”开头的状态码表示服务器端发现自己出现错误，不能继续执行请求
（） ：
" ”
（）
网页解析器设计
网页解析器是从网页中提取有价值数据的工具。
价值数据

网页解析器

新列表
网页字符串

常用的解析器有四种,一是正则表达式，二是，三是，四是。这里我选用的是作为我的网页解析器，相对于正则表达式来说，使用来解析网页更为简单.将网页转化为树来解析，每一个节点是网页的每个标签，通过它提供的方法，你可以很容易的通过每个节点获取你想要的信息。使用方法如下：
创建对象
（， '', '’)
查找所有标签为的节点，且匹配正则表达式
('’, (”\"）)
查找所欲标签为的节点
（'', ””)
数据输出器详细设计
数据输出器是负责数据输出的工具。如果要输出的文件不存在，程序会自动创建，并且每次重写之前都会清空网页的内容。这里我选择的输出方式是文档,直接将数据分析器得到的数据存储在文件中。
调试与测试
调试过程中遇到的问题
（1） 爬取第一个页面之后没有新的页面
解决技术指导文件：根据子网页，选择合适的正则表达式

（）测试过程中某些网页中缺少标题或简介。
解决技术指导文件：往集合中添加数据的时候，判断一下是否为空，不为空再添加。

测试数据及结果显示
测试的结果以文档形式显示，生成的文档路径和代码路径一致、

课程设计心得与思想到
是一门面向对象的解释性语言（脚本语言）,这一类语言的特点就是不用编译，程序在运行的过程中，由对应的解释器向进行翻译，我理解就是一边编译一边执行。而这一类语言是需要预先编译的。没有编译最大的痛苦就是无法进行断点调试，唯一的办法就是在有疑问的地方打印各个变量的值来进行调试。这一类语言也没用类型,也就是说一个变量即可能是型，但是也可能是型，而且可以随时变化。     对于代码格式要求也相当严格，通过对于缩进的距离来判断代码是否处于同一个代码块。  也不依靠分号来决定一句代码是否结束,一行代码就是一句代码。这样做的好处在于代码编写看上去很统一，不过习惯了再看,一开始还真的有点懵。   总得来说，对的初涉感觉不错，这门语言相比较更加的简洁，这次的课设是初步接触，以后会自己深入学习.
参考文献
[］钱程，阳小兰,朱福喜等.基于的网络爬虫技术［].黑龙江科技信息,（).
［]戚利娜,刘建东.基于的简单网络爬虫的实现[］.电脑编程技巧与维护，(）。
［] 。
附录 网络爬虫程序设计代码

, , ,
（)：
初始化管理器，网页下载器，网页解析器和数据输出器
()：
()
（）
（)
（）
爬取网页
（, ):

向管理器添加新的
(）
()：
：
如果有新的，获取这个新的
(）
打印这是第几个爬取的
’ : ' (, ）
使用网页下载器下载这个网页的内容
（）
使用网页解析器解析这个网页的内容，分别为和数据
, （， ）
将解析器解析的 添加到管理器
（)
将解析器解析的数据传递给数据输器
()
爬取个数据后自动结束
:

：
()
’ ’
数据输出器将数据使用的方式输出
()
’'：
””
””
(）
（)

():
(）:
()
()
添加
（， ）：
：

：
（)
(， ）：
（） :

：
（)
():
（）
（):
(）
（)

（）：
（， )：
：

（)
如果请求码不是，则表示请求不成功。
典型的错误包括(页面无法找到），（请求禁止),（待验证的请求）
回应代码以“"开头的状态码表示服务器端发现自己出现错误，不能继续执行请求
() :
" "

（）

(）：
(, ， )：
：

（， ''， '’）
解析列表，获取
（, )
解析数据
（, ）

，
（， ， ）:
（)

(’'， （"\”)）
:
［’’］

（""）
（）

(， ， ):
｛｝

［''］
〈 "”〉<〉<〉
('’"")（’’）
[''］ （）
< ”” ””〉
(’'， "”)
这句话有可能出现空！!！
［'’］ ()
［'’]

():
（)：
建立列表存放数据
［］
收集数据
（, )：
:

（)
输出数据
(）:
(’', ’')
：
([’']"\")
([’'］（'’））
（[''］('')"\\”)
(）
附录 网络爬虫爬取的数据文档

[] 
（英国发音：ˈɪθə 美国发音:ˈɪθɑː）, 是一种面向对象的解释型计算机程序设计语言，由荷兰人 于年发明，第一个公开发行版发行于年。是纯粹的自由软件, 源代码和解释器遵循 （ ）协议[] 
。语法简洁清晰,特色之一是强制用空白符( ）作为语句缩进。具有丰富和强大的库。它常被昵称为胶水语言，能够把用其他语言制作的各种模块（尤其是)很轻松地联结在一起。常见的一种应用情形是，使用快速生成程序的原型（有时甚至是程序的最终界面），然后对其中［］ 
有特别要求的部分，用更合适的语言改写，比如游戏中的图形渲染模块，性能要求特别高，就可以用重写，而后封装为可以调用的扩展类库.需要注意的是在您使用扩展类库时可能需要考虑平台问题，某些可能不提供跨平台的实现。

编译器
简单讲,编译器就是将“一种语言(通常为高级语言）”翻译为“另一种语言（通常为低级语言）”的程序。一个现代编译器的主要工作流程：源代码 ( ） → 预处理器 () → 编译器 () → 目标代码 ( ） → 链接器 (） → 可执行程序 （）高级计算机语言便于人编写，阅读交流,维护。机器语言是计算机能直接解读、运行的。编译器将汇编或高级计算机语言源程序（ ）作为输入,翻译成目标语言( ）机器代码的等价程序.源代码一般为高级语言 （ ), 如、、、、汉语编程等或汇编语言,而目标则是机器语言的目标代码（ ），有时也称作机器代码（ ）。对于、等高级语言而言，此时编译器完成的功能是把源码（)编译成通用中间语言（）的字节码（）。最后运行的时候通过通用语言运行库的转换，编程最终可以被直接计算的机器码（）.

计算机程序设计语言
《计算机程序设计语言》是年月清华大学出版社出版的图书,作者是 . .[] 

预处理器
预处理器是在真正的编译开始之前由编译器调用的独立程序。预处理器可以删除注释、包含其他文件以及执行宏（宏是一段重复文字的简短描写）替代.

目标代码
目标代码（ ）指计算机科学中编译器或汇编器处理源代码后所生成的代码,它一般由机器代码或接近于机器语言的代码组成。

高级语言
高级语言( ）相对于机器语言( ，是一种指令集的体系。这种指令集,称机器码（ ），是电脑的可直接解读的数据）而言。是高度封装了的编程语言，与低级语言相对。它是以人类的日常语言为基础的一种编程语言，使用一般人易于接受的文字来表示（例如汉字、不规则英文或其他外语)，从而使程序编写员编写更容易,亦有较高的可读性，以方便对电脑认知较浅的人亦可以大概明白其内容。由于早期电脑业的发展主要在美国,因此一般的高级语言都是以英语为蓝本。在年代,当东亚地区开始使用电脑时，在日本、台湾及中国大陆都曾尝试开发用各自地方语言编写的高级语言，当中主要都是改编或专用于数据库数据访问的语言，但是随着编程者的外语能力提升，现时的有关开发很少.由于汇编语言依赖于硬件体系，且助记符量大难记，于是人们又发明了更加易用的所谓高级语言。在这种语言下，其语法和结构更类似汉字或者普通英文，且由于远离对硬件的直接操作,使得一般人经过学习之后都可以编程.高级语言通常按其基本类型、代系、实现方式、应用范围等分类。