基于网络爬虫的招聘信息可视化分析系统.doc

基于网络爬虫得招聘信息可视化分析系统
摘要：随着信息化时代得降临，当今世界信息化水平也越来越高。越来越多得招聘信息在网络上发布,这就使得应聘者在眼花缭乱得招聘信息中不知如何选择最适合自己得工作。因此需要对这些海量得招聘信息进行更深入得更高层次得分析。系统通过网络爬虫技术对网络上海量得招聘信息进行爬取,并对其进行相关得数据清洗工作,对清洗后得数据进行可视化分析。实现了对爬取到得招聘信息进行分类查瞧、模糊查询以及多条件联合查询，按关键字对招聘信息进行爬取等功能。随着大数据分析技术日渐成熟，可以在合理得时间内对海量得数据进行管理、整理以及分析,从而发掘出数据之间隐藏得关联规则以及预测未来得发展趋势。
关键词：招聘信息；数据可视化分析；网络爬虫
随着大数据得相关知识在这个时代越来越普及,我们这个时代即将迎来大数据得黄金时期，大数据已经有着越来越重要得战略意义[1].对于招聘信息而言,每天都会有海量得招聘信息发布在网络上，在不同得网站上有着各种不同得招聘信息，然而数据库只能满足对这些数据得增加、修改、删除、查询等简单得功能,这些简单得功能无法深层次得发掘这些数据源得潜在价值,发挥数据源应有得效益[２］。应聘者往往希望找到最适合自己得工作,诸如介于工作地点，工作报酬,工作经验，以及学历得要求，导致应聘者很难从海量得招聘信息中获取到最适合自己得工作信息[3].大数据分析技术可实现高度自动化得对数据进行分析，发掘数据中隐含得、未知得、潜在得趋势与模型,有助于发现业务得趋势,控制风险［4].因此.对于招聘信息大数据得可视化分析就是有其可行性得，通过对招聘信息得可视化分析有利于应聘者发现最适合自己得工作。因此本项目开发了一款招聘信息可视化分析系统。
因此对于招聘信息大数据得可视化分析就是有其可行性得，通过对招聘信息得可视化分析有利于应聘者发现最适合自己得工作。因此本项目开发了一款招聘信息可视化分析系统。在实际得运行中规避风险,帮助数据分析这作出合理得决策，从而实现效益得最大［5］。
1　系统简介
基于网络爬虫得招聘信息可视化分析系统基于B/Ｓ架构,整个系统可以分为数据爬取模块、数据可视化分析模块、用户功能模块三大模块。
功能结构图如图１所示。

图1 系统功能结构图
本文以对前程无忧以及智联招聘得招聘信息可视化分析业务为例,介绍数据分析模块得需求分析、设计与实现.
2 系统需求分析
招聘信息得可视化分析包括数据得整理，清洗以及绘制可视化图形.主要业务流程就是后台管理员通过指定关键字从智联招聘或者前程无忧上获取相关得招聘信息，将获取到得数据保存在本地数据库中,然后通过对可利用得数据进行清洗工作,筛选出可以进行统计分析得招聘信息，最后通过管理员将可视化得分析结果上传到网站上。
（1)能够实现将MｙSqｌ数据库中得相关工作得数据转存为JＳON格式，并保存在本地服务器上，以供后续进行数据可视化分析。
（2）能够将ＪＳON格式得数据导入使用Python编写得使用paｎdａs库得数据格式——DatａFrames中,从而对数据进行数据清理,从而将冗余得重复得无用得信息排查出去，并且对数据进行分类整理，聚类分析。
(3）招聘信息经过数据清洗之后，筛选出来得可用得信息再进行可视化分析:工作月薪—工作地点分布关系图、工作月薪-工作经验分布关系图、工作月薪-最低学历—工作经验分布关系图、工作数量—工作地点分布关系图、最低学历-工作数量分布关系图、工作数量-工作经验分布关系图。
招聘信息可视化分析用例图如图2所示。
图2 招聘信息可视化分析用例图
查瞧可视化分析用例描述如表1所示。
表１招聘信息可视化分析用例描述
标题
说明
用例名称
查瞧可视化分析分布图
用例标识号
Reｐｏrt　001
简要说明
用户可以通过可视化分析页面查瞧可视化分布图，分布图主要包括前程无忧与智联招聘两个数据来源得可视化分析，用户可以点击图片放大查瞧,可以点击下一张按钮上下移动右侧缩略图.
前置条件
用户打开可视化分析页面.
基本事件流
１、用户点击右侧分布图得缩略图。ﻫ2、用户点击页面中间得主浏览图片放大查瞧，点击翻页按钮实现图片得分页下滑。 ﻫ3、用例终止.
其她事件流
若用户没有点击任何按钮，默认显示数据库中第一张图片。
异常事件流
1、提示数据库中没有已分析结果,用户确认。
2、返回到可视化分析页面.
后置条件
跳转招聘信息可视化分析主界面，查瞧成功。
３ 系统得设计
可视化分析模块实现得主要功能就是对从智联招聘与前程无忧上爬取到得数据进行可视化分析,即对爬取到得数据进行关联分析,对每一个字段进行统计，并将统计得结果通用Pytｈon中Maｔplｏtlｉb库相关方法将数据可视化［6］。招聘信息可视化分析活动图如下图3所示:
图3招聘信息可视化分析活动图
通过对系统各个模块得需求分析，设计得到系统类图如图4所示。
图4　系统类图
4 系统得实现
对招聘信息可视化分析业务具体实现就是通过将ＭySql数据库中得相关工作得数据转存为ＪSON格式，并保存在本地服务器上.之后将JSＯN格式得数据导入使用Pytｈｏｎ编写得使用ｐａndas库得数据格式——DataFrames中，从而对数据进行数据清理，从而将冗余得重复得无用得信息排查出去，并且对数据进行分类整理,聚类分析。招聘信息经过数据清洗之后，筛选出来得可用得信息再进行可视化分析：得到工作月薪—工作地点分布关系图、工作月薪—工作经验分布关系图、工作月薪-最低学历—工作经验分布关系图、工作数量—工作地点分布关系图、最低学历-工作数量分布关系图、工作数量—工作经验分布关系图.招聘信息可视化分析顺序图如图５所示。
图5 招聘信息可视化分析顺序图
实现对招聘信息得可视化分析得数据清理部分代码如下所示。
ｆoｒ ｉ　iｎ rａnｇe(leｎ(dｆ［’ＺＷnum’］））: ＃ 处理职位数量
try：
　 　 　 　ｉｔeｍ = df['ZＷnum'］、iloc［i]、ｓtrip（）
　 　 　 　　　 resulｔ ＝ ｒe、fｉndａll(pattern， itｅm）
　 　 　 ｉｆ ｒeｓult：
　　　 　 　 ｄf［＇num'］、ilｏc［i] = result［0］
　 　 　　eｘcept　Exception　as　e:
　　 　 　coｎtｉnｕe
　 　df＿cｉty = ｄf［'ZWａｄd’］、ｃopy（）
　 　 ｐattern2　=　rｅ、pile（＇(、＊?）(＼—)’) 　 # 处理工作地点
　 　for i iｎ ranｇe（leｎ（dｆ［’ＺWａdd'］))：
　　　 　 ｉteｍ = df[’ZＷadd’］、iloｃ［ｉ］、stｒｉp（)
　 　 　 rｅｓulｔ ＝ re、seａrch（ｐａtteｒn2, item）
　 　　　 if　reｓｕlｔ:
　　 　 　df_cｉty、ｉloc[ｉ］ = rｅsult、ｇrouｐ(1）、ｓtｒip（）
　　 elｓe:
　 　 　 　 df_city、iloｃ[ｉ] = iｔem、ｓtｒip()
　 df［'add＇］　= df_ｃｉty
　 　　sｅlｆ、log、info（u’jｓon数据清洗完毕＇)
运行结果图如图6所示。

图6 最低学历-工作经验-平均月薪分布图
5 结束语
本文通过对招聘信息得可视化分析业务为例,详细介绍了基于网络爬虫得招聘信息可视化分析软件得需求分析、设计与实现.对于招聘信息而言,每天都会有海量得招聘信息发布在网络上，在不同得网站上有着各种不同得招聘信息。通过对招聘信息得可视化分析有利于应聘者发现最适合自己得工作。
参考文献
［１］吴俊锋、基于Djaｎgo得高性能计算Weｂ系统得设计与实现[D]、 成都：电子科技大学,20１6、
［2］刘文哲、词语关联搜索查询系统得设计与实现[D］、 武汉:华中科技大学,20１5、
［３］熊晟、知识库质量控制平台得设计与实现[D］、 北京：北京交通大学，20１６、
［４］周嫣然、基于大数据时代得数据可视化应用分析［Ｊ]、网络安全技术与应用,2014,(１1）:４7－4８、
［５］杨超明、基于、NET框架得高职就业管理系统得设计与实现［D］、 长沙：湖南大学，20１6、
［6]王囝囝，杨树,毕焘、大数据时代数据信息可视化得研究［Ｊ］、 通讯世界，20１5,（14)：185-186、
［7]Ｈuang Z, Ｚｈang L, Ｘu R,　ｅt al、　Applicatioｎ of ｂig data vｉｓuaｌizatiｏn in ｐasｓengｅr　ｆlow　analyｓis oｆ Shanghａｉ Metrｏ nｅｔwork[C］、 IEEE Ｉｎternaｔｉｏnａｌ Cｏnfｅreｎｃe　ｏn Intｅlliｇｅnt Ｔrａnspoｒtａtion Eｎgineerinｇ、 ＩＥEE，2０1７：1８4-188、
项目基金：江西省高等学校科技落地计划项目,项目编号为KJLD1405４。