基于协同过滤算法的智能岗位分析系统的设计与实现.pdf

第26卷第10期2023年10月软件工程 S O F T W A R E E N G I N E E R I N GVol.26 No.10Oct.2023文章编号:2096-1472(2023)10-0058-05DOI:10.19644/ki.issn2096-1472.2023.010.013收稿日期:2 0 2 3-0 2-2 0基于协同过滤算法的智能岗位分析系统的设计与实现陈 亮(大连东软信息学院,辽宁 大连 116023)摘 要:针对现有招聘网站种类繁多和求职者无法快速根据自身特点找到适合岗位等问题,基于大数据技术和协同过滤算法,设计和实现了一个智能岗位分析系统。利用P y t h o n爬虫技术、虚拟化技术、H a d o o p大数据平台及其生态组件进行数据处理,使用协同过滤算法进行智能分析,通过A x u r e R P和S u g a r B I工具对结果数据进行可视化展示。经试用,系统能够很好地满足求职者的分析需求,提高了求职者精准查询招聘信息的效率。关键词:岗位分析;智能推荐;数据仓库;可视化中图分类号:T P 3 1 1 文献标志码:AD e s i g n a n d I m p l e m e n t a t i o n o f I n t e l l i g e n t J o b A n a l y s i s S y s t e m B a s e d o n C o l l a b o r a t i v e F i l t e r i n g A l g o r i t h mCHEN Liang(Dalian Neusoft University of Information,Dalian 116023,China)A b s t r a c t:This paper proposes to design and implement an intelligent job analysis system based on big data technology and collaborative filtering algorithm to address the issues of a wide variety of existing recruitment websites and the inability of job seekers to quickly find suitable positions based on their own characteristics.Python crawler technology,virtualization technology,Hadoop big data platform and its ecological components are used for data processing,collaborative filtering algorithm is used for intelligent analysis,and the resulting data is visualized through Axure RP and Sugar BI tools.After trial,the proposed system can well meet the analysis needs of job seekers and improve the efficiency of job seekers to accurately query recruitment information.K e y w o r d s:job analysis;intelligent recommendation;data warehouse;visualization0引言(I n t r o d u c t i o n)据教育部公布的最新数据显示,2 0 2 2年高校应届毕业生人数再创新高,突破1 0 0 0万人,整体社会的就业压力依然巨大1。对于求职者来说,招聘网站是其获取求职信息的主要方式,目前市面上已有许多类型的招聘网站,这些网站会定期发布一些企业的招聘需求,但是这些招聘信息的数据量庞大,求职者想要在海量的招聘信息中找到适合自身需求的岗位十分困难,这些网站存在的一个普遍问题是只为企业发布招聘信息和求职者搜索招聘信息提供了一个平台,但是并不能给求职者提供高效、系统性的专业建议和指导,求职者在这些平台上也无法快速、准确的地获取自己需要的企业招聘信息。基于此,本文设计实现了一个基于协同过滤算法的智能岗位分析系统,旨在利用大数据和人工智能技术对海量的招聘信息数据进行智能分析和处理,不仅可以让求职者更加直观地了解目前的就第 26卷第 10期陈 亮:基于协同过滤算法的智能岗位分析系统的设计与实现业行情与需求,也可以让求职者更快速和便捷地获取适合自己的岗位需求信息。1系统数据架构(S y s t e m d a t a a r c h i t e c t u r e)智能岗位分析系统整体数据架构包括数据采集、数据存储、数据分析和数据可视化展示等部分。数据源主要来自主流招聘网站上公开的招聘信息,采集技术采用P y t h o n爬虫框架S c r a p y,原始数据存储在H a d o o p平台分布式文件系统H D F S上,通过H i v e进行数据查询和处理,得到的数据结果通过S q o o p导入M y S Q L数据库,通过机器学习领域的协同过滤算法进行智能化分析,最后通过可视化技术对结果数据进行展示。系统数据架构图如图1所示。图1 系统数据架构图F i g.1 S y s t e m d a t a a r c h i t e c t u r e d i a g r a m2系统设计(S y s t e m d e s i g n)2.1系统用例设计本系统主要包括两个角色,分别为管理员和普通用户。满足用户基本业务需求的用例是高层用例,这些用例包括用户基本操作和管理员基本操作。高层用例图如图2所示。图2 高层用例图F i g.2 H i g h-l e v e l u s e c a s e d i a g r a m2.2数据采集与清洗数据采集部分采用P y t h o n爬虫框架技术S c r a p y,获取主流招聘网站的招聘信息,作为整个系统的原始数据源。S c r a p y是开源快速的网络爬虫框架,可以从网站获取网页数据信息,并从页面中得到用户想要的数据,它的核心是S c r a p y e n g i n e爬虫引擎,通过S c h e d u l e r调度模块模拟发送H T T P请求、D o w n l o a d e r下载器模块接收并生成页面响应,S p i d e r爬虫程序模块迭代提取网页中的数据内容,I t e m P i p e l i n e数据管道模块对获得的数据进行持久化的存储2。S c r a p y爬虫框架如图3所示。图3 S c r a p y爬虫框架F i g.3 S c r a p y c r a w l e r f r a m e2.3数据平台搭建平台环境搭建采用虚拟化技术虚拟出三台L i n u x服务器构成集群,主机名分别设为s h i x u n 0 1、s h i x u n 0 2、s h i x u n 0 3。集群配置s h i x u n 0 1 C P U核心数为4,磁盘空间为5 0 G B,内存大小为8 G B;s h i x u n 0 2 C P U核心数为2,磁盘空间为5 0 G B,内存大小为4 G B;s h i x u n 0 3 C P U核心数为2,磁盘空间为5 0 G B,内存大小为4 G B3。在搭建好的数据平台上安装H a d o o p、M y S Q L、H i v e、S q o o p等软件工具。数据平台如图4所示。图4 数据平台F i g.4 D a t a p l a t f o r m2.4数据仓库建设与开发数据仓库使用H i v e技术进行建设。整体数据仓库架构分为原始数据层、基础数据层、明细数据层、聚合数据层和应用数据层。原始数据层接收采集的原始数据,基础数据层存储经过清洗后的原始数据,明细数据层根据业务场景将基础数据进行细化分类,聚合数据层根据业务主题和需求提前聚合相关统计数据,应用数据层根据需求存储用于产出可视化图表的应用结果数据。数据仓库架构图如图5所示。95软件工程2023年10月图5 数据仓库架构F i g.5 D a t a w a r e h o u s e a r c h i t e c t u r e2.5算法分析预测问题一直是机器学习领域中最重要的问题。很多算法包括回归算法、决策树算法等都是用来解决预测的常用算法。本系统预测算法采用经典的协同过滤算法,首先依据用户属性特征,找到具体相似兴趣的用户,其次根据用户评价矩阵以及对产品的评价结果构建协同过滤算法,进而预测其他未评分的项目或者用户,最后根据预测出的结果对用户进行推荐。该算法的基本操作步骤如下:利用已经拥有的用户行为历史数据,构造用户项目评分矩阵;通过相似度计算公式计算用户之间的相似度,将相似度较高的用户当作目标用户的近邻集;在进行评分预测后,按照T O P-N原则为用户进行推荐4。2.5.1构建用户项目评分矩阵构建用户项目评分矩阵Rm n,矩阵行中有m个用户,用U表示,U=U1,U2,Um,矩阵列中有n个项目,用I表示,I=i1,i2,in,Ri j表示用户i对项目j的实际评分,若用户i对项目j未评分,则Ri j为0,用户项目评分矩阵公式如下:Rm n=R1 1R1 2R1nR2 1R2 2R2nRm1Rm2Rm n(1)2.5.2用户评分相似度计算用户评分的相似度计算以用户项目评分矩阵为基础,用评分矩阵中的每一行的评分向量表示用户的实际兴趣。所以,计算用户评分的相似度实质上就是计算用户评分向量之间的距离5。传统的协同过滤算法中最常用的计算相似度的方法是皮尔逊相似度计算方法,其计算公式如下:s i m a,b =iT(Ra i-Ra)(Rb i-Rb)iT(Ra i-Ra)2iT(Rb i-Rb)2(2)在获取用户a和其他全部用户的相似度后,将相似度排名最高的前h个用户作为该用户的近邻集,应用评分预测公式得出最终的预测评分。评分预测公式如下6:Pa,j=Ra+bQs i m(a,b)(Rb,j-Rb)bQs i m(a,b)(3)本系统可以实现智能化求职者薪资预测功能,根据用户输入的条件和用户的浏览记录信息等数据,运用传统的协同过滤算法和皮尔逊相似度计算方法,计算出用户评分向量之间的距离,应用评分预测公式得出最终的预测评分,测算出匹配求职者条件和能力的薪资范围,并响应到前端模块。推荐流程图如图6所示。图6 推荐流程图F i g.6 F l o w c h a r t o f r e c o mm e n d a t i o n2.6数据的可视化展示可视化展示部分前端采用A x u r e R P工具,它是一种用来进行原型设计的专业工具,可以快速地创建网站原型和应用软件原型,同时可以定义需求和规格,生成网站和应用软件规格说明文档7。网站内的分析图采用第三方可视化工具S u g a r B I,S u g a r B I基于百度E c h a r t s,能提供丰富的图表组件,开箱即用、零代码操作、不需要S Q L,降低开发成本的同时,还能提高业务对数据的使用效率8。S u g a r B I支持多种方式对接数据源,如直连数据库、上传E x c e l/C S V文件、A P I接口、静态J S O N录入等9。3系统实现(S y s t e m i m p l e m e n t a t i o n)3.1首页展示用户进入系统首页,可以进行注册和登录,首页显示可视化展示系统、智能招聘系统和需求分析系统等功能入口。系统首页如图7所示。图7 系统首页F i g.7 S y s t e m h o m e p a g e3.2数据概况界面点击进入数据概况界面,界面显示的信息包含公司全称、公司简称、公司规模、融资阶段、区域、职位名称、工作经验、学历要求、薪资、职位福利、经营范围、职位类型。界面上方包含查询功能和搜索功能,用户能更清晰、直观地找到适合的职位。数据概况界面如图8所示。06第 26卷第 10期陈 亮:基于协同过滤算法的智能岗位分析系统的设计与实现图8 数据概况界面F i g.8 D a t a o v e r v i e w i n t e r f a c e3.3可视化模块为了能让用户更好地分析自己的能力和找到合适的岗位需求信息,系统通过文字云图、柱状图、饼状图、漏斗图、矩形数形图等形式分别对企业发布的薪资情况、企业情况、公司规模分布、学历和工作经验分布等进行了详细的可视化展示。企业发布的薪资概况界面如图9所示。图9 薪资概况界面F i g.9 S a l a r y o v e r v i e w i n t e r f a c e企业概况界面如图1 0所示。图1 0 企业概况界面F i g.1 0 E n t e r p r i s e o v e r v i e w i n t e r f a c e3.4智能化模块目前,系统的智能化模块已完成用户薪资预测功能,用户输入相关信息后,系统就能根据算法模型预测其最低薪资标准,并在前端进行展示。薪资预测功能如图1 1所示。图1 1 薪资预测功能F i g.1 1 S a l a r y f o r e c a s t i n g f u n c t i o n3.5关键技术难点用户评分矩阵对于协同过滤算法来说,是十分重要的概念,主要作用是计算项目间或用户间的相似度,用户评分矩阵的稀疏程度对预测结果有明显的影响。如果用户评分矩阵特别稀疏,整体的预测和推荐的质量会大幅下降,所以如何解决用户评分矩阵的稀疏性,是提高协同过滤算法预测和推荐质量的核心。皮尔逊相似度的计算方法在计算的过程中不会使用缺失数据,所以本文使用皮尔逊相似度计算时不用考虑数据稀缺的问题,而是需要着重考虑共同评分项数目不同的问题,可以使用预测数据填充的方法解决未知评分的问题,具体方法如图1 2所示1 0。图1 2 改进的算法过程F i g.1 2 I m p r o v e d a l g o r i t h m p r o c e s s4结论(C o n c l u s i o n)本系统围绕招聘系统无法聚焦和智能分析的问题,设计了一个集招聘信息可视化展示和智能分析于一体的系统。该系统包括数据采集、数据清洗、平台搭建、数据仓库建设、智能分析以及可视化展示等部分;系统通过P y t h o n爬虫技术获取主流招聘网站的数据作为原始数据源,通过虚拟化技术和L i n u x操作系统搭建H a d o o p大数据平台,通过H i v e技术进行数据仓库建设和数据处理,将得到的结果数据通过S q o o p导入M y S Q L数据库,通过协同过滤算法进行智能分析,通过A x u r e R P和S u g a r B I对结果数据进行可视化展示,可视化展示可以帮助用户清晰直观地看到供需关系,用户点击智能招聘系统,可以按照其所在城市、掌握的技术、工作年限等条件,快速找到符合自己需求的招聘信息,为广大求职者提供了一个方便、准确、快捷的智能岗位分析平台。16软件工程2023年10月目前,系统智能化部分采用的协同过滤算法是经典传统的算法,虽然在解决未知评分的问题上做了相应优化,但是预测评分和精度方面还有待提升,后续会尝试采用更多的协同过滤改进算法进行持续迭代,提高算法的精度。同时,会开发更多的智能化功能,不断满足求职者对招聘信息数据分析方面的需求。参考文献(R e f e r e n c e s)1 叶雨婷.名校毕业生去哪儿就业?J.现代青年,2 0 2 2(3):3 8-4 0.2 杜鹏辉,仇继扬,彭书涛,等.基于S c r a p y的网络爬虫的设计与实现J.电子设计工程,2 0 1 9,2 7(2 2):1 2 0-1 2 3,1 3 2.3 蔡春花,黄思远,高继梅.基于H a d o o p的学习行为数据云存储平台的设计与实现J.软件工程,2 0 2 2,2 5(1 0):5 0-5 3,4 9.4 F A N G J,L I B C,G A O M X.C o l l a b o r a t i v e f i l t e r i n g r e c o m-m e n d a t i o n a l g o r i t h m b a s e d o n d e e p n e u r a l n e t w o r k f u s i o nJ.I n t e r n a t i o n a l J o u r n a l o f S e n s o r N e t w o r k s,2 0 2 0,3 4(2):7 1.5 WU Y T,Z HA N G X M,Y U H,e t a l.C o l l a b o r a t i v e f i l t e-r i n g r e c o mm e n d a t i o n a l g o r i t h m b a s e d o n u s e r f u z z y s i m i-l a r i t yJ.I n t e l l i g e n t D a t a A n a l y s i s,2 0 1 7,2 1(2):3 1 1-3 2 7.6 王英博,韩国淼,王铭泽.基于子空间聚类的协同过滤推荐算法J.计算机工程与应用,2 0 2 2,5 8(3):1 2 7-1 3 4.7 金泓.基于情境学习理论的计算机软件学习研究:以A x-u r e R P快速原型设计工具为例J.软件导刊(教育技术),2 0 1 7,1 6(5):1 8-1 9.8 王子毅,张春海.基于E C h a r t s的数据可视化分析组件设计实现J.微型机与应用,2 0 1 6,3 5(1 4):4 6-4 8,5 1.9 百度.数据可视化S u g e r B IE B/O L.(2 0 1 8-0 4-1 2)2 0 2 2-1 2-1 5.h t t p s:/c l o u d.b a i d u.c o m/p r o d u c t/s u g a r.h t m l.1 0 王根龙.基于用户可信度的抗攻击协同过滤算法的研究与应用D.重庆:重庆大学,2 0 1 4.作者简介:陈 亮(1 9 8 7-),男,硕士,讲师。研究领域:大数据处理与分析。(上接第1 4页)4结论(C o n c l u s i o n)为解决溢油检测过程中油膜标签数据较少的问题,本文采用m RMR提取油膜标签的有效特征,然后在半监督决策树学习模型中引入自适应置信度,采用基于模糊聚类的方法衡量样本预测的置信程度,最终获得具有较好泛化能力的分类器。在不同的标签样本比例下分别进行分类实验的结果表明,采用自适应置信度的半监督决策树模型能够有效地提高油膜识别准确率;在标签样本比例较低时,模型的提升效果更为明显。参考文献(R e f e r e n c e s)1 D E L P E C H E-E L L MA N N N C,S O OM E R E T.I n v e s t i g a-t i n g t h e M a r i n e P r o t e c t e d A r e a s m o s t a t r i s k o f c u r r e n t-d r i v e n p o l l u t i o n i n t h e G u l f o f F i n l a n d,t h e B a l t i c S e a,u s i n g a L a g r a n g e t r a n s p o r t m o d e lJ.M a r i n e P o l l u t i o n B u l l e t i n,2 0 1 3,6 7(1/2):1 2 1-1 2 9.2 A L-R U Z O U Q R,G I B R I L M B A,S H A N A B L E H A,e t a l.S e n s o r s,f e a t u r e s,a n d m a c h i n e l e a r n i n g f o r o i l s p i l l d e t e c-t i o n a n d m o n i t o r i n g:a r e v i e wJ.R e m o t e S e n s i n g,2 0 2 0,1 2(2 0):3 3 3 8.3 A L V E S T M,K O K I N O U E,Z O D I A T I S G,e t a l.M u l t i d i s c i-p l i n a r y o i l s p i l l m o d e l i n g t o p r o t e c t c o a s t a l c o m m u n i t i e s a n d t h e e n v i r o n m e n t o f t h e E a s t e r n M e d i t e r r a n e a n S e aJ.S c i e n-t i f i c R e p o r t s,2 0 1 6,6:3 6 8 8 2.4 X U J,WA N G H X,C U I C,e t a l.O i l s p i l l m o n i t o r i n g o f s h i p b o r n e r a d a r i m a g e f e a t u r e s u s i n g S VM a n d l o c a l a d a p-t i v e t h r e s h o l dJ.A l g o r i t h m s,2 0 2 0,1 3(3):6 9.5 陈彦彤,李雨阳,吕石立,等.基于深度语义分割的多源遥感图像海面溢油监测J.光学精密工程,2 0 2 0,2 8(5):1 1 6 5-1 1 7 6.6 F I N G A S M,B R OWN C E.A r e v i e w o f o i l s p i l l r e m o t e s e n s i n gJ.S e n s o r s,2 0 1 7,1 8(1):9 1-9 8.7 X U J,J I A B Z,P A N X X,e t a l.H y d r o g r a p h i c d a t a i n-s p e c t i o n a n d d i s a s t e r m o n i t o r i n g u s i n g s h i p b o r n e r a d a r s m a l l r a n g e i m a g e s w i t h e l e c t r o n i c n a v i g a t i o n c h a r tJ.P e e r J C o m p u t e r S c i e n c e,2 0 2 0,6:e 2 9 0.8 S U N X F,L I N X G,S H E N S H.H i g h-r e s o l u t i o n r e m o t e s e n s i n g d a t a c l a s s i f i c a t i o n o v e r u r b a n a r e a s u s i n g r a n d o m f o r e s t e n s e m b l e a n d f u l l y c o n n e c t e d c o n d i t i o n a l r a n d o m f i e l dJ.I S P R S I n t e r n a t i o n a l J o u r n a l o f G e o-I n f o r m a t i o n,2 0 1 7,6(8):2 4 5.9 周慧,陈澎.利用最小冗余最大相关和S VM的S A R图像海上溢油识别J.电讯技术,2 0 1 8,5 8(8):8 9 5-8 9 9.1 0 T E M I T O P E Y E K E E N S,B A L O G U N A L,WA N Y U-S O F K B.A n o v e l d e e p l e a r n i n g i n s t a n c e s e g m e n t a t i o n m o d e l f o r a u t o m a t e d m a r i n e o i l s p i l l d e t e c t i o nJ.I S P R S J o u r n a l o f P h o t o g r a mm e t r y a n d R e m o t e S e n s i n g,2 0 2 0,1 6 7:1 9 0-2 0 0.作者简介:刘宏宇(2 0 0 2-),男,本科生。研究领域:大数据,人工智能。周 慧(1 9 8 3-),女,硕士,教授。研究领域:计算机视觉,深度学习。26