融合用户特征和流行度归一化的金融产品混合推荐算法.pdf

收稿日期:基金项目:国家自然科学基金项目();吉林省科技厅自然科学基金资助项目(J C)作者简介:王珺(),女,汉 族,吉 林 长 春 人,长 春 工 业 大 学 教 授,博 士 生 导 师,主 要 从 事 金 融 数 学 方 向 研 究,E m a i l:w a n g j u n c c u t e d u c n 通信作者:胡荣婕(),女,汉族,安徽宣城人,长春工业大学硕士研究生,主要从事金融、经济统计和风险管理方向研究,E m a i l:s t u c c u t e d u c n 第 卷 第期 长 春 工 业 大 学 学 报 V o l N o 年 月 J o u r n a l o fC h a n g c h u nU n i v e r s i t yo fT e c h n o l o g y A p r D O I:/j c n k i c n /t 融合用户特征和流行度归一化的金融产品混合推荐算法王珺,胡荣婕(长春工业大学 数学与统计学院,吉林 长春 )摘要:混合推荐通过组合不同推荐算法来弥补各自推荐技术的弱点.在传统金融产品推荐算法的基础上,提出融合用户特征和流行度归一化的金融产品混合推荐算法(C P C F).在S a n t a n d e r银行客户数据上进行实验,将基于人口统计学的推荐算法与协同过滤推荐算法进行组合,在此基础上,引入流行度权重因子,将流行度归一化处理.实证结果表明,在P r e c i s i o n和R e c a l l上均有提升,适合用户信息容易采集且用户数量级远超过项目数量级的金融理财产品推荐场景.关键词:协同过滤;人口统计特征;流行度归一化;混合推荐中图分类号:T P 文献标志码:A文章编号:()H y b r i dr e c o m m e n d a t i o na l g o r i t h mf o r f i n a n c i a l p r o d u c t s t h a ti n t e g r a t e su s e r c h a r a c t e r i s t i c sa n dp o p u l a r i t yn o r m a l i z a t i o nWANGJ u n,HUR o n g j i e(S c h o o l o fM a t h e m a t i c s&S t a t i s t i c s,C h a n g c h u nU n i v e r s i t yo fT e c h n o l o g y,C h a n g c h u n ,C h i n a)A b s t r a c t:H y b r i d r e c o mm e n d a t i o nc o m p e n s a t e s f o r t h ew e a k n e s s e s o f t h e i r r e s p e c t i v e r e c o mm e n d a t i o nt e c h n i q u e sb yc o m b i n i n gd i f f e r e n t r e c o mm e n d a t i o na l g o r i t h m s O n t h eb a s i so f t h e t r a d i t i o n a l f i n a n c i a lp r o d u c tr e c o mm e n d a t i o na l g o r i t h m,af i n a n c i a lp r o d u c th y b r i dr e c o mm e n d a t i o na l g o r i t h m(C P C F)t h a t i n t e g r a t e su s e rc h a r a c t e r i s t i c sa n dp o p u l a r i t yn o r m a l i z a t i o ni sp r o p o s e d I nt h ee x p e r i m e n to nS a n t a n d e r B a n k s c u s t o m e r d a t a,t h e d e m o g r a p h i c b a s e d r e c o mm e n d a t i o n a l g o r i t h m a n d t h ec o l l a b o r a t i v ef i l t e r i n gr e c o mm e n d a t i o na l g o r i t h m a r ec o m b i n e d,a n do nt h i sb a s i s,t h ep o p u l a r i t yw e i g h t f a c t o r i s i n t r o d u c e d t on o r m a l i z e t h ep o p u l a r i t y T h e e m p i r i c a l r e s u l t s s h o wt h a tb o t hp r e c i s i o na n dr e c a l l h a v e b e e n i m p r o v e d,w h i c h i s s u i t a b l e f o r f i n a n c i a l w e a l t h m a n a g e m e n t p r o d u c tr e c o mm e n d a t i o ns c e n a r i o sw h e r eu s e r i n f o r m a t i o n i se a s yt oc o l l e c t a n dt h eo r d e ro fu s e r s f a re x c e e d st h eo r d e ro fm a g n i t u d eo f t h ep r o j e c t K e yw o r d s:c o l l a b o r a t i v ef i l t e r i n g;d e m o g r a p h i cc h a r a c t e r i s t i c s;p o p u l a r i t yn o r m a l i z a t i o n;h y b r i dr e c o mm e n d a t i o n 引言协同过滤推荐算法是最早被研究和讨论的推荐技术 之 一,有 效 地 推 动 了 推 荐 技 术 的 发 展.G o l d b e r gD等利用传统的协同过滤技术解决了垃圾邮件分类问题;亚马逊(Am a z o n)是目前较大的网络购物平台之一,主要利用协同过滤算法为用户推荐商品;N e t f l i x在其主页上也使用协同过滤算法为用户推荐喜爱的电视节目.协同过滤推荐技术在互联网行业的应用屡见不鲜.目前推荐技术被应用于多个领域,包括电影、音乐、图书、旅游等.随着互联网金融的迅速发展,用户在大量互联网理财产品中甄别和选择合适的理财产品比以往困难,对金融产品推荐技术的研究不可或缺.王芮莹尝试对理财产品的特征分析、提取主要成分,对互联网金融理财产品进行多粒度建模推荐;周莹尝试对理财产品的用户行为进行分析,以此向用户推荐理财产品,而国外学者M a r t i n h oL等也试图将理财投资报价与潜在借款人的贷款要求相结合,优化借贷组合问题.由此说明,国内学者也投入到对互联网金融理财产品的智能推荐技术研究领域.当前股票是金融推荐系统中最常见的投资类型.Y u j u nY等 提出一种基于大订单净流入的股票推荐算法,他们制定了一种模糊方法来推荐由类似用户选择的股票.T a g h a v iM等 提出一个经典的股票排名推荐系统,在此研究中,他们将 混 合 技 术 与 各 种 信 息 收 集 代 理 相 结 合.C P C F推荐算法是针对所有的金融产品进行推荐.通过与其他行业对比,总结出金融理财行业的两个特点是C P C F算法实现的先决条件:)新用户倾向于购买热门理财产品.各种营销广告的出现,使得用户在大量互联网理财产品中甄别和选择合适的理财产品比以往困难,那些对金融理财产品不太了解的客户,更容易追求热门理财产品,大量优质却冷门的理财产品无人问津.)在购买理财产品前,为了解用户投资或承担风险的能力,都要求进行风险测评.用户的风险测评问卷信息包括:个人财务状况、是否有投资经历、个人投资占总资产比例、投资目的等信息.这些信息可以为新用户推荐时提供一些依据.C P C F算法主要从购买的用户出发,综合考虑用户特征和用户行为.提出一种适用于金融理财产品的混合推荐模型:融合用户特征和流行度归一化的混合推荐算法.C P C F将基于人口统计学的推荐算法与协同过滤推荐算法进行组合,在此基础上,引入流行度权重因子,将流行度归一化处理.提出的混合算法能减小热门产品对推荐性能的影响,结合用户的人口统计学信息,也能缓解推荐系统中的冷启动问题.协同过滤框架协同过滤是指用户基于他们相似的兴趣而对其他用户的过去偏好.两者之间的相似度是通过每个用户过去在该项目上的得分来计算,该分数用于计算用户之间的相似度.协同过滤可分为基于用户的协同过滤和基于项目的协同过滤,主要框架如图所示.推荐算法是推荐系统的核心部分,其中协同过滤技术是目前研究最多的,也是应用最为广泛的个性化推荐技术.C F算法最大的优点是避开了对推荐内容的处理,因此不需要领域知识就可产生推荐,但算法基于用户的历史行为进行推荐,会产生用户和产品冷启动问题.实现C F步骤大体分为四步:)用户偏好信息输入.该信息主要是以用户项目(u s e r i t e m)评分矩阵形式表示.)最近邻搜索.选择合适的相似度计算公式找出用户的最近邻居.)预测评分.根据最近邻居对项目的评分进行加权处理,并预测出用户对未评分项目的评分.)T o p N推荐.依据)产生的评分依次选出前N个项目输出,并推荐给用户.长 春 工 业 大 学 学 报 第 卷图协同过滤算法的主要框架融合用户特征和流行度归一化的混合推荐算法流行度归一化相似度计算是协同过滤算法的关键.对于相似度的 计 算,现 有 的 基 本 方 法 都 是 基 于 向 量的 .实际上,两个向量之间的距离是计算出来的,距离越近,相似度越大.在推荐场景的二维用户物品偏好矩阵中,研究者可以使用用户对所有物品的偏好作为向量来计算用户之间的相似度,也可以使用所有用户对某一物品的偏好作为向量来计算物品之间的相似度.在推荐系统中,计算两个用户之间的相似度主要有四种方法:余弦相似度(c o ss i m i l a r i t y)、调整余弦相似度(a d j u s t e dc o ss i m i l a r i t y)、皮尔逊相似 度(p e a r s o ns i m i l a r i t y)和 杰 卡 德(J a c c a r ds i m i l a r i t y)相似度.文中使用p e a r s o n相似度来计算任意两个用户之间的共同评级项,用户特征相似度使用余弦相似度计算.p e a r s o n相似性为S i mu s e r(u,v)iI(Ru,iRu)(Rv,iRv)iI(Ru,iRu)iI(Rv,iRv),()式中:Ru,i,Rv,i分别表示用户u和v对第i项的评分;Ru,Rv分别代表用户u和v的所有评级的平均值.皮尔逊相似度函数对所有项目一视同仁.正如我们之前所提到的,用户对评价物品的行为会根据物品的受欢迎程度而产生偏差.因此,在皮尔逊函数中引入热销权重,对流行度归一化处理.第i项的权重计算为i l o g|N(u)|N(i)|,()式中:i第i个产品的权重;N(u)系统中所有用户的集合;N(i)购买过产品的用户集合.当N(u)一定时,N(i)值越大,i值越小.换言之,当i越大时,就能提高对冷门产品的权重,增加推荐的多样性.根据以上描述,改进后的相似度计算公式为S i mu s e r(u,v)iI(Ru,iiRu)(Rv,iiRv)iI(Ru,iiRu)iI(Rv,iiRv).()从这个改进的版本可以清楚地看到,不同受欢迎度的条目在相似度计算中所起的作用是不同的,受欢迎度较低的条目影响会大于受欢迎的条目.融合用户特征的混合算法混合推荐(H y b r i dR e c o mm e n d a t i o n)通过组合不同推荐系统来弥补各自推荐技术的弱点,从而达到更好的推荐效果 .采用加权融合方式将基于用户的协同过滤和基于人口统计学的推荐进行混合.其中,基于人口统计学的推荐机制(D e m o g r a p h i c b a s e dR e c o mm e n d a t i o n)是一种最易于实现的推荐方法,它只是简单地根据系统用户的基本信息发现用户的相关程度,然后将相似用户喜爱的其他物品推荐给当前用户,充分运用了用户的特征.使用个系数对两种推荐技术计算的评分进行加权,混合推荐算法的预测评分为第期王珺,等:融合用户特征和流行度归一化的金融产品混合推荐算法Pp r e Pc fPd e m,()式中:Pc f基于用户协同过滤算法的预测评分;Pd e m基于人口统计学推荐算法的预测评分.与此同时,和是通过优化算法计算出来的,且满足,()Pc fRu vS(u,K)N(i)S i mu s e r(u,v)(Rv,iRv)vS(u,K)N(i)|S i mu s e r(u,v)|,()Pd e mRu vS(u,K)N(i)S i mc h a r(u,v)(Rv,iRv)vS(u,K)N(i)|S i mc h a r(u,v)|,()式中:Rv,i用户u对未知项目i的预测评级;S(u,K)与用户u最相似的K个用户的集合;N(i)对第i项进行评级的用户集合.S i mc h a r(u,v)用户u和v的相似度,S i mc h a r(u,v)d i s(u,v)(uivi),()式中:d i s(u,v)用户u和v的距离公式.实验及结果数据源实证数据来源于S a n t a n d e r银行的客户数据.S a n t a n d e r银行是欧洲第二大银行,同时也是西班牙最大的银行,因此该银行每月都会产生大量客户行为数据,也会不断扩展新的金融产品.S a n t a n d e r银行发布的客户数据有个:训练集(t r a i n_v e r c s v)和测试集(t e s t_v e r c s v),划分标准是用户的行为时间节点,具体数据分布情况整理见表.表训练集和测试集的数据分布指标训练集测试集客户数量 时间范围 年月 年月 年月特征数量 描述 个客户在 个月(年月 年月)的用户行为数据,前 个变量描述客户的特征,包括性别、职业等,后 个变量是银行的金融产品 个客户在 年月这个月的用户行为数据,个变量是银行的金融产品评价指标采用准确率和召回率个指标作为推荐系统的评价标准.准确率(P r e c i s i o n)通过计算预测偏好与实际偏好相等的数量占整个测试集推荐商品个数的比值衡量推荐的准确度为PR(u)T(u)R(u).召回率(R e c a l l)预测正确的偏好数量占被推荐商品个数比值的召回率为RR(u)T(u)T(u).结果组合系数对推荐精度的影响混合推荐模型通常是几种推荐算法的组合,组合权重也会影响推荐结果的好坏.为确定最佳的组合权重参数,使用优化算法寻找使得混合推荐模型预测精度最高的参数.根据式(),第个参数可以根据确定,产生的组合参数和预测精度的关系如图所示.长 春 工 业 大 学 学 报 第 卷图和预测精度的关系图中数 据 显 示,在 不 同 的 组 合 参 数 下,C P C F预测精度不同,组合系数对推荐效果有影响.计算结果表明,当 时,混合推荐算法的预测精度达到最高.具体来说,当时,文中提出的混合推荐算法就是基于用户的协同过滤算法,不考虑用户的人口统计信息,只关注用户对金融理财产品的交互;反之,当,算法是基于人口统计学的用户过滤算法,根据统计学特征交叉寻找相似用户.图像结果证明,一种推荐算法的预测精度是最差的,当(,)的任意一种状况,推荐算法的预测精度都会显著提升.算法对比结果不同算法的性能表现如图所示.(a)准确率(b)召回率图不同算法的性能表现银行金融产品混合推荐算法考虑了热门物品和冷门物品对相似度计算的影响,引入了产品流行度以获得性能更好的推荐.为此对比了相似度改进前后模型的推荐性能表现,分别计算了D F、C F一种推荐算法及C P C F混合推荐算法的推荐性能,同时对引入产品流行度前后单一算法的评价结果进行简单的平均,推荐模型的评价指标见,不同算法的性能表现整理结果见表.根据表和图的结果,没有引入基于产品流行度时使用一种推荐算法,C F算法在准确率上表现更好,D F算法在召回率上表现更佳,比C F高 .值得注意的是,相似度的改进使得D F在两个评价指标上都有大幅度提升,甚至推荐性能超过C F,这是因为D F算法本身更关注用户的人口统计信息.在此基础上,基于产品流行度的相似度改进,考虑了热门物品和冷门物品对相似度计算的影响,由此综合了用户和产品两者的信息,可以提升推荐表现性能.表不同算法的性能表现指标模型准确率召回率流行度归一化前D F C F 流行度归一化后P D F P C F 混合推荐C P C F 针对表的混合算法与相似度优化前后算法的性能对比情况:第一,提出的C P C F算法在准确率和召回率两个层面的效果都优于性能表现最好的单一算法;第二,引入流行度后的推荐算法比引第期王珺,等:融合用户特征和流行度归一化的金融产品混合推荐算法入流行度前的推荐算法表现更佳.具体来说,一方面优化后D F在准确率和召回率上分别提升 和,另一方面优化后的C F在准确率和召回率上分别提升 和.结语混合推荐算法是各种推荐算法的组合,可以让不同的推荐算法相互弥补不足,能有效地缓解数据稀疏的问题.提出融合用户特征和流行度归一化的金融产品混合推荐算法主要从购买的用户出发,将基于人口统计特征的推荐和协同过滤推荐结合,同时引入权重因子,对相似度进行改进.根据S a n t a n d e r银行提供的用户金融理财产品交易数据进行验证.结果表明,C P C F在准确率和召回率上均有提升,对金融产品推荐算法的研究具有现实意义.参考文献:G o l d b e r gD,N i c h o l sD,O k iBM,e t a l U s i n gc o l l a b o r a t i v e f i l t e r i n gt ow e a v ea n i n f o r m a t i o nt a p e s t r yJ C o mm u n i c a t i o n so ft h eA CM,():L i n d e nG,S m i t hB,Y o r kJ Am a z o n c o mr e c o m m e n d a t i o n s:I t e m t o i t e mc o l l a b o r a t i v e f i l t e r i n gJI E E EI n t e r n e tC o m p u t i n g,():P a v i t h aN,P u n g l i y aV,R a u tA,e ta l M o v i er e c o mm e n d a t i o na n ds e n t i m e n ta n a l y s i su s i n gm a c h i n el e a r n i n gJ G l o b a lT r a n s i t i o n sP r o c e e d i n g s,():S a s s i IB,Y a h i aSB,L i i v I MOR e c:A t t h ec r o s s r o a d so fc o n t e x t a w a r ea n d m u l t i c r i t e r i ad e c i s i o nm a k i n gf o ro n l i n e m u s i cr e c o mm e n d a t i o nJ E x p e r tS y s t e m sw i t hA p p l i c a t i o n s,:I f a d aN,S y a c h r u d i nI,S o p h a nM K,e ta l E n h a n c i n gt h ep e r f o r m a n c eo fl i b r a r yb o o kr e c o mm e n d a t i o ns y s t e mb ye m p l o y i n gt h ep r o b a b i l i s t i c k e y w o r dm o d e l o nac o l l a b o r a t i v e f i l t e r i n ga p p r o a c hJ P r o c e d i aC o m p u t e rS c i e n c e,:A b b a s i M o u dZ,H o s s e i n a b a d iS,K e l a r e s t a g h iM,e t a l C A F O B:C o n t e x t a w a r ef u z z y o n t o l o g y b a s e dt o u r i s mr e c o mm e n d a t i o ns y s t e mJ E x p e r tS y s t e m sw i t hA p p l i c a t i o n s,:王芮莹互联网金融理财产品多粒度推荐模型研究D重庆:重庆工商大学,周莹基于证券理财产品用户行为分析的个性化推荐研究D成都:电子科技大学,M a r t i n h oL,R e i sL PW e bp o r t a lf o rm a t c h i n gl o a nr e q u e s t sa n di n v e s t m e n to f f e r s i np e e r t o p e e rL e n d i n gJ I n t e r n a t i o n a lJ o u r n a lo f W e bP o r t a l s(I J WP),():Y u j u nY,J i a n p i n gL,Y i m e iY A ne f f i c i e n ts t o c kr e c o mm e n d a t i o nm o d e lb a s e do nb i go r d e rn e t i n f l o wJM a t h e m a t i c a lP r o b l e m si nE n g i n e e r i n g,():T a g h a v iM,B a k h t i y a r iK,S c a v i n oE A g e n t b a s e dc o m p u t a t i o n a l i n v e s t i n g r e c o mm e n d e r s y s t e mC/P r o c e e d i n g so ft h e t hA CM C o n f e r e n c eo nR e c o mm e n d e rS y s t e m s :L i nK,Y a n gS,N aSG C o l l a b o r a t i v e f i l t e r i n ga l g o r i t h m b a s e d d e s t i n a t i o n r e c o mm e n d a t i o n a n dm a r k e t i n g m o d e lf o rt o u r i s m s c e n i cs p o t sJC o m p u t a t i o n a l I n t e l l i g e n c e a n dN e u r o s c i e n c e,:N i uK,Z h a oX,L iF,e ta l UT S P:u s e r b a s e dt w o s t e pr e c o mm e n d a t i o nw i t hp o p u l a r i t yn o r m a l i z a t i o nt o w a r d sd i v e r s i t ya n dn o v e l t yJ I E E EA c c e s s,:赵智,冯卓楠改进的基于相关相似性的协同过滤推荐算 法 J长 春工 业大 学 学 报:自 然 科 学 版,():于旭,何亚东,杜军威,等一种结合显式特征和隐式特征的 开 发 者 混 合 推 荐 算 法 J软 件 学 报,():周双杰基于大数据的商品混合推荐系统D南京:南京邮电大学,王粤,黄俊,郑小楠,等基于用户兴趣和评分差异的改进混 合 推 荐 算 法 J计 算 机 工 程 与 设 计,():J e o n gD,O hS,P a r kE D e m oh a s h:H a s h t a gr e c o mm e n d a t i o nb a s e do nu s e rd e m o g r a p h i c i n f o r m a t i o nJ E x p e r tS y s t e m sw i t hA p p l i c a t i o n s,:长 春 工 业 大 学 学 报 第 卷