基于KRX模型集成算法.pdf

收稿日期:基金项目:吉林省教育厅项目(J J KH K J)作者简介:李佳晋(),女,汉族,河南安阳人,长春工业大学硕士研究生,主要从事智能计算方向研究,E m a i l:q q c o m 通信作者:李万龙(),男,汉族,吉林长春人,长春工业大学教授,硕士,主要从事软件工程与智能计算方向研究,E m a i l:l i w a n l o n g c c u t e d u c n 第 卷 第期 长 春 工 业 大 学 学 报 V o l N o 年 月 J o u r n a l o fC h a n g c h u nU n i v e r s i t yo fT e c h n o l o g y A p r D O I:/j c n k i c n /t 基于K R X模型集成算法李佳晋,王国春,李万龙,王洋,潘一文(长春工业大学 计算机科学与工程学院,吉林 长春 )摘要:K R X模型将改进KNN算法、随机森林算法及X G B o o o s t算法作为基模型,KNN算法通过其相邻样本的距离进行权值分配,提高了分类的准确性.对两个标签的准确率达到 和.关键词:KNN;R F;X G B o o s t;集成算法中图分类号:F ;T P 文献标志码:A文章编号:()E n s e m b l ea l g o r i t h mb a s e do nK R Xm o d e lL I J i a j i n,WAN GG u o c h u n,L IW a n l o n g,WANGY a n g,P ANY i w e n(S c h o o l o fC o m p u t e rS c i e n c e&E n g i n e e r i n g,C h a n g c h u nU n i v e r s i t yo fT e c h n o l o g y,C h a n g c h u n ,C h i n a)A b s t r a c t:K R Xm o d e l a p p l i e s i m p r o v e dKNN,r a n d o mf o r e s t a n dX G B o o o s t a l g o r i t h m s,i nw h i c ht h ei m p r o v e dKNNa l l o t sw e i g h t a c c o r d i n g t o t h ed i s t a n c eb e t w e e n t h en e i g h b o r e ds a m p l e s t o i n c r e a s e t h ec l a s s i f i c a t i o na c c u r a c y T h ea c c u r a c y i s a n d r e s p e c t i v e l yf o r t w oc h o s e n l a b e l s K e yw o r d s:KNN;R F;X G b o o s t;i n t e g r a t e da l g o r i t h m引言由于我国市场经济的迅速发展,越来越多的个人开始使用信用卡进行消费,从而引发大量的还款逾期现象,给银行带来了信用风险危机.越来越多的年轻人在进行消费时选择信用卡支付,这也逐渐成为一种发展趋势.但是由于当前信用卡市场急剧扩大,银行发放信用卡的门槛降低,可能会导致一些用户无法及时还款,进而给银行带来一定的经济损失.因此,通过对用户信息的分析,进而预测出该用户未来是否存在违约的可能性就变得十分重要,对银行长久健康的发展具有重大意义.目前对信用卡还款逾期现象的预测模型主要有随机森林、逻辑回归、L i g h t G BM、X G B o o s t、B P神经网络等算法.近几年,由于集成算法的兴起,开始有研究人员使用集成算法对信用卡逾期现象建立预测模型.集成算法从某种意义上讲,其本身并不算是一种机器学习算法,它更偏向于是一种优化策略,通过将构建的多个简单的弱机器学习算法结合起来,为完成学习任务提供更有效的决策.集 成 算 法 的 主 要 技 术 有 三 种,分 别 是B a g g i n g、B o o s t i n g和S t a c k i n g.B a g g i n g方法主要关注点就是怎样减少误差,并避免过度拟合,比如随机森林.B o o s t i n g方法更加注重于怎样减小方差,它的典型代表是A d a b o o s t i n g、G B D T等.S t a c k i n g方法则把注意力放在如何改进预测.但是常用的方法是B a g g i n g和B o o s t i n g方法.集成学习的一般结构是:首先通过数据训练出一些“个体学习器”;再通过一些策略把他们整合到一起.如果训练得到的学习器中仅有相同类型的就叫作同质,个体学习器就叫作“基学习器”,对应的算法称之为“基学习算法”.如果训练得到的学习器中不止一个类别称为“异质”,个体学习器称为“组建学习器”.为了达到较好的效果,算法不同的个体学习器之间应该具有两个特质:首先单个学习器的性能不可太坏;其次学习器之间也要具有差异性.为了解决上述问题,文中提出一种基于K R X模型的集成算法作为信用卡逾期预测模型.首先将KNN算法、随机森林和X G B o o s t作为弱学习算法,使用集成算法对弱学习算法进行训练,从而组合构成强学习算法,以更好地预测信用卡逾期情况.为了进一步提升模型的准确性,采用网格搜索法优化参数,确定集成算法的最优模型.最后运用处理后的U C I公开数据集进行模型训练.基本原理改进的K N N算法KNN算法全称为KN e a r e s tN e i g h b o r,也称K 近邻算法.该算法的中心思想是如果某个数据在特征空间里,与其k个距离最近的样本中,若大部分属于同个类别,那就认为该样本也属于此类别.KNN算法实际上通过计算当前样本与其k个相邻样本的距离,选择距离最近的类别作为当前样本的类别.但是如果在样本不均衡的情况下,距离远近对最终的预测结果也是有影响的.改进的KNN算法在原来的基础上,通过高斯函数对距离远近进行权值分配.高斯函数为f z()aezb()c,()式中:a曲线峰值的高度,任意实数;b峰值所在的坐标,任意实数;c标准差,任意实数.欧式距离为dli|Xlxli|().()将d代入f(z),可得到权重函数为Wiell|Xlxli|()c.()由此可得到基于高斯函数Y的分类决策模型Ya r gm a xCjkiell|Xlxli|cyicj()kieli|Xlxli|c.()随机森林算法在B a g g i n g方法中,最典型的一种算法就是随机森林算法.随机森林的随机性表现在采样时对数据的选择是随机的,特征的选择也是随机的.随机体现在提高数据的泛化能力,如果每棵树都一样就没必要了.随机森林中的森林,顾名思义就是将许多棵树整合到一起就变成了森林.由于它的二重随机性以及数据的复杂性,所以树与树之间基本上都不相同,也就保证了最后的结果也都是不相同的.B a g g i n g方法的全称是b o o s t r a pa g g r e g a t i o n,即将一堆分类器进行并行化训练.而这些分类器之间并没有很强依赖机制,能够一起得到并行化训练,最后进行集成.决策树是第一个节点从根节点开始,通过决策选择一步一步走到叶子节点,最终数据集中的数据都会落入叶子节点.如何选择根节点是构建一棵好的决策树中非常关键的一步.通过使用一种度量准则进行统计,针对不同特征选择作出筛选后的分类情况,并选出分类效果最好的特征当作决策树的根节点.我们将这种度量准则称为熵,而熵表示的是对随机变量的不确定性的程度度量.简单来讲就是当数据越混乱,熵就会越大.其计算公式为H x()pil o gpi,()i,n.其中,pi的含义是选择该分类的可能性,它的取值范围从到,pi值越靠近,说明它的熵值就越小,数据也就越纯净.当p或p长 春 工 业 大 学 学 报 第 卷时,H p(),这种情况下随机变量的不确定性基本上不存在,表示当前的所有样本均属于同一个类别;当p,H p(),则表示随机变量拥有最大的不确定性.信息增益是用来描述一个特征对数据样本的区分能力.信息增益越大,表示区分样本的效果就越好.而特征的选择最主要的就是根据信息增益来进行判断,选择信息增益最多的特征作为根节点是最合适的.但此时会出现一个新的问题:如果这么无限地分裂下去,那么会将所有的数据都划分到叶子节点上,这种情况就造成了过拟合.为了避免出现这种情况,就要进行剪枝操作.目前常用的剪枝方式主要有两种:预剪枝和后剪枝.预剪枝是指在创建决策树的过程中就进行了剪枝操作,是从根节点开始进行的剪枝操作,可以有效限制决策树的深度.后剪枝则是在完成了决策树的创建工作之后再进行剪枝操作,它需要从叶子节点开始剪枝,最后回到根节点.可以进行一定的衡量尺度为CT()C T()|Tl e a f|,()式中:C(T)自身的熵值或者G I N I系数;Tl e a f当前不分裂节点的叶子节点个数.越大,越不拟合.叶子节点越多,损失越大,则越不好.X G B o o s t算法X G B o o s t算 法 的 全 称 为e x t r e m eG r a d i e n tB o o s t i n g,是B o o s t i n g方法中的代表算法.对于B o o s t i n g方法来说,它的基学习器之间的依赖机制十分明显,因此基分类器需要通过串行生成,这一 点 与B a g g i n g算 法 存 在 着 明 显 的 区 别.X G B o o s t算法主要是降低偏差,它的每一棵树都是基于上一棵树和目标值的差值来进行学习.和其他梯度提升的集成算法相比较来说,X G B o o s t算法更为迅速,是一个集大成的算法.在X G B o o s t算法中,模型、参数、目标函数和学 习 方 法 指 导 着X G B o o s t算 法 的 设 计.X G B o o s t算法中所有的树都是二叉树,每棵树的叶子节点上都会有叶子权重.X G B o o s t算法通过对前向分布算法的学习得到含有k棵树的加法模型yi公式为yiktftxi(),ftF,()式中:k有k棵树;f回归树;F对应f组成的函数空间.通过贪心算法寻找局部最优解为yt()iyt()iftxi(),fjF.()定义包含正则项的目标函数为o b j()Nilyi,yi()tjfi(),fjF.()其中,l是损失函数,加号后边的部分是正则化,即衡量决策树的复杂程度.正则化越大,对损失函数的惩罚就要大一些.由于F是决策树,因此在优化的过程中不可以用梯度下降算法进行优化.每一次迭代就是寻找使损失函数降低最大的f的过程,因此o b j()可以改写为o b j()Nilyi,yt()if xi()()ft().()利用泰勒展开公式对o b j()进行改写,其公式为o b jt()Nil yi,yt()i()giftxi()hiftxi()()ft().()其中gilyi,yt()i()yt()i,hilyi,yt()i()yt()i.移 除 对 第t轮 迭 代 来 说 的 常 数 项lyi,yt()i()可得,o b jt()Nigiftxi()hiftxi()ft().()由上式可以看出,目标函数与误差函数的一阶导和二阶导有关系.X G B o o s t算法的正则项是用来度量树的复杂度的,T表示叶子节点个数,w表示叶子节点的输出分数(相当于L 正则化),ft()公式为ft()TTjWj.()第期李佳晋,等:基于K R X模型集成算法o b j()可改写为o b jt()Nigiftxi()hiftxi()TTjWj.()其中对样本累加的过程是求和部分,而正则项是后面两项,TjWj是对叶子节点的累计.定义每个叶子节点j上的样本集合为Iji|q xi()j,则目标函数可改写为o b jt()TjGjWjHj()Wj T.()其中GjiIjgi,WjiIjhi.在第t轮时,使用目标函数最小的叶节点的输出分数w,直接求导Wj为WjGjHj.()代入损失函数可得o b jt()为o b jt()TjGjHj T.)由上式可以看出,目标函数越小越好.在创建树的过程中,每次尝试先分裂一个叶子节点,然后计算信息增益,选择增益最大的.由已经计算出的损失函数可得X G B的增益计算方式G a i n的公式为G a i nGLHLGRHRGLGR()HLHR.()其中,中括号的三部分分别是左子树、右子树以及分裂前的得分,代表新的叶子节点的复杂度.由此可以看出,G a i n值越大越好.实验设计与结果分析实验设计数据集实验所用的数据集为U C IM a c h i n eL e a r n i n gR e p o s i t o r y公开数据集,提供了用户的基本信息、付款记录以及还款记录.该数据集共包含 条数据,个特征,没有缺失值和异常值.其中特征包括信贷的金额、性别、年龄、教育、婚姻情况、付款记录、账单金额、付款金额以及次月的还款状态.实施步骤实验基于w i n d o w s 系统,I n t e l(R)C o r e(TM)i UC P U处理器.利用U C I公开数据集,由 于 数 据 不 平 衡,对 数 据 作 随 机 采 样 和S MOT E采样处理后,生成一个新的平衡数据集,在平衡数据集上进行实验.为保证最优的效果,在进行集成之前先将基模型的参数调为最优参数.在训练改进的KNN算法最优参数的过程中,将迭代次数的最大值设为 ,如若在 轮之前已经获得最优参数,那么迭代将提前结束;如若迭代 轮依然未获得左右参数,就将现在已经得到的最优参数作为KNN算法的最优参数.随机森林和X G B o o s t的最优参数训练过程与之类似,分别将最大迭代次数设置为 ,.此外,随机森林在最优参数训练过程中将树的深度分别设置为 ,及 三种情况.将训练得到的所有最优模型放在一起进行集成,通过交叉验证进行训练得到最终的模型.实验结果及分析在新的平衡数据集下做了如下实验:)选用逻辑回归、随机森林和X G B作为基模型(即L R X模型),实验结果如图所示.图基于L R X的集成学习实验结果长 春 工 业 大 学 学 报 第 卷)选用S V C、随机森林和X G B o o s t作为基模型(即S R X模型),实验结果如图所示.)选用改进的KNN、随机森林和X G B o o s t作为基模型(即K R X模型),实验结果如图所示.图基于S R X的集成学习实验结果图基于K R X的集成学习实验结果通过上述对比实验可知,在相同实验环境下,文中提出的K R X模型比L R X模型在准确率上提高,比S R X模型提高.进一步验证了文中模型的有效性和可行性.对于集成算法的特性,基模型的选择要具有多样性.而B a g g i n g方法和B o o s t i n g方法的典型代表分别是随机森林和X G B o o s t,因此在基模型的选择上,三个实验之间只有一个基模型不一样.通过对比发现改进的KNN算法、随机森林和X G B o o s t算法的时候,所得到的集成算法效果最好,说明文中模型的提出是可行的.结论与展望传统的机器学习算法有很多种,每种算法又有各自的优缺点,适合的数据集也不尽相同.例如KNN算法适合小量且准确度要求不太高的数据;决策树算法结果易于解释,但是容易出现过拟合问题.而集成算法则能够把不同的算法整合在一起,从而提高分类的准确性.首先将基分类器训练到最优,然后针对基分类器的预测结果通过投票规则进行分类.一般情形下,相对于单个分类器来说,集成分类器的分类性能会更好.随着社会的不断进步以及科技的日益发展,信用卡消费模式已经逐渐成熟,也逐渐成为年轻人的一种消费趋势.文中从原始不平衡的数据集中产生一个平衡的数据集,然后用集成算法在平衡数据集中进行预测.对于二分类的预测问题,处于问题两端的情况容易出现相反的情况,即我们认为容易违约的客户实际上违约的可能性更小,而我们认为不会违约的客户实际上更容易违约.违约概率临界点的选择对二分类预测模型的准确率影响较大.在大数据时代背景下,反映社会关系、社会交际情况的信息对判断信用状态有重要的辅助作用.参考文献:曾杰个人信用卡逾期预测的研究D重庆:重庆大学,杨盛辉基于加权S t a c k i n g集成学习的信用卡违约预测D桂林:桂林理工大学,D O I:/d c n k i g g l g c 王婷,吴建军基于多层B P神经网络的财务风险预警模型构建J长春工业大学学报,():D O I:/j c n k i c n /t 第期李佳晋,等:基于K R X模型集成算法张良海基于模型融合的信用卡违约预测研究D北京:北 京 工 业 大 学,D O I:/d c n k i g b j g u 窦小凡 KNN算法综述J通讯世界,():万果信用卡用户分类:违约预测与分析D兰州:兰州大学,田曙光,宋耀莲基于高斯函数的改进KNN分类算法研究J数据通信,():吕红燕,冯倩随机森林算法研究综述J河北科学院学报,():D O I:/j c n k i h b k x 闫思羽基于随机森林分类的信用卡逾期行为研究D昆明:云南财经大学,邵旻晖决策树典型算法研究综述J电脑知识与技术,():D O I:/j c n k i c k t 赖春廷决策树分类算法研究J信息与电脑:理论版,():陈荣荣,詹国华,李志华基于X G B o o s t算法模型的信用卡交易欺诈预测研究J计算机应用研究,(S):,长 春 工 业 大 学 学 报 第 卷