数据挖掘模型介绍2016.ppt

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,.,*,刘海飞,数据挖掘模型,.,2,数据,挖掘概念与流程,数据,挖掘模型介绍,决策树模型,聚类模型,关联模型,回归模型,时间序列模型,主成分与因子模型,神经网络模型,目录,.,数据挖掘,(Data Mining),是通过分析每个数据，从大量数据中寻找其规律的技术。,3,个步骤：数据准备、规律寻找和规律表示。,挖掘任务：关联分析、聚类分析、分类分析、异常分析、特异群组分析和演变分析等。,由,Daimler Chrysler,、,SPSS,和,NCR,三家机构共同发展起来的数据挖掘方法论（,Http:/www.crisp-dm.org,）,CRISP-DM,（,Cross-Industry Standard Process for Data Mining,，跨行业数据挖掘标准流程）注重数据挖掘技术的应用。,CRISP-DM,过程模型从商业的角度给出对数据挖掘方法的理解。目前数据挖掘系统的研制和开发大都遵循,CRISP-DM,标准，将典型的挖掘和模型的部署紧密结合。,数据挖掘,-CRISP-DM,模型,3,.,数据挖掘,-CRISP-DM,模型,CRISP-DM模型过程的,挖掘流程包括：业务理解、数据理解、数据准备、建立模型、模型评价、模型实施。,业务理解,数据理解,数据准备,建立模型,评价,实施,数据,CRISP-DM,数据挖掘流程,4,.,数据挖掘,(Data Mining),技术主要无监督和有监督两大类。无监督数据挖掘：不区别对待各个变量，而只是考察变量间的关系。有监督数据挖掘：从数据中获得深度细致的信息，根据一些变量建立模型，来预测另一些变量。,有监督数据挖掘方法,：聚类分析、因子分析、主成分分析、神经网络、预测等；,无监督数据挖掘方法,：关联规则挖掘、时序挖掘、偏差分析等。,数据挖掘技术,5,.,找出一个类别的概念描述，它代表了这类数据的整体信息，即该类的内涵描述，并用这种描述来构造模型，一般用规则或决策树模式表示。分类是利用训练数据集通过一定的算法模型而求得分类规则。分类可被用于规则描述和预测。目前比较常见的分类算法有决策树算法、贝叶斯分类和支持向量机算法（,Support Vector Machine,）等等。,分类算法,决策树分类模型的工作过程图,6,.,Building Tree,基本思想：提取分类规则，进行分类预测,判定树分类算法,output,训练集,决策树,input,.,决策树进行分类步骤,决策树生成算法分成两个步骤,树的生成,开始，数据都在根节点,递归的进行数据分片,树的修剪,去掉一些可能是噪音或者异常的数据,决策树使用,:,对未知数据进行分割,按照决策树上采用的分割属性逐层往下，直到一个叶子节点,.,决策树算法,基本算法（贪心算法）,自上而下分而治之的方法,开始时，所有的数据都在根节点,属性都是种类字段,(,如果是连续的，将其离散化,),所有记录用所选属性递归的进行分割,属性的选择是基于一个启发式规则或者一个统计的度量,(,如,information gain,：,信息增益,),停止分割的条件,一个节点上的数据都是属于同一个类别,没有属性可以再用于对数据进行分割,.,伪代码,(Building Tree),Procedure BuildTree(S),用数据集,S,初始化根节点,R,用根结点,R,初始化队列,Q,While Q is not Empty do,取出队列,Q,中的第一个节点,N,if N,不纯,(Pure),for,每一个属性,A,估计该节点在,A,上的信息增益,选出最佳的属性，将,N,分裂为,N1,、,N2,.,信息增益度度量,任意样本分类的期望信息：,I(s,1,s,2,s,m,)=,P,i,log,2,(p,i,)(i=1.m),其中，数据集为,S,，,m,为,S,的分类数目，,P,i,Ci,为某分类标号，,P,i,为任意样本属于,Ci,的概率，,si,为分类,Ci,上的样本数,由,A,划分为子集的熵：,E(A)=(,s,1j,+,s,mj,)/,s*,I(,s,1j,+,s,mj,),A,为属性，具有,V,个不同的取值,信息增益：,Gain(A)=I(s1,s2,sm),E(A),.,训练集,(,举例,),.,使用信息增益进行属性选择,Class P:buys_computer=,“,yes,”,Class N:buys_computer=,“,no,”,I(p,n)=I(9,5)=0.940,Compute the entropy for,age,:,Hence,Similarly,.,使用信息增益进行属性选择,.,使用信息增益进行属性选择,.,使用信息增益进行属性选择,.,使用信息增益进行属性选择,.,使用信息增益进行属性选择,.,Decision Tree(,结果输出,),age?,overcast,student?,credit rating?,no,yes,fair,excellent,40,no,no,yes,yes,yes,30.40,.,1,决策树,优点：,1),可以生成可以理解的规则；,2),计算量相对来说不是很大；,3),可以处理连续和种类字段、对数据没有特殊要求；,4),决策树可以清晰的显示哪些字段比较重要。,缺点：,1),对连续性的字段比较难预测；,2),对有时间顺序的数据，需要很多预处理的工作；,3),当类别太多时，错误可能就会增加的比较快；,4),一般的算法分类的时候，只是根据一个字段来分类。,20,.,1,决策树,决策树法属于,风险型决策方法,，不同于,确定型决策方法,，二者适用的条件也不同。,应用决策树决策方法必须具备以下条件：,（,1,）具有决策者期望达到的明确目标；,（,2,）存在决策者可以选择的两个以上的可行备选方案；,（,3,）存在着决策者无法控制的两种以上的自然状态；,（,4,）不同行动方案在不同自然状态下的收益值或损失值,(,简称损益值,),可以计算出来；,（,5,）决策者能估计出不同的自然状态发生概率。,21,.,1,决策树,案例,一家金融服务公司为客户提供房屋净值贷款。该公司在过去已经拓展了数千净值贷款服务。但是，在这些申请贷款的客户中，大约有,20%,的人拖欠贷款。通过使用地理、人口和金融变量，该公司希望为该项目建立预测模型判断客户是否拖欠贷款。,22,.,1,决策树,案例,SAMPSIO.HMEQ,数据集中的变量，分析数据之后，该公司选择了,12,个预测变量来建立模型判断贷款申请人是否拖欠。回应变量（目标变量）标识房屋净值贷款申请人是否会拖欠贷款。变量，以及它们的模型角色、度量水平、描述，在下表中已经显示。,SAMPSIO.HMEQ,数据集中的变量，,23,.,1,决策树,案例,24,.,聚类分析无处不在,挖掘有价值的客户，并制定相应的促销策略：,如，对经常购买酸奶的客户,对累计消费达到,12,个月的老客户,针对潜在客户派发广告，比在大街上乱发传单命中率更高，成本更低！,2,聚类分析,.,聚类分析无处不在,谁是银行信用卡的黄金客户？,利用储蓄额、刷卡消费金额、诚信度等变量对客户分类，找出,“,黄金客户,”,！,这样银行可以,制定更吸引的服务，留住客户！比如：,一定额度和期限的免息透资服务！,百盛的贵宾打折卡！,在他或她生日的时候送上一个小蛋糕！,2,聚类分析,.,2,聚类分析,聚类就是把数据按照相似性归纳成若干类别，同一类中的数据彼此相似，不同类中的数据相异。聚类分析可以建立宏观的概念，发现数据的分布模式，以及可能的数据属性之间的相互关系。目前常见的聚类算法有基于划分的算法、基于层次的算法、基于密度算法和基于网格的算法等等。,聚类对数据没有特殊要求：离散的、连续的数值型、字符型,不指定类别数：针对小样本,制定类别数：针对大样本 要注意变量之间的相关性（相对独立）,数据矩阵：用,m,个变量（也称为属性）来表现,n,个对象,相异度矩阵：存储,n,个对象两两之间的近似度，通常用一个维的矩阵表示,27,.,聚类分析原理介绍,相似性,Similar,的度量（统计学角度）,距离,Q,型聚类（主要讨论）,主要用于对样本分类,常用的距离有（只适用于具有间隔尺度变量的聚类）：,明考夫斯基距离,（包括：绝对距离、,欧式距离,、切比雪夫距离）,兰氏距离,马氏距离,斜交空间距离,相似系数,R,型聚类,用于对变量分类，可以用变量之间的相似系数的变形如,1,r,ij,定义距离,.,聚类分析条件,相似性,Similar,的度量（统计学角度）,Q,型聚类,主要用于对样本分类,常用的距离有（只适用于具有间隔尺度变量的聚类）：,明考夫斯基距离,（包括：绝对距离、,欧式距离,、切比雪夫距离）,兰氏距离,马氏距离,斜交空间距离,R,型聚类,用于对变量分类，可以用变量之间的相似系数的变形如,1,r,ij,定义距离,.,客户关系管理是一个以客户为中心保持企业与客户互动的过程。销售客户是哪些客户层、哪些客户需要这样的产品、是否考虑客户生命周期、是否建立以客户为导向的客户关系、谁是公司最有价值的客户等等。要回答以上问题，综合各种数据，从不同角度对客户进行分群、分组划分。从与公司有较大业务联系的客户交易额出发：,2,聚类分析,举例说明,说明：与本公司交易额,2003,年为,X1,2004,年为,X2,2005,年为,X3,，预计将来交易额为,X4,30,.,利用,proc fastclus,语句来实现，程序如下：,2,聚类分析,举例说明,DATA glgz;,input company$X1 X2 X3 X4;,CARDS;,1 18.2750.489.9978.74,222.2260.7711.7094.70,317.1645.0910.3272.56,417.3848.458.9574.78,520.4156.8611.4088.67,615.8041.3410.1867.32,718.6552.809.4480.89,820.8459.9911.6192.44,916.1749.188.2773.62,1015.4742.569.1767.20,1116.4150.339.2275.96,1217.6841.518.8768.06,1317.8652.0210.1079.98,1412.0626.668.0046.72,1521.9361.0411.8194.78,1614.3139.548.3962.24,1716.3336.947.4060.67,1819.7552.169.0280.93,1912.8034.929.2456.96,2022.5159.3110.6592.47,;,RUN;,PROC FASTCLUS maxclusters=3 data=glgz list outtree=out1;,var X1 X2 X3 X4;,ID company;,RUN;,31,.,2,聚类分析,举例说明,程序运行结果：,第一类：价值最高的客户,2,家：公司,14,、,19,第二类：价值较高的客户有,8,家：公司,2,、,5,、,7,、,8,、,13,、,15,、,18,、,20,第三类：价值偏低的客户有,10,家,.,关联规则挖掘是描述两个或两个以上变量的取值之间存在某种规律性，就称为关联。数据关联是数据库中存在的一类重要的、可被发现的知识。关联分为简单关联、时序关联和因果关联。关联分析的目的是找出数据库中隐藏的关联网。一般用支持度和可信度两个阈值来度量关联规则的相关性，还不断引入兴趣度、相关性等参数，使得所挖掘的规则更符合需求。,3.,关联规则,关联规则的挖掘就是在事务数据库,D,中找出具有用户给定的最小支持度,minsup,和最小置信度,mincon,f,的关联规则。,最小支持度,minsup,：用户规定的关联规则必须满足的最小支持度，它表示了一组物品集在统计意义上的,需满足的最低程度,。,最小置信度,minconf,：用户规定的关联规则必须满足的最小置信度，它反应了关联规则的最低,可靠度,。,33,.,3.,关联规则,算法,1,算法,2,数据集,规则,用 户,最小支持度,最小置信度,关联规则挖掘的基本模型,满足的条件：,1,、基于规则中处理的变量的类别，关联规则可以分为布尔型和数值型,例：性别,=“,女”,=,职业,=“,秘书”、性别,=“,女”,=avg,（收入）,=2300,2,、基于规则中数据的抽象层次，可以分为单层关联规则和多层关联规则,例：,IBM,台式机,=Sony,打印机、台式机,=Sony,打印机,3,、基于规则中涉及到的数据的维数，关联规则可以分为单维的和多维的,例：啤酒,=,尿布、性别,=“,女”,=,职业,=“,秘书”,34,.,3.,关联规则,35,.,3.,关联规则,36,.,3.,关联规则,37,.,3.,关联规则,38,.,3.,关联规则,39,.,3.,关联规则,40,.,3.,关联规则,41,.,3.,关联规则,42,.,假设,I,是项的集合。给定一个交易数据库，其中每个事务,(Transaction)t,是,I,的非空子集，即，每一个交易都与一个唯一的标识符,TID(Transaction ID),对应。关联规则在,D,中的支持度,(support),是,D,中事务同时包含,X,、,Y,的百分比，即概率；置信度,(confidence),是包含,X,的事务中同时又包含,Y,的百分比，即条件概率。关联规则是有趣的，如果满足最小支持度阈值和最小置信度阈值。这些阈值是根据挖掘需要人为设定。,3.,关联规则,举例说明,左表中是顾客购买记录的数据库,D,，包含,6,个事务。,项集,I=,网球拍,网球,运动鞋,羽毛球,。,考虑关联规则（频繁二项集）：网球拍与网球，事务,1,2,3,4,6,包含网球拍，事务,1,2,6,同时包含网球拍和网球，支持度,(XY)/D=0.5,，置信度,(XY)/X=0.6,。,若给定最小支持度,=0.5,，最小置信度,=0.6,，认为购买网球拍和购买网球之间存在关联。,43,.,问题：,客户 时间 产品，即客户在什么时间点购买了什么产品，如果客户购买了多个产品则有多条记录。产品之间的关联性？,数据集：,SAS EM,自带的数据集，,SAMPSIO.ASSOCS,3.,关联规则,举例说明,44,.,预测是利用历史数据找出变化规律，建立模型，并由此模型对未来数据的种类及特征进行预测。预测关心的是精度和不确定性，通常采用预测方差来度量。预测的主要方法有统计学中的回归分析等等。,4.,预测,45,.,任何事物的变化都与其他事物是相互联系和相互影响的，用于描述事物数量特征的变量之间自然也存在一定的关系。变量之间的关系归纳起来可以分为两种类型，即函数关系和统计关系。,函数关系：,当一个变量,x,取一定值时，另一变量,y,可以按照确定的函数公式取一个确定的值，记为,y=f(x),，则称,y,是,x,的函数，也就时说,y,与,x,两变量之间存在函数关系。,统计关系：,衡量事物之间或者变量之间的线性相关强弱程度用适当的统计指标表示出来，称为相关分析。比较直观的如散点图，但不精确！,统计线性相关关系度量：,回归模型,4.,预测,:,回归分析,46,.,回归模型条件：,1,、确实存在显著相关关系,2,、确实存在直线相关关系,3,、应根据最小平方法,4,、解释变量为非随机变量,5,、同方差：各随机扰动项的方差相同,6,、无自相关：各随机扰动项互不相关,7,、误差项与解释变量不相关,8,、随机扰动项均服从正态分布,9,、残差项符合正态分布、被解释变量符合正态分布,数据要求：,一般解释变量和被解释变量为连续性变量，但对于离散型与定性变量有特殊处理方法,4.,预测,:,回归分析,47,.,回归大类：,线性回归、多元回归和非线性回归,线性回归：,Y=,+X,其中,和,是回归系数，可以根据给定的数据点，通过最小二乘法来求得,多元回归：,Y=,+,1,X,1,+,2,X,2,线性回归的扩展，设计多个预测变量，可以用最小二乘法求得上式中的,，,1,和,2,非线性回归：,Y=,+,1,X,1,+,2,X,2,2,+,3,X,3,3,对不呈线性依赖的数据建模,使用多项式回归建模方法，然后进行变量变换，将非线性模型转换为线性模型，然后用最小二乘法求解,.,4.,预测,logit,分类预测模型：,在自变量,X1,X2,Xn,作用下，某事件发生概率为,P,，则该事件不发生的概率为,1-P,，,P/1-P,为发生概率和不发生概率之比，记作“优势”（,Odds,）,。可知：,P,与,Odds,一一对应！,对,Odds,取对数，得到,一般公式表现形式,：,概率计算公式：,49,.,4.,logit,分类预测模型,案例,问题：作为某商品类目公司的市场分析师，你可能需要为二值目标变量（,purchase,）建立逻辑回归模型，判断某个顾客是否会产生购买。输入数据集存放在,SAS,安装文件的,SAMPSIO.DMEXA1,中，该数据集包含,1966,个顾客观测值信息。它包含,31,个区间变量输入和,18,个分类变量输用于构建模型。该逻辑回归模型产生的打分公式应用在新的数据集中，就能产生购买的顾客名单。,50,.,4.,logit,分类预测模型,案例,51,.,5.,时序模式,时序模式是指通过时间序列搜索出的重复发生概率较高的模式。与回归一样，它也是用已知的数据预测未来的值，但这些数据的区别是变量所处时间的不同。时间序列分析是一种动态数据处理的统计方法。该方法基于随机过程理论和数理统计学方法,研究随机数据序列所遵从的统计规律。,随机性变化：由许多不确定因素引起的序列变化。它所使用的分析方法就是时间序列分析。,确定性变化分析 趋势变化分析,周期变化分析,循环变化分析,时间序列分析 随机性变化分析,AR,、,MA,、,ARMA,模型,协整分析,52,.,5.,时序模式,平稳模型,线性模型：,Y,t,=b,0,+b,1,t+,t,二次趋势模型：,Y,t,=b,0,+b,1t,+b,2,t,2,+,t,非平稳模型,自回归模型,AR(p),：,时间序列,平稳序列,非平稳序列,53,.,6.,主成分分析,主成分分析是把多个指标化为少数几个指标的一种统计分析方法。,在多指标（变量）的研究中，往往由于变量太多，且彼此之间存在着一定的相关性，因而使得所观测的数据在一定程度有信息的重叠。,主成分分析采取一种降维的方法，找出几个综合因子来代表原来众多的变量，使这些综合变量因子尽可能地反映原来变量的信息量，而且彼此之间互不相关，从而达到简化的目的。,主成分分析的一般目的是：,(1),变量的降维；,(2),主成分的解释。,注意：,主成分分析是变量降维的一种重要、常用的方法，简单的说，该方法要应用得成功，一是靠原始变量的合理选取，二是靠“运气”。,54,.,主分量的几何解释,如果从研究总体中抽取,N,个样品，每个样品有两个指标。设,N,个样品在二维空间中的分布大致为一个椭圆。,x,1,x,2,6.,主成分分析,.,将坐标系正交旋转一个角度,，在椭圆长轴方向取坐标,y,1,，在短轴方向取坐标,y,2,，则旋转公式,y,1,y,2,N,个点的坐标,y,1,和,y,2,的相关几乎为零；二维平面上,N,个点的方差大部分都归结在,y,1,轴上，而,y,2,轴上的方差较小。,Y,1,和,y,2,是原始变量,x,1,和,x,2,的综合变量。,6.,主成分分析,.,如果,N,个样品中的每个样有,p,个指标,x,1,，,x,2,，,，,x,p,，经过主成分分析，将它们综合成,m,个综合变量，即,并且满足,6.,主成分分析,.,6.,因子分析,因子分析,(factor analysis),是一种数据简化的技术。它通过研究众多变量之间的内部依赖关系，探求观测数据中的基本结构，并用少数几个假想变量来表示其基本的数据结构。这几个假想变量能够反映原来众多变量的主要信息。原始的变量是可观测的显在变量，而假想变量是不可观测的潜在变量，称为因子。,例如，在企业形象或品牌形象的研究中，消费者可以通过一个有,24,个指标构成的评价体系，评价百货商场的,24,个方面的优劣。,58,.,但消费者主要关心的是三个方面，即商店的环境、商店的服务和商品的价格。因子分析方法可以通过,24,个变量，找出反映商店环境、商店服务水平和商品价格的三个潜在的因子，对商店进行综合评价。而这三个公共因子可以表示为：,称 是不可观测的潜在因子。,24,个变量共享这三个因子，但是每个变量又有自己的个性，不被包含的部分 ，称为特殊因子。,6.,因子分析,59,.,6.,主成分分析,案例,.,已知纽约上市的三只化学产业证券,(AC,、,DP,、,UC),和两只石油产业证券,(EX,、,TE)100,周的收益率调查资料。各证券的收益率依次用,X1,、,X2,、,X3,、,X4,、,X5,表示,且样本的平均收益率和相关矩阵,R,如下，要求对证券收益率做主成分分析和因子分析，并解释其意义。,6.,主成分分析,案例,.,6.,主成分分析,案例,data one,(type=corr),;,_type_=corr,;,input,_name_,$x1 x2 x3 x4 x5;,cards,;,x1 1.,x2 0.577 1.,x3 0.509 0.599 1.,x4 0.387 0.389 0.436 1.,x5 0.462 0.322 0.426 0.523 1,;,run,;,proc princomp,;,run,;,data one,(type=corr),;,_type_=corr,;,input,_name_,$x1 x2 x3 x4 x5;,cards,;,x1 1.,x2 0.577 1.,x3 0.509 0.599 1.,x4 0.387 0.389 0.436 1.,x5 0.462 0.322 0.426 0.523 1,;,run,;,proc factor scree nfact,=2,score,rotate,=varimax,;,var,x1-x5,;,run,;,.,主成分分析结果：,（单位特征向量矩阵）,各主成分标准化变量的线性系数,.,因子分析结果,（,1,）,（初始因子载荷矩阵）,（旋转后因子载荷矩阵）,(,化学产业因子,),(,石油产业因子,),.,特征值对因子的散点图（碎石图）,因子分析结果,（,2,）：,.,因子分析结果,（,3,）,.,注意：,1,、因子分析与回归分析不同，因子分析中的因子是一个比较抽象的概念，而回归因子有非常明确的实际意义；,2,、主成分分析分析与因子分析也有不同，主成分分析仅仅是变量变换，而因子分析需要构造因子模型。,主成分分析,:,原始变量的线性组合表示新的综合变量，即主成分；,因子分析：潜在的假想变量和随机影响变量的线性组合表示原始变量。,6.,因子分析,67,.,神经网络（,Neural Networks,NN,）是由大量的、简单的处理单元（称为神经元）广泛地互相连接而形成的复杂网络系统，它反映了人脑功能的许多基本特征，是一个高度复杂的非线性动力学习系统。神经网络具有大规模并行、分布式存储和处理、自组织、自适应和自学能力，特别适合处理需要同时考虑许多因素和条件的、不精确和模糊的信息处理问题。神经网络的发展与神经科学、数理科学、认知科学、计算机科学、人工智能、信息科学、控制论、机器人学、微电子学、心理学、光计算、分子生物学等有关，是一门新兴的边缘交叉学科。,7.,神经网络模型,神经网络结构,68,.,神经网络的基础在于神经元。,神经元是以生物神经系统的神经细胞为基础的生物模型。在人们对生物神经系统进行研究，以探讨人工智能的机制时，把神经元数学化，从而产生了神经元数学模型。,大量的形式相同的神经元连结在,起就组成了神经网络。神经网络是一个高度非线性动力学系统。虽然，每个神经元的结构和功能都不复杂，但是神经网络的动态行为则是十分复杂的；因此，用神经网络可以表达实际物理世界的各种现象。,神经网络模型是以神经元的数学模型为基础来描述的。神经网络模型由网络拓扑节点特点和学习规则来表示。神经网络对人们的巨大吸引力主要在下列几点：,1,并行分布处理。,2,高度鲁棒性和容错能力。,3,分布存储及学习能力。,4,能充分逼近复杂的非线性关系。,7.,神经网络模型,69,.,目前，已有近,40,种神经网络模型。有反传网络、感知器、自组织映射、,Hopfield,网络、波耳兹曼机、适应谐振理论等。,根据连接的拓扑结构，神经网络模型可以分为：,（,1,）前向网络：网络中各个神经元接受前一级的输入，并输出到下一级，网络中没有反馈，可以用一个有向无环路图表示。这种网络实现信号从输入空间到输出空间的变换，它的信息处理能力来自于简单非线性函数的多次复合。网络结构简单，易于实现。反传网络是一种典型的前向网络。,（,2,）反馈网络：网络内神经元间有反馈，可以用一个无向的完备图表示。这种神经网络的信息处理是状态的变换，可以用动力学系统理论处理。系统的稳定性与联想记忆功能有密切关系。,Hopfield,网络、波耳兹曼机均属于这种类型。,7.,神经网络模型,70,.,神经网络主要类型：,BP,神经网络、,RBF,神经网络、,CPN,神经网络,对向传播网络（,Counter Propagation),，简称,CPN,是将,Kohonen,特征映射网络与,Grossberg,基本竞争型网络相结合，发挥各自长处的一种新型特征映射网络，被广泛的运用于模式分类，函数近似，数据压缩等方面。,7.,神经网络模型,RBF,神经网络结构,71,.,网络学习的准则：,如果网络作出错误的的判决，则通过网络的学习，应使得网络减少下次犯同样错误的可能性。,举例：,1,、,给网络的各连接权值赋予,(0,，,1),区间内的随机值，将“,A”,所对应的图象模式输入给网络，网络将输入模式加权求和、与门限比较、再进行非线性运算，得到网络的输出。在此情况下，网络输出为“,1”,和“,0”,的概率各为,50%,，也就是说是完全随机的。这时如果输出为“,1”(,结果正确,),，则使连接权值增大，以便使网络再次遇到“,A”,模式输入时，仍然能作出正确的判断。,2,、如果输出为“,0”(,即结果错误,),，则把网络连接权值朝着减小综合输入加权值的方向调整，其目的在于使网络下次再遇到“,A”,模式输入时，减小犯同样错误的可能性。如此操作调整，当给网络轮番输入若干个手写字母“,A”,、“,B”,后，经过网络按以上学习方法进行若干次学习后，网络判断的正确率将大大提高。这说明网络对这两个模式的学习已经获得了成功，它已将这两个模式分布地记忆在网络的各个连接权值上。当网络再次遇到其中任何一个模式时，能够作出迅速、准确的判断和识别。,一般说来，网络中所含的神经元个数越多，则它能记忆、识别的模式也就越多。,7.,神经网络模型,72,.,7.,神经网络模型：举例,F(x),成为活化方程，可以,使用线性、阶跃型、,S,型等不同种类的函数替代。,73,.,问题：某公司要预测哪些用户会对邮件促销活动产生响应。目标变量是二值变量，标识用户是否对最近的促销产生响应。该模型的输入变量是年龄、收入、婚否以及最近六个月是否产生购买。在,SAMPSIO.BUY,数据集中包含,10000,名用户信息和是否对最近的促销产生响应。对于每个用户，记录了,12,个输入变量。,7.,神经网络模型,案例,74,.,7.,神经网络模型,案例,变量名,模型角色,度量方式,描述,RESPOND,Target,Binary,1=responded,0=did not respond,AGE,Input,Interval,Age of individual in years,INCOME,Input,Interval,Annual income in thousands of dollars,MARRIED,Input,Binary,1=married,0=not married,FICO,Input,Interval,Credit score from outside credit agency,GENDER,Input,Binary,F=Female,M=Male,OWNHOME,Input,Binary,1=owns home,0=does not own home,LOC,Input,Nominal,Location of residence coded A through H,BUY6,Input,Interval,Number of purchases in the last 6 months,BUY12,Input,Interval,Number of purchases in the last 12 months,BUY18,Input,Interval,Number of purchases in the last 18 months,VALUE24,Input,Interval,Total value of purchases in the past 24 months,COA6,Input,Binary,Change of address in the last 6 months(1=address changed,0=address did not change),75,.,7.,神经网络模型,案例,76,.,7.,神经网络模型,案例,77,.,谢谢！,Thanks for your attention,!,78,.,