4.3-贝叶斯判别分析.ppt

基本思想基本思想1多总体的多总体的Bayes判别判别2两个总体的两个总体的Bayes判别判别34.3 Bayes判别分析距离判别只要求知道总体数字特征，不涉距离判别只要求知道总体数字特征，不涉及总体的分布函数，当参数和协方差未知及总体的分布函数，当参数和协方差未知时，就用样本均值和协方差矩阵来估计。时，就用样本均值和协方差矩阵来估计。距离判别方法简单实用，但没有考虑到每距离判别方法简单实用，但没有考虑到每个总体出现的机会大小，即个总体出现的机会大小，即先验概率先验概率，没，没有考虑到有考虑到错判的损失错判的损失。贝叶斯判别法正是。贝叶斯判别法正是为了解决这两个问题提出的判别分析方法为了解决这两个问题提出的判别分析方法 4.3.1Bayes判别基本思想34.3.1 Bayes判别的基本思想将待判样品将待判样品x判属给后验概率最大的总体判属给后验概率最大的总体先验概率先验概率后验概率后验概率 4贝叶斯判别准则 基本思想基本思想1多总体的多总体的Bayes判别判别2两个总体的两个总体的Bayes判别判别3 1.一般讨论4.3.2 两个总体的Bayes判别两个总体的Bayes判别准则7 2两个正态总体Bayes判别 看大小看大小大小相反大小相反（1）两个总体协方差矩阵不相等的情形Bayes判别准则化为广义距离准则协方差阵协方差阵/先验先验概率相等概率相等,即即为为距离距离判别准则判别准则马氏平方距离马氏平方距离9（2）两个总体协方差矩阵相等情形 后验概率准则：协方差矩阵不相等的Bayes判别准则 样本Bayes判别准则协方差矩阵相等的Bayes判别准则 -广义平方距离准则广义平方距离准则11误判率误判率 12例例4.3.1 6 6只只ApfApf和和9 9只只AfAf蠓虫触角长度和翅膀长度数据蠓虫触角长度和翅膀长度数据:ApfApf：(1.14,1.78),(1.18,1.96),(1.20,1.86),(1.14,1.78),(1.18,1.96),(1.20,1.86),(1.26,2.00),(1.28,2.00),(1.30,1.96)(1.26,2.00),(1.28,2.00),(1.30,1.96)；AfAf：(1.24,1.72),(1.36,1.74),(1.24,1.72),(1.36,1.74),(1.38,1.64),(1.38,1.82),(1.38,1.64),(1.38,1.82),(1.38,1.90),(1.40,1.70),(1.48,1.82),(1.54,1.82),(1.38,1.90),(1.40,1.70),(1.48,1.82),(1.54,1.82),(1.56,2.08).(1.56,2.08).若两类蠓虫若两类蠓虫协方差矩阵相等协方差矩阵相等，假设总体，假设总体ApfApf和和AfAf均服从正均服从正态分布，用态分布，用BayesBayes判别法判别三个蠓虫属于哪一类？判别法判别三个蠓虫属于哪一类？(1.24,1.8)(1.24,1.8)，(1.28,1.84)(1.28,1.84)，（，（1.41.4，2.042.04）假设：检验统计量：则认为则认为QiQi较小较小,接受接受H H0 0；否则拒绝否则拒绝H H0 0。(1)检验两个总体协方差矩阵相等判断：给定给定，若，若检验两总体协方差矩阵是否相等(=0.1):程序apf=apf=1.14,1.78;1.18,1.96;1.20,1.86;1.26,2.;1.28,2;1.14,1.78;1.18,1.96;1.20,1.86;1.26,2.;1.28,2;1.30,1.961.30,1.96;af=af=1.24,1.72;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90;1.40,1.70;1.41.24,1.72;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90;1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.088,1.82;1.54,1.82;1.56,2.08;n n1 1=6;=6;n2n2=9 9;p=;p=2 2;%2%2个总体，个总体，2 2维变量，维变量，1515个样本个样本s1=cov(s1=cov(apfapf);s2=cov();s2=cov(afaf););%求样本协方差求样本协方差s=s=(n1-1)*n1-1)*s1+s1+(n2-1)*(n2-1)*s2s2)/(n1+n2-2)(n1+n2-2);%求联合协方差矩阵求联合协方差矩阵%检验两总体协方差矩阵相等程序Q10Q10=(=(n n1 1-1 1)*)*(log(det(s)log(det(s)-log(det(s1log(det(s1)-)-p+tracep+trace(inv(s(inv(s)*s1)*s1);%统计量统计量Q1Q1观测值观测值Q10Q10Q20Q20=(=(n n2 2-1 1)*)*(log(det(s)log(det(s)-log(det(slog(det(s2 2)-)-p+tracep+trace(inv(s(inv(s)*s2)s2);%Q2%Q2统计统计量值量值Q20Q20lamda=chi2inv(1-0.05,3lamda=chi2inv(1-0.05,3)%卡方卡方上上0.050.05分位数分位数p10=p10=1-chi2cdf(1-chi2cdf(Q10Q10,p*(p*(p p+1)/2)+1)/2)%卡方分布概率卡方分布概率p10p10p20=p20=1-chi2cdf(1-chi2cdf(Q20Q20,p*(p+1)/2 p*(p+1)/2)%卡方分布概率卡方分布概率p20p20 输出结果输出结果：Q10=2.5784Q10=2.5784，Q20=0.7418Q20=0.7418均均 0.05,0.05,认为认为两个总体协方差矩阵相等两个总体协方差矩阵相等（2）估计两个总体的先验概率 按样本容量比例选取按样本容量比例选取.由于由于ApfApf与与AfAf分别为分别为6 6个与个与9 9个，个，故估计故估计ApfApf类、类、AfAf类蠓虫的先验概率类蠓虫的先验概率apf=1.14,1.78;1.18,1.96;1.20,1.86;1.26,2.;1.28,2;1.30,1.96;af=1.24,1.72;1.36,1.74;1.38,1.64;1.38,1.82;1.38,1.90;1.40,1.70;1.48,1.82;1.54,1.82;1.56,2.08;x=1.24,1.8;1.28,1.84;1.4,2.04;%待判样品待判样品m1=mean(apf);m2=mean(af);%总体均值向量总体均值向量s1=cov(apf);s2=cov(af);s=(5*s1+8*s2)/13;%总体协方差矩阵总体协方差矩阵（3）利用MATLAB软件计算贝叶斯线性判别函数S=联合协方差矩阵0.00750.0066 0.0066 0.0134结果：G1,G2G1,G2总体均值向量总体均值向量m1=(1.2267,1.9267)m2=(1.4133,1.8044)for i=1:3%计算样品计算样品xixi的判别函数的判别函数W1(xi)W1(xi)和和W2(xi)W2(xi)w1(i)=m1*inv(s)*x(i,:)-1/2*m1*inv(s)*m1+log(0.4);w2(i)=m2*inv(s)*x(i,:)-1/2*m2*inv(s)*m2+log(0.6);if w1(i)=w2(i)disp(第第,num2str(i),个蠓虫属于个蠓虫属于Apf类类);%归归1类类 else disp(第第,num2str(i),个蠓虫属于个蠓虫属于Af类类);end;end;输出结果输出结果：第第1 1个蠓虫属于个蠓虫属于ApfApf类类，第第2 2个蠓虫属于个蠓虫属于ApfApf类类，第第3 3个蠓虫个蠓虫属于属于ApfApf类类.（3）利用MATLAB软件计算贝叶斯判别函数 例例4 4.3.2.3.2 对破产企业收集它们在破产前两年年度财务数据，对破产企业收集它们在破产前两年年度财务数据，对财务良好的企业也收集同一时间数据对财务良好的企业也收集同一时间数据.数据涉及数据涉及4 4个变量个变量:X1-:X1-现金流量现金流量/总债务总债务,X2X2-净收益净收益/总资产总资产,X3-,X3-流动资流动资产产/流动债务流动债务,X4-,X4-流动资产流动资产/净销售额净销售额,数据如表数据如表4 4.2 2 所示所示.假定两总体假定两总体G1,G2G1,G2均服从均服从4 4元正态分布元正态分布,在在误判损失相误判损失相等且先验概率按比例分配等且先验概率按比例分配条件下条件下,对待判样本进行对待判样本进行bayesbayes判别判别.G1（破产企业）（破产企业）G2（非破产企业）（非破产企业）X1X2X3X4X1X2X3X4-0.45-0.411.090.450.510.102.490.54-0.56-0.311.510.160.080.022.010.530.060.021.010.400.380.113.270.35-0.07-0.091.450.260.190.052.250.33-0.10-0.091.560.670.320.074.240.63-0.14-0.070.710.280.120.052.520.690.040.011.500.71-0.020.022.050.35-0.06-0.061.370.400.220.082.350.40-0.13-0.141.420.440.170.071.800.52待判待判-0.23-0.300.330.18-0.28-0.231.190.660.150.052.170.550.480.091.240.18表表4-2 4-2 两类企业财务状况数据两类企业财务状况数据 解:（1）检验两个总体的协方差矩阵相等G1=-0.45-0.41 1.09 0.45;-0.56-0.31 1.51 0.16;0.06 0.02 1.01 0.40;-0.07-0.09 1.45 0.26;-0.10-0.09 1.56 0.67;-0.14-0.07 0.71 0.28;0.04 0.01 1.50 0.71;-0.06-0.06 1.37 0.40;-0.13-0.14 1.42 0.44;G2=0.51 0.10 2.49 0.54;0.08 0.02 2.01 0.53;0.38 0.11 3.27 0.35;0.19 0.05 2.25 0.33;0.32 0.07 4.24 0.63;0.12 0.05 2.52 0.69;-0.02 0.02 2.05 0.35;0.22 0.08 2.35 0.40;0.17 0.07 1.80 0.52;%2%2类总体数据，每行为样品类总体数据，每行为样品x=-0.23-0.30 0.33 0.18;0.15 0.05 2.17 0.55;-0.28-0.23 1.19 0.66;0.48 0.09 1.24 0.18;%待判样品数据待判样品数据m1=mean(G1);m2=mean(G2);n1=size(G1,1);%总体总体G1G1的样本数的样本数n2=size(G2,1);%总体总体G2G2的样本数的样本数n=n1+n2;%两个总体合并的样本数两个总体合并的样本数p=4;%p%p为总体维数为总体维数s1=cov(G1);s2=cov(G2);s=(n1-1)*s1+(n2-1)*s2)/(n1+n2-2);%联合协方差矩阵联合协方差矩阵Q1=(n1-1)*(log(det(s)-log(det(s1)-p+trace(inv(s)*s1);Q2=(n2-1)*(log(det(s)-log(det(s2)-p+trace(inv(s)*s2);if Q1chi2inv(0.95,p*(p+1)/2)&Q2chi2inv(0.95,p*(p+1)/2)%Q1,Q2%Q1,Q2均小，则协方差相等均小，则协方差相等 disp(两组数据协方差相等两组数据协方差相等);else disp(两组数据协方差不全相等两组数据协方差不全相等);end;输出结果：输出结果：两组数据协方差不全相等两组数据协方差不全相等p*(p+1)/2为卡方分布自由度p1=n1/n;p2=n2/n;%计算先验概率计算先验概率,按比例分配按比例分配for i=1:4%4%4个样品个样品BayesBayes判别函数判别函数 d1(i)=mahal(x(i,:),G1)+log(det(s1)-2*log(p1);d2(i)=mahal(x(i,:),G2)+log(det(s2)-2*log(p2);if d1(i)=d2(i)disp(第第,num2str(i),个属于破产企业个属于破产企业);%判给判给G1G1 else disp(第第,num2str(i),个属于非破产企业个属于非破产企业);end;end;（2）根据第1步协方差矩阵不相等，构造判别函数判别输出结果：输出结果：第第1 1个属于破产企业，第个属于破产企业，第2 2个属于非破产企业个属于非破产企业 第第3 3个属于破产企业，第个属于破产企业，第4 4个属于非破产企业个属于非破产企业4.3.2 多个总体的Bayes判别 设有设有k k个总体个总体G1,G2,Gk的概率密度为的概率密度为fj(x)各各总体出现总体出现的先验概率为的先验概率为 1.一般讨论Bayes判别准则:若若则判样本则判样本 注：注：当达到最大后验概率的当达到最大后验概率的 不止一个时，可判不止一个时，可判为达到最大后验概率的总体的任何一个为达到最大后验概率的总体的任何一个.基本思想基本思想1多总体的多总体的Bayes判别判别2两个总体的两个总体的Bayes判别判别34.3.2多个正态总体Bayes判别（1）线性判别函数线性判别函数BayesBayes判别准则判别准则基于后验概率基于后验概率BayesBayes判别准则判别准则基于后验概率的Bayes判别准则4.3.2多个正态总体Bayes判别304.3.3 误判概率的频率估计例例4 4.3.3.3.3 医院利用心电图检测对人群进行划分医院利用心电图检测对人群进行划分.数据见表数据见表4-3.4-3.“g=1g=1”健康人健康人,“g=2g=2”-主动脉硬化患者主动脉硬化患者,“g=3g=3”-冠心病患者冠心病患者,X X1 1,X,X2-2-心心电图中心脏功能两项不相关指标电图中心脏功能两项不相关指标.某受试者心电图该两项指标数据为某受试者心电图该两项指标数据为380.20380.20，9.08.9.08.设先验概率按比例分配设先验概率按比例分配,进行进行bayesbayes判别判别,判定其归属判定其归属.表表4.3 244.3 24人心电图数据人心电图数据编号编号X1X2编号编号X1X2123456789101112261.01185.39249.58137.13231.34231.38260.25259.51273.84303.59231.03308.907.365.996.114.358.798.5310.029.798.798.536.158.49111111111112131415161718192021222324258.69355.54476.69316.12274.57409.42330.34331.47352.50347.31189.59380.207.169.4311.328.179.6710.499.6113.7211.0011.195.469.0822222233333待判待判32心电图图谱心电图图谱心电图各种波形心电图各种波形:P波波、QRS波群波群 Q波波、T波波、U波波P-R间期间期ST段段Q-T间期间期各波形间等电位线各波形间等电位线检验假设：检验统计量：解：（1）检验3个总体协方差矩阵相等A=261.017.36 189.595.46x=380.209.08;G1=A(1:11,:);G2=A(12:18,:);G3=A(19:23,:);%3%3类总体数据类总体数据n=23;k=3;p=2;n1=11;n2=7;n3=5;f=p*(p+1)*(k-1)/2;d=(2*p2+3*p-1)*(1/(n1-1)+1/(n2-1)+1/(n3-1)-1/(n-k)/(6*(p+1)*(k-1);p1=n1/n;p2=n2/n;p3=n3/n;m1=mean(G1);m2=mean(G2);m3=mean(G3);%检验总体协方差矩阵相等程序s1=cov(G1);s2=cov(G2);s3=cov(G3);%计算协方差阵计算协方差阵s=(n1-1)*s1+(n2-1)*s2+(n3-1)*s3)/(n-k);%联合协方差联合协方差M=(n-k)*log(det(s)-(n1-1)*log(det(s1)+(n2-1)*log(det(s2)+(n3-1)*log(det(s3);T=(1-d)*M%计算统计量计算统计量T T观测值观测值C=chi2inv(0.95,f)%卡方分布卡方分布0.050.05上分位数上分位数C C if Tchi2inv(0.95,f)disp(三组数据协方差相等三组数据协方差相等);else disp(三组数据协方差不全相等三组数据协方差不全相等);end;输出结果输出结果:由于由于TC,TC,故认为故认为3 3组数据协方差相等组数据协方差相等w(1)=m1*inv(s)*x-1/2*m1*inv(s)*m1+log(p1);w(2)=m2*inv(s)*x-1/2*m2*inv(s)*m2+log(p2);w(3)=m3*inv(s)*x-1/2*m3*inv(s)*m3+log(p3);for i=1:3%按照判别函数按照判别函数w(i)w(i)最大归属样品最大归属样品 if w(i)=max(w)disp(属于第属于第,num2str(i),组组);end;end;输出结果输出结果:待判样品待判样品属于第属于第2 2组组（2）在协方差阵相等情形下，进行Bayes判别分析线性判别函数线性判别函数例例4.3.4 4.3.4 20082008年全国部分地区城镇居民人均年家年全国部分地区城镇居民人均年家收入情况见表收入情况见表4-4.4-4.按四种指标分为二类，用按四种指标分为二类，用bayesbayes判别判定青海、广东两省区属于哪一类，并用回判别判定青海、广东两省区属于哪一类，并用回代法和交叉法对误判率进行估计代法和交叉法对误判率进行估计(假定误判损失相假定误判损失相等等).).38地区地区工薪收入工薪收入X1经营净收入经营净收入X2财产性收入财产性收入X3转移性收入转移性收入X4类型类型北京北京18738.96778.36452.757707.871上海上海21791.111399.14369.126199.771天津天津12849.73863.52256.877203.932江苏江苏12319.861999.61307.315548.782浙江浙江15538.833161.871324.944955.142福建福建12668.822185.13952.913879.292山东山东12940.621194.40346.903067.052西藏西藏12314.69303.34138.08891.422河北河北8891.501078.67224.863946.393山西山西9019.35983.21202.313654.113内蒙古内蒙古10284.431555.31324.643031.053辽宁辽宁9494.591483.30248.044610.323黑龙江黑龙江7393.391241.37122.833506.483安徽安徽9302.38959.43293.923603.723江西江西9105.961106.31265.352985.963河南河南9043.521161.96156.463545.863湖北湖北9474.811114.68244.133340.653湖南湖南9070.971575.08316.483614.743重庆重庆10957.62788.26205.943265.923宁夏宁夏10321.201314.40441.153316.443广西广西9117.001040.14262.903265.063四川四川7811.16770.86110.903492.703贵州贵州8596.881165.96849.453505.743云南云南9794.82544.00151.463356.853陕西陕西8354.63638.7665.332610.613甘肃甘肃8595.48763.0750.173458.633新疆新疆9422.22938.15141.751976.493青海青海8793.541856.94182.673285.49待判待判广东广东15188.392405.92701.253382.95待判待判表4-4 2008年全国各省、区、市城镇居民人均年家庭收入39解解：（：（1）输输入数据入数据clearA1=18738.96778.36452.757707.87121791.11 1399.14369.126199.77112849.73 863.52256.877203.93212319.86 1999.61307.315548.78215538.83 3161.871324.944955.14212668.82 2185.13952.913879.29212940.62 1194.40346.903067.05212314.69 303.34138.08891.4228891.501078.67224.863946.3939019.35983.21202.313654.11310284.43 1555.31324.643031.0539494.591483.30248.044610.3237393.391241.37122.833506.4839302.38959.43293.923603.7239105.961106.31265.352985.9639043.521161.96156.463545.8639474.811114.68244.133340.6539070.971575.08316.483614.74310957.62 788.26205.943265.92310321.20 1314.40441.153316.4439117.001040.14262.903265.0637811.16770.86110.903492.7038596.881165.96849.453505.7439794.82544.00151.463356.8538354.63638.7665.332610.6138595.48763.0750.173458.6339422.22938.15141.751976.493;检验假设：检验统计量：（2）检验3个总体协方差矩阵相等%检验三个总体的协方差矩阵相等程序 A=A1 A=A1(:,1:4(:,1:4););%读取读取A1A1数据数据 A2=A1 A2=A1(:,5(:,5););%读取读取A1A1中类属性中类属性x x=8595.48=8595.48 763.07763.07 50.1750.17 3458.633458.63 15188.3915188.39 2405.922405.92 701.25701.25 3382.95;3382.95;%待判样品待判样品G1=A(1:2,:);G2=A(3:8,:);G3=A(9:27,:);G1=A(1:2,:);G2=A(3:8,:);G3=A(9:27,:);%读取读取3 3类总体类总体n1=size(G1,1);n1=size(G1,1);%总体总体G1G1的样本数的样本数n2=size(G2,1);n2=size(G2,1);%总体总体G2G2的样本数的样本数n3=size(G3,1);n3=size(G3,1);%总体总体G3G3的样本数的样本数n=n1+n2+n3;n=n1+n2+n3;%三个总体合并的样本数三个总体合并的样本数k=3;p=4;f=p*(p+1)*(k-1)/2;k=3;p=4;f=p*(p+1)*(k-1)/2;d=(2*p2+3*p-1)*(1/(n1-1)+1/(n2-1)+1/(n3-1)-1/(n-d=(2*p2+3*p-1)*(1/(n1-1)+1/(n2-1)+1/(n3-1)-1/(n-k)/(6*(p+1)*(k-1);k)/(6*(p+1)*(k-1);p1=n1/n;p2=n2/n;p3=n3/n;p1=n1/n;p2=n2/n;p3=n3/n;m1=mean(G1);m2=mean(G2);m3=mean(G3);s1=cov(G1);s2=cov(G2);s3=cov(G3);%计算协方差阵计算协方差阵s=(n1-1)*s1+(n2-1)*s2+(n3-1)*s3)/(n-k);%联合协方差矩阵联合协方差矩阵M=(n-k)*log(det(s)-(n1-1)*log(det(s1)+(n2-1)*log(det(s2)+(n3-1)*log(det(s3);T=(1-d)*M%计算统计量计算统计量T T观测值观测值C=chi2inv(0.95,f)%卡方分布卡方分布0.050.05上分位数上分位数C C if Tchi2inv(0.95,f)disp(三组数据协方差相等三组数据协方差相等);else disp(三组数据协方差不全相等三组数据协方差不全相等);end；输出结果：输出结果：T=20.0037,C=31.4104，TC，3组数据协方差相等组数据协方差相等(2)基于协方差矩阵相等，构造Bayes线性判别函数%计算计算线性线性判别函数判别函数，按取值最大归属样品，按取值最大归属样品for i=1:2 w(1)=m1*inv(s)*x(i,:)-1/2*m1*inv(s)*m1+log(p1);w(2)=m2*inv(s)*x(i,:)-1/2*m2*inv(s)*m2+log(p2);w(3)=m3*inv(s)*x(i,:)-1/2*m3*inv(s)*m3+log(p3);%计算线性判别函数 for j=1:3 if w(j)=max(w)disp(待判样品属于第,num2str(j),类城市);end endend输出结果：输出结果：1 1号号待判样品属于第待判样品属于第3 3类城市类城市 2 2号号待判样品属于第待判样品属于第2 2类城市类城市n11=0;n22=0;n33=0;%初始误判率初始误判率for i=1:n1%计算计算G1G1总体样本线性总体样本线性判别函数判别函数结果结果 w1(i,1)=m1*inv(s)*G1(i,:)-1/2*m1*inv(s)*m1+log(p1);w1(i,2)=m2*inv(s)*G1(i,:)-1/2*m2*inv(s)*m2+log(p2);w1(i,3)=m3*inv(s)*G1(i,:)-1/2*m3*inv(s)*m3+log(p3);for j=1:3%计计算算G1G1总体中误判个数总体中误判个数 if w1(i,j)=max(w1(i,:)&j=1 n11=n11+1;end end end （3）计算回代误判率%w1(w1(i,ji,j)取最大且取最大且j j不为不为1 1，xixi判错判错误判个数，误判个数，计计算算G1G1总体中误判个数总体中误判个数for i=1:n2 w2(i,1)=m1*inv(s)*G2(i,:)-1/2*m1*inv(s)*m1+log(p1);w2(i,2)=m2*inv(s)*G2(i,:)-1/2*m2*inv(s)*m2+log(p2);w2(i,3)=m3*inv(s)*G2(i,:)-1/2*m3*inv(s)*m3+log(p3);for j=1:3 if w2(i,j)=max(w2(i,:)&j=2 n22=n22+1;end%计计算算G2G2总体中误判个数总体中误判个数 end end（3）计算回代误判率%计算计算G2G2总体样本线性总体样本线性判别函数判别函数结果结果for i=1:n3%计算计算G3G3总体样本线性总体样本线性判别函数判别函数结果结果 w3(i,1)=m1*inv(s)*G3(i,:)-1/2*m1*inv(s)*m1+log(p1);w3(i,2)=m2*inv(s)*G3(i,:)-1/2*m2*inv(s)*m2+log(p2);w3(i,3)=m3*inv(s)*G3(i,:)-1/2*m3*inv(s)*m3+log(p3);for j=1:3 if w3(i,j)=max(w3(i,:)&j=3 n33=n33+1;end end end p00=(n11+n22+n33)/(n1+n2+n3)%计算回代误判率计算回代误判率输出结果输出结果：p00=0 误判率误判率0，效果好，效果好 N11=0;N22=0;N33=0;%初始误判率初始误判率0 0for k=1:n1%总体总体G1G1误判率误判率 A=G1(1:k-1,k+1:n1,:);N1=length(A(:,1);M1=mean(A,1);s11=cov(A);S1=(N1-1)*s11+(n2-1)*s2+(n3-1)*s3)/(N1+n2+n3-k);P01=N1/(n-1);P02=n2/(n-1);P03=n3/(n-1);%先先验验概概率率按按比例比例（4）计计算交叉算交叉误误判率判率for i=1:n1%计算计算G1G1总体样本线性总体样本线性判别函数判别函数结果结果 W1(i,1)=M1*inv(S1)*G1(i,:)-1/2*M1*inv(S1)*M1+log(P01);W1(i,2)=m2*inv(S1)*G1(i,:)-1/2*m2*inv(S1)*m2+log(P02);W1(i,3)=m3*inv(S1)*G1(i,:)-1/2*m3*inv(S1)*m3+log(P03);for j=1:3%计算计算G1G1总体样本交叉误判率结果总体样本交叉误判率结果 if W1(i,j)=max(W1(i,:)&j=1 N11=N11+1;end end endend%w1(w1(i,ji,j)取最大且取最大且j j不为不为1 1，G1G1总体总体中样本中样本xixi判错，误判个数加判错，误判个数加2 2for k=1:n2 B=G2(1:k-1,k+1:n2,:);N2=length(B(:,1);M2=mean(B,1);s22=cov(B);S2=(n1-1)*s1+(N2-1)*s22+(n3-1)*s3)/(n1+N2+n3-k);%计算混合样本计算混合样本协协方差方差 P01=n1/(n-1);P02=N2/(n-1);P03=n3/(n-1);%计算先验概率计算先验概率 for i=1:n2%计算计算G2G2总体样本线性总体样本线性判别函数判别函数结果结果 W2(i,1)=m1*inv(S2)*G2(i,:)-1/2*m1*inv(S2)*m1+log(P01);W2(i,2)=M2*inv(S2)*G2(i,:)-1/2*M2*inv(S2)*M2+log(P02);W2(i,3)=m3*inv(S2)*G2(i,:)-1/2*m3*inv(S2)*m3+log(P03);for j=1:3 if W2(i,j)=max(W2(i,:)&j=2 N22=N22+1;end end endend%计算计算G2G2总体样本线性总体样本线性判别函数判别函数结果结果%w2(w2(i,ji,j)取最大且取最大且j j不为不为2 2，G2G2总体总体中中xixi判错，误判个数加判错，误判个数加1 1for k=1:n3 C=G3(1:k-1,k+1:n3,:);N3=length(C(:,1);M3=mean(C,1);s33=cov(C);S3=(n1-1)*s1+(n2-1)*s2+(N3-1)*s33)/(n1+n2+N3-k);%计算混合样本方差计算混合样本方差 P01=n1/(n-1);P02=n2/(n-1);P03=N3/(n-1);%计算先验概率计算先验概率 for i=1:n3%计算计算G3G3总体样本线性总体样本线性判别函数判别函数结果结果 W3(i,1)=m1*inv(S3)*G3(i,:)-1/2*m1*inv(S3)*m1+log(P01);W3(i,2)=m2*inv(S3)*G3(i,:)-1/2*m2*inv(S3)*m2+log(P02);W3(i,3)=M3*inv(S3)*G3(i,:)-1/2*M3*inv(S3)*M3+log(P03);%计算计算G3G3总体样本线性总体样本线性判别函数判别函数结果结果for j=1:3 if W3(i,j)=max(W3(i,:)&j=3 N33=N33+1;end end endendp11=(N11+N22+N33)/(n1+n2+n3)%计算交叉误判率计算交叉误判率输输出出结结果：果：p11=0.0370 交叉交叉误误判率判率3.70%，效果，效果较较好。好。%w3(w3(i,ji,j)取最大且取最大且j j不为不为3 3，G3G3总体中总体中xixi判错，误判个数加判错，误判个数加1 152内容距离判别（两总体及多总体距离判别）；距离判别（两总体及多总体距离判别）；判别准则评价判别准则评价(回代误判率、交叉误判率回代误判率、交叉误判率););BayesBayes判别判别(基本思想、基本思想、BayesBayes判别准则判别准则)重点两总体两总体BayesBayes判别准则判别准则(距离判别距离判别)，误判率的估计；，误判率的估计；作业 4.4 .4 4 4.5.5本章小结53正态总体广义平方距离:线性判别函数