模式识别与MATLAB.ppt

模式识别与模式识别与MATLAB-信息信息0603 康叶康叶主讲内容Fisher算法及MATLAB实现Svm（support vector machine）与优化通过MATLAB编程进一步熟悉一下模式识别中的一些典型算法典型算法典型算法聚类算法：1、层次聚类2、划分聚类分类器算法3、线性判别函数4、Bayes算法W2W1W3L1L3L21、层次聚类单连接算法单连接算法第一步：将n个样本分配到n个簇中，计算距离矩阵；第二步：计算最新距离矩阵，将拥有最小簇间距离的两个簇合并，得到新簇集合；第三步：若簇数大于1，重复第二步；若为1，则结束。Matlab代码样本：x数据标准化：xn=zscore(x)计算样本间距离：Y=pdist(xn,distance)距离矩阵：squareform（y)调用z=linkage（y,method）dendrogram(z)生成层次图调用T=cluster（z，c）对样本进行分类Distance:Euclid：欧拉距离Hamming:汉明距离Function：DISTFUNY=(1:6)X=0123104524063560,squareform(Y)=X,squareform(X)=Y.MethodSingle：最小距离Complete：最大距离Average、weighted：平均距离Centroid、median：重心法Example：出生死亡率（）平均寿命满族5.870.59朝鲜族7.4467.14蒙古族8.1167.14维吾尔族 10.21 58.88藏族9.5159.24哈萨克族 9.8160.47clearX=5.80 90.59 7.44 67.14 8.11 65.48 10.21 58.88 9.51 59.24 9.81 60.47;Xn=zscore(X);Y=pdist(Xn,euclid)squareform(Y)figureZ=linkage(Y,centroid);dendrogram(Z);T=cluster(Z,3)Clusterdatak-均值均值(k-means)算法算法给定给定k，算法的处理流程如下，算法的处理流程如下:第一步：随机的把所有对象分配到k个非空的簇中；第二步：计算每个簇的平均值，并用该平均值代表相应的簇中心；第三步：将每个对象根据其与各个簇中心的距离，重新分配到与它距离最近的簇中；第四步：重复2,3直到k个簇的中心点不再发生变化或准则函数Je收敛。2、划分聚类Matlab代码直接调用库函数kmeans（）IDX,C,SUMD,D=KMEANS(X,K,PARAM1,val1,PARAM2,val2,.)DistanceStartReplicatesDisplayExample:X=randn(20,2)+ones(20,2);randn(20,2)-ones(20,2);cidx,ctrs=kmeans(X,2,dist,city,rep,5,disp,final);plot(X(cidx=1,1),X(cidx=1,2),r.,.X(cidx=2,1),X(cidx=2,2),b.,ctrs(:,1),ctrs(:,2),kx);3、线性判别函数现抽取n个特征为：判别函数：判别条件：g1(x)g2(x)和 g1(x)g3(x)实现步骤第一步：初始化各权值矢量W=0；第二步：将所有样本x（k）进行计算，求的g(x(k)；第三步：若x（k）判断gi（k）是不是最大值，若是，权值不用修改；否则权值需修正；W+x（k）,Wj-x（k）第四步：重复2,3直到权值不再修正。第五步：求的gij=gi-gj Matlab代码g=sample(i,:)*w;length(find(d=max(d)=1|find(d=max(d)=y(i);%判断是否是最大值w=w+sample(i,:)*2*(y(i)=1)-1,2*(y(i)=2)-1,2*(y(i)=3)-1;%修正权值flag=1;%设标志位w=w(:,1)-w(:,2),w(:,2)-w(:,3),w(:,3)-w(:,1);%求的gij 例：对一批人进行癌症普查，患癌症者定为属例：对一批人进行癌症普查，患癌症者定为属 1类，类，正常者定为属正常者定为属 2类。统计资料表明人们患癌的概率类。统计资料表明人们患癌的概率 ，从而，从而 。设有一种诊断此病的。设有一种诊断此病的试验，其结果有阳性反应和阴性反应之分，依其作诊试验，其结果有阳性反应和阴性反应之分，依其作诊断。化验结果是一维离散模式特征。统计资料表明：断。化验结果是一维离散模式特征。统计资料表明：癌症者有阳性反映的概率为癌症者有阳性反映的概率为0.95即即 ，从而可知从而可知 ，正常人阳性反映的概率，正常人阳性反映的概率为为0.01即即 ,可知可知 。4、Bayes算法对于两类对于两类 1 1，2 2问题，直观地，可以根据问题，直观地，可以根据后验概率后验概率做判决：做判决：随机模式分类识别，通常称为随机模式分类识别，通常称为Bayes(Bayes(贝叶斯贝叶斯)判决。判决。主要依据类的概率、概密，按照某种主要依据类的概率、概密，按照某种准则准则使分类结果使分类结果从统计上讲是最佳的。从统计上讲是最佳的。准则函数准则函数不同，所导出的不同，所导出的判决规则判决规则就就不同，分类结果也不同。不同，分类结果也不同。将将P(i|x)代入判别式，判别规则可表示为代入判别式，判别规则可表示为根据根据Bayes公式，后验概率公式，后验概率 可由类可由类 i的先验概率的先验概率P(i)和条件概率密度和条件概率密度 来表示，即来表示，即最小误判概率准则下的判决规则：如果则判另一个等价形式是：如果 则判由贝叶斯定理对于多类问题，对于多类问题，最小误判概率准则最小误判概率准则有如下有如下几种等价的判决规则几种等价的判决规则:若若 ，则判，则判 若若 ，则判，则判（后验概率形式）（后验概率形式）若若 ，则判，则判 若若 ，则判，则判（条件概率形式）（条件概率形式）实现步骤1、先验概率：2、类概率：3、后验概率：4、判别：Fisher算法二维模式向一维空间投影示意图二维模式向一维空间投影示意图oxyoyx映射Y空间Y=WTX-W00X 1Y=WTX-W0W0则X1;Y=WTXW0则X2。分类问题就解决了实现步骤第一步：把来自两类1/2的训练样本集X分成与1对应的子集X1和与X2对应的子集；第二步：由计算xi；第三步：由计算各类的类内离差阵S1，S2第四步：计算类内总离差阵Sw=S1+S2第五步：计算的逆矩阵第六步：按 求解W第七步：第八步：第九步：对未知模式x判定模式类Svm（supportvectormachine）与优化首先看一下它处理分类问题的情况：判别函数判别准则核函数解决线性不可分问题：低维空间的线性不可分非线性转换高维空间的线性可分由于维数是升高，很大程度上增大了计算量，所以引进多项式内积核函数。线性核函数（linear）高斯径向基核函数（rbf）D阶（非）齐次多项式核函数（poly）指数型径向基核函数（erfb）example:线性判别：二阶多项式判别：clearloadlineardatac=100;ker=linear;nsv,alpha,bias=svc(x,y,c)svcplot(x,y,ker,alpha,bias);clearloadiris2%poly2c=inf;ker=poly;globalp1p1=2;nsv,alpha,bias=svc(x,y,ker,c)svcplot(x,y,ker,alpha,bias);