黄庆明-模式识别与机器学习-第三章-作业.doc

·在一个10类的模式识别问题中，有3类单独满足多类情况1，其余的类别满足多类情况2。问该模式识别问题所需判别函数的最少数目是多少？

应该是
其中加一是分别3类 和 7类

·一个三类问题，其判别函数如下：
d1(x)=-x1, d2(x)=x1+x2-1, d3(x)=x1-x2-1
(1)设这些函数是在多类情况1条件下确定的，绘出其判别界面和每一个模式类别的区域。

(2) 设为多类情况2，并使：d12(x)= d1(x), d13(x)= d2(x), d23(x)= d3(x)。绘出其判别界面和多类情况2的区域。

(3)设d1(x), d2(x)和d3(x)是在多类情况3的条件下确定的，绘出其判别界面和每类的区域。

·两类模式，每类包括5个3维不同的模式，且良好分布。如果它们是线性可分的，问权向量至少需要几个系数分量？假如要建立二次的多项式判别函数，又至少需要几个系数分量？（设模式的良好分布不因模式变化而改变。）
如果线性可分，则4个
建立二次的多项式判别函数，则个

·(1)用感知器算法求下列模式分类的解向量w:
ω1: {(0 0 0)T, (1 0 0)T, (1 0 1)T, (1 1 0)T}
ω2: {(0 0 1)T, (0 1 1)T, (0 1 0)T, (1 1 1)T}

将属于ω2的训练样本乘以（-1），并写成增广向量的形式。
x①=(0 0 0 1)T, x②=(1 0 0 1)T, x③=(1 0 1 1)T, x④=(1 1 0 1)T
x⑤=(0 0 -1 -1)T, x⑥=(0 -1 -1 -1)T, x⑦=(0 -1 0 -1)T, x⑧=(-1 -1 -1 -1)T
第一轮迭代：取C=1，w(1)=(0 0 0 0) T
因w T (1) x① =(0 0 0 0)(0 0 0 1) T =0 ≯0，故w(2)=w(1)+ x① =(0 0 0 1)
因w T(2) x② =(0 0 0 1)(1 0 0 1) T =1>0，故w(3)=w(2)=(0 0 0 1)T
因wT(3)x③=(0 0 0 1)(1 0 1 1)T=1>0，故w(4)=w(3) =(0 0 0 1)T
因wT(4)x④=(0 0 0 1)(1 1 0 1)T=1>0，故w(5)=w(4)=(0 0 0 1)T
因wT(5)x⑤=(0 0 0 1)(0 0 -1 -1)T=-1≯0，故w(6)=w(5)+ x⑤=(0 0 -1 0)T
因wT(6)x⑥=(0 0 -1 0)(0 -1 -1 -1)T=1>0，故w(7)=w(6)=(0 0 -1 0)T
因wT(7)x⑦=(0 0 -1 0)(0 -1 0 -1)T=0≯0，故w(8)=w(7)+ x⑦=(0 -1 -1 -1)T
因wT(8)x⑧=(0 -1 -1 -1)(-1 -1 -1 -1)T=3>0，故w(9)=w(8) =(0 -1 -1 -1)T
因为只有对全部模式都能正确判别的权向量才是正确的解，因此需进行第二轮迭代。
第二轮迭代：
因wT(9)x①=(0 -1 -1 -1)(0 0 0 1)T=-1≯0，故w(10)=w(9)+ x① =(0 -1 -1 0)T
因wT(10)x②=(0 -1 -1 0)( 1 0 0 1)T=0≯0，故w(11)=w(10)+ x② =(1 -1 -1 1)T
因wT(11)x③=(1 -1 -1 1)( 1 0 1 1)T=1>0，故w(12)=w(11) =(1 -1 -1 1)T
因wT(12)x④=(1 -1 -1 1)( 1 1 0 1)T=1>0，故w(13)=w(12) =(1 -1 -1 1)T
因wT(13)x⑤=(1 -1 -1 1)(0 0 -1 -1)T=0≯0，故w(14)=w(13)+ x⑤ =(1 -1 -2 0)T
因wT(14)x⑥=(1 -1 -2 0)( 0 -1 -1 -1)T=3>0，故w(15)=w(14) =(1 -1 -2 0)T
因wT(15)x⑧=(1 -1 -2 0)( 0 -1 0 -1)T=1>0，故w(16)=w(15) =(1 -1 -2 0)T
因wT(16)x⑦=(1 -1 -2 0)( -1 -1 -1 -1)T=2>0，故w(17)=w(16) =(1 -1 -2 0)T
因为只有对全部模式都能正确判别的权向量才是正确的解，因此需进行第三轮迭代。
第三轮迭代：
w(25)=(2 -2 -2 0);
因为只有对全部模式都能正确判别的权向量才是正确的解，因此需进行第四轮迭代。
第四轮迭代：
w(33)=(2 -2 -2 1)
因为只有对全部模式都能正确判别的权向量才是正确的解，因此需进行第五轮迭代。
第五轮迭代：
w(41)=(2 -2 -2 1)
因为该轮迭代的权向量对全部模式都能正确判别。所以权向量即为(2 -2 -2 1),相应的判别函数为

(2)编写求解上述问题的感知器算法程序。
见附件

·用多类感知器算法求下列模式的判别函数：
ω1: (-1 -1)T
ω2: (0 0)T
ω3: (1 1)T
将模式样本写成增广形式：
x①=(-1 -1 1)T, x②=(0 0 1)T, x③=(1 1 1)T
取初始值w1(1)=w2(1)=w3(1)=(0 0 0)T，C=1。
第一轮迭代（k=1）：以x①=(-1 -1 1)T 作为训练样本。
d1(1)=x①=(0 0 0)(-1 -1 1)T=0
d2(1)=x①=(0 0 0)(-1 -1 1)T=0
d3(1)=x①=(0 0 0)(-1 -1 1)T=0
因d1(1)≯d2(1)，d1(1)≯d3(1)，故
w1(2)=w1(1)+x①=(-1 -1 1)T
w2(2)=w2(1)-x①=(1 1 -1)T
w3(2)=w3(1)-x①=(1 1 -1)T
第二轮迭代（k=2）：以x②=(0 0 1)T作为训练样本
d1(2)=x②=(-1 -1 1)(0 0 1)T=1
d2(2)=x②=(1 1 -1)(0 0 1)T=-1
d3(2)=x②=(1 1 -1)(0 0 1)T=-1
因d2(2)≯d1(2)，d2(2)≯d3(2)，故
w1(3)=w1(2)-x②=(-1 -1 0)T
w2(3)=w2(2)+x②=(1 1 0)T
w3(3)=w3(2)-x②=(1 1 -2)T
第三轮迭代（k=3）：以x③=(1 1 1)T作为训练样本
d1(3)=x③=(-1 -1 0)(1 1 1)T=-2
d2(3)=x③=(1 1 0)(1 1 1)T=2
d3(3)=x③=(1 1 -2)(1 1 1)T=0
因d3(3)≯d2(3)，故
w1(4)=w1(3) =(-1 -1 0)T
w2(4)=w2(3)-x③=(0 0 -1)T
w3(4)=w3(3)+x③=(2 2 -1)T
第四轮迭代（k=4）：以x①=(-1 -1 1)T作为训练样本
d1(4)=x①=(-1 -1 0)(-1 -1 1)T=2
d2(4)=x①=(0 0 -1)(-1 -1 1)T=-1
d3(4)=x①=(2 2 -1)(-1 -1 1)T=-5
因d1(4)>d2(4)，d1(4)>d3(4)，故
w1(5)=w1(4) =(-1 -1 0)T
w2(5)=w2(4) =(0 0 -1)T
w3(5)=w3(4) =(2 2 -1)T
第五轮迭代（k=5）：以x②=(0 0 1)T作为训练样本
d1(5)=x②=(-1 -1 0)(0 0 1)T=0
d2(5)=x②=(0 0 -1)(0 0 1)T=-1
d3(5)=x②=(2 2 -1)(0 0 1)T=-1
因d2(5) ≯d1(5)，d2(5) ≯d3(5)，故
w1(6)=w1(5)-x② =(-1 -1 -1)
w2(6)=w2(5)+x②=(0 0 0)
w3(6)=w3(5)-x②=(2 2 -2)
第六轮迭代（k=6）：以x③=(1 1 1)T作为训练样本
d1(6)=x③=(-1 -1 -1)(1 1 1)T=-3
d2(6)=x③=(0 0 0)(1 1 1)T=0
d3(6)=x③=(2 2 -2)(1 1 1)T=2
因d3(6)>d1(6)，d3(6)>d2(6)，故
w1(7)=w1(6)
w2(7)=w2(6)
w3(7)=w3(6)
第七轮迭代（k=7）：以x①=(-1 -1 1)T作为训练样本
d1(7)=x①=(-1 -1 -1)(-1 -1 1)T=1
d2(7)=x①=(0 0 0)(-1 -1 1)T=0
d3(7)=x①=(2 2 -2)(-1 -1 1)T=-6
因d1(7)>d2(7)，d1(7)>d3(7)，分类结果正确，故权向量不变。
由于第五、六、七次迭代中x①、x②、x③均已正确分类，所以权向量的解为：
w1=(-1 -1 -1)T
w2=(0 0 0)T
w3=(2 2 -2)T
三个判别函数：
d1(x)=- x1 -x2-1
d2(x)=0
d3(x)=2x1+2x2-2

·采用梯度法和准则函数

式中实数b>0，试导出两类模式的分类算法。

其中，

当时，则w(k+1) = w(k)，此时不对权向量进行修正；当时，则，需对权向量进行校正，初始权向量w(1)的值可任选。即

用二次埃尔米特多项式的势函数算法求解以下模式的分类问题
ω1: {(0 1)T, (0 -1)T}
ω2: {(1 0)T, (-1 0)T}
（1）

按第一类势函数定义，得到势函数

其中，
（2）通过训练样本逐步计算累积位势K(x)
给定训练样本：ω1类为x①=(0 1)T, x②=(0 -1)T
ω2类为x③=(1 0)T, x④=(-1 0)T
累积位势K(x)的迭代算法如下
第一步：取x①=(0 1)T∈ω1，故

第二步：取x②=(0 -1)T∈ω1，故K1(x②)=5
因K1(x②)>0且x②∈ω1，故K2(x)=K1(x)
第三步：取x③=(1 0)T∈ω2，故K2(x③)=9
因K2(x③)>0且x③∈ω2，故
第四步：取x④=(-1 0)T∈ω2，故K3(x④)=4
因K3(x④)>0且x④∈ω2，

将全部训练样本重复迭代一次，得
第五步：取x⑤=x①=(0 1)T∈ω1，K4(x⑤)=27>0
故K5(x)=K4(x)
第六步：取x⑥=x②=(0 -1)T∈ω1，K5(x⑥)=-13<0
故
第七步：取x⑦=x③=(1 0)T∈ω2，K6(x⑦)=-32<0
故K7(x)=K6(x)
第八步：取x⑧=x④=(-1 0)T∈ω2，K7(x⑧)=-32<0
故K8(x)=K7(x)
第九步：取x⑨=x①=(0 1)T∈ω1 ，K8(x⑨)=32>0
故K9(x)=K8(x)
第十步：取x⑩=x② =(0 -1)T∈ω1，K9(x⑩)=32>0
故K10(x)=K9(x)
其中第七步到第十步的迭代过程中对全部训练样本都能正确分类，因此算法收敛于判别函数

·用下列势函数

求解以下模式的分类问题
ω1: {(0 1)T, (0 -1)T}
ω2: {(1 0)T, (-1 0)T}

取α=1，在二维情况下势函数为

这里：ω1类为x①=(0 1)T, x②=(0 -1)T
ω2类为x③=(1 0)T, x④=(-1 0)T
可以看出，这两类模式是线性不可分的。算法步骤如下：
第一步：取x①=(0 1)T∈ω1，则
第二步：取x②=(0 -1)T∈ω1
因K1(x②)=e-(4+0)=e-4>0，故K2(x)=K1(x)
第三步：取x③=(1 0)T∈ω2
因K2(x③)=e-(1+1)=e-2>0，故第四步：取x④=(-1 0)T∈ω2
因K3(x④)=e-(1+1) - e-(4+0) =e-2 - e-4>0，故
第五步：取x⑤=(0 1)T∈ω1
因K4(x⑤)=1-e-(1+1) - e-(1+1) =1-e-2 - e-2>0，故K5(x)=K4(x)
第六步：取x⑥=(0 -1)T∈ω1
因K5(x⑥)= e-(0+4) - e-(1+1) - e-(1+1) =e-4 - e-2- e-2<0，故
第七步：取x⑦=(1 0)T∈ω2
因K6(x⑦)= e-(1+1) + e-(1+1)–1- e-(4+0) =e-2 +e-2-1-e-4<0
故
第八步：取x⑧=(-1 0)T∈ω2
因K7(x⑧)= e-(1+1) + e-(1+1) - e-(4+0) - 1=e-2 +e-2-e-4- 1<0
故
第九步：取x⑨=(0 1)T∈ω1
因K8(x⑨)= e-(0+4) + 1- e-(1+1) - e-(1+1)=e-4 +1-e-2-e-2>0
故
第十步：取x⑩=(0 -1)T∈ω1
因K8(x⑨)= 1 + e-(0+4)- e-(1+1) - e-(1+1)= 1+e-4-e-2-e-2>0
故
最后，从第七步到第十步的迭代过程中，全部模式都已正确分类，故算法已经收敛于判别函数：