第三章模识作业.doc

第三章 判别函数
1、在一个10类的模式识别问题中，有3类单独满足多类情况1，其余的类别满足多类情况2。问该模式识别问题所需判别函数的最少数目是多少？
解:判别满足多类情况1的3类情况需N1=3个判别函数；判别满足多类情况2的7类情况需N2=C72=21个判别函数。故至少需要N=N1+N2=24个判别函数。
2、一个三类问题，其判别函数如下：
d1(x)=-x1, d2(x)=x1+x2-1, d3(x)=x1-x2-1
(1)设这些函数是在多类情况1条件下确定的，绘出其判别界面和每一个模式类别的区域。
(2)设为多类情况2，并使：d12(x)= d1(x), d13(x)= d2(x), d23(x)= d3(x)。绘出其判别界面和多类情况2的区域。
(3)设d1(x), d2(x)和d3(x)是在多类情况3的条件下确定的，绘出其判别界面和每类的区域。
解：(1)判别界面如下

的模式，应同时满足：d1(x)>0，d2(x)<0，d3(x)<0
的模式，应同时满足：d1(x)<0，d2(x)>0，d3(x)<0
的模式，应同时满足：d1(x)<0，d2(x)<0，d3(x)>0
(2) 判别界面如下

的模式，应同时满足：d12(x)>0，d13(x)>0
的模式，应同时满足：d21(x)>0，d23(x)>0
的模式，应同时满足：d31(x)>0，d32(x)>0
(3) 判别界面如下

的模式，应同时满足：d1(x)>d2(x)，d1(x)>d3(x)
的模式，应同时满足：d2(x)>d1(x)，d2(x)>d3(x)
的模式，应同时满足：d3(x)>d1(x)，d3(x)>d2(x)
3、两类模式，每类包括5个3维不同的模式，且良好分布。如果它们是线性可分的，问权向量至少需要几个系数分量？假如要建立二次的多项式判别函数，又至少需要几个系数分量？（设模式的良好分布不因模式变化而改变。）
解：(1)线性可分时，所需权向量至少个系数分量。
(2) 建立二次的多项式判别函数, 所需权向量至少个系数分量。
4、用感知器算法求下列模式分类的解向量w:
ω1: {(0 0 0)T, (1 0 0)T, (1 0 1)T, (1 1 0)T}
ω2: {(0 0 1)T, (0 1 1)T, (0 1 0)T, (1 1 1)T}
解：将属于ω2的训练样本乘以（-1），并写成增广向量的形式。
x1=(0 0 0 1)T, x2=(1 0 0 1)T, x3=(1 0 1 1)T, x4=(1 1 0 1)T,
x5=(0 0 -1 -1)T, x6=(0 -1 -1 -1)T, x7=(0 -1 0 -1)T, x8=(-1 -1 -1 -1)T
第一轮迭代：取C=1，w(1)= (0 0 0 0)T
因wT(1)x1≯0，故w(2)=w(1)+x1=(0 0 0 1)T
因wT(2)x2>0，故w(3)=w(2)=(0 0 0 1)T
因wT(3)x3>0，故w(4)=w(3)=(0 0 0 1)T
因wT(4)x4>0，故w(5)=w(4)=(0 0 0 1)T
因wT(5)x5≯0，故w(6)=w(5)+x5=(0 0 -1 0)T
因wT(6)x6>0，故w(7)=w(6)=(0 0 -1 0)T
因wT(7)x7≯0，故w(8)=w(7)+x(7)=(0 -1 -1 -1)T
因wT(8)x8>0，故w(9)=w(8)=(0 -1 -1 -1)T
第二轮迭代：
因wT(9)x1≯0，故w(10)=w(9)+x1=(0 -1 -1 0)T
因wT(10)x2≯0，故w(11)=w(10)+x2=(1 -1 -1 1)T
因wT(11)x3>0，故w(12)=w(11)=(1 -1 -1 1)T
因wT(12)x4>0，故w(13)=w(12)=(1 -1 -1 1)T
因wT(13)x5≯0，故w(14)=w(13)+x5=(1 -1 -2 0)T
因wT(14)x6>0，故w(15)=w(14)=(1 -1 -2 0)T
因wT(15)x7>0，故w(16)=w(15)=(1 -1 -2 0)T
因wT(16)x8>0，故w(17)=w(16)=(1 -1 -2 0)T
第三轮迭代：
因wT(17)x1≯0，故w(18)=w(17)+x1=(1 -1 -2 1)T
因wT(18)x2>0，故w(19)=w(18)=(1 -1 -2 1)T
因wT(19)x3≯0，故w(20)=w(19)+x3=(2 -1 -1 2)T
因wT(20)x4>0，故w(21)=w(20)=(2 -1 -1 2)T
因wT(21)x5≯0，故w(22)=w(21)+x5=(2 -1 -2 1)T
因wT(22)x6>0，故w(23)=w(22)=(2 -1 -2 1)T
因wT(23)x7≯0，故w(24)=w(23)+x7=(2 -2 -2 0)T
因wT(24)x8>0，故w(25)=w(24)=(2 -2 -2 0)T
第四轮迭代：
因wT(25)x1≯0，故w(26)=w(25)+x1=(2 -2 -2 1)T
因wT(26)x2>0，故w(27)=w(26)= (2 -2 -2 1)T
因wT(27)x3≯0，故w(28)=w(27)+x3=(2 -2 -2 1)T
因wT(28)x4>0，故w(29)=w(28)= (2 -2 -2 1)T
因wT(29)x5≯0，故w(30)=w(29)+x5=(2 -2 -2 1)T
因wT(30)x6>0，故w(31)=w(30)= (2 -2 -2 1)T
因wT(31)x7≯0，故w(32)=w(31)+x7=(2 -2 -2 1)T
因wT(32)x8>0，故w(33)=w(32)= (2 -2 -2 1)T
第五轮迭代：
因wT(33)x1>0，故w(34)=w(33)= (2 -2 -2 1)T
至此，迭代结果全部正确，因此解向量w=(2 -2 -2 1)T，相应的判别函数为：
d(x)=2x1-2x2-2x3+1
感知器算法程序见GANZHIQI.txt，程序运行结果如下

• 5、用多类感知器算法求下列模式的判别函数：
ω1: (-1 -1)T ω2: (0 0)T ω3: (1 1)T
解：将模式样本写成增广形式：
x1=(-1 -1 1)T, x2=(0 0 1)T, x3=(1 1 1)T
取初始值w1(1)=w2(1)=w3(1)=(0 0 0)T，C=1。
第一轮迭代（k=1）：以x1=(-1 -1 1)T作为训练样本
d1(1)=x1=0
d2(1)=x1=0
d3(1)=x1=0
因d1(1)≯d2(1)，d1(1)≯d3(1)，故
w1(2)=w1(1)+x1=(-1 -1 1)T
w2(2)=w2(1)-x1=(1 1 -1)T
w3(2)=w3(1)-x1=(1 1 -1)T
第二轮迭代（k=2）：以x2=(0 0 1)T作为训练样本
d1(2)=x2=1
d2(2)=x2=-1
d3(2)=x2=-1
因d2(2)≯d1(2)，d2(2)≯d3(2)，故
w1(3)=w1(2)-x2=(-1 -1 0)T
w2(3)=w2(2)+x2=(1 1 0)T
w3(3)=w3(2)-x2=(1 1 -2)T
第三轮迭代（k=3）：以x3=(1 1 1)T作为训练样本
d1(3)=x3 =-2
d2(3)=x3=2
d3(3)=x3=0
因d3(3)>d1(3)，d3(3)≯d2(3)，故
w1(4)=w1(3)=(-1 -1 0)T
w2(4)=w2(3)-x3=(0 0 -1)T
w3(4)=w3(3)+x3=(2 2 -1)T
第四轮迭代（k=4）：以x1=(-1 -1 1)T作为训练样本
d1(4)=x1=2
d2(4)=x1=-1
d3(4)=x1=-5
因d1(4)>d2(4)，d1(4)>d3(4)，故
w1(5)=w1(4)=(-1 -1 0)T
w2(5)=w2(4)=(0 0 -1)T
w3(5)=w3(4)=(2 2 -1)T
第五轮迭代（k=5）：以x2=(0 0 1)T作为训练样本
d1(5)=x2=0
d2(5)=x2=-1
d3(5)=x2=-1
因d2(5) ≯d1(5)，d2(5) ≯>d3(5)，故
w1(6)=w1(5)-x2=(-1 -1 -1)
w2(6)=w2(5)+x2=(0 0 0)
w3(6)=w3(5)-x2=(2 2 -2)
第六轮迭代（k=6）：以x3=(1 1 1)T作为训练样本
d1(6)=x3=-3
d2(6)=x3=0
d3(6)=x3=2
因d3(6)>d1(6)，d3(6)>d2(6)，故
w1(7)=w1(6)
w2(7)=w2(6)
w3(7)=w3(6)
第七轮迭代（k=7）：以x1=(-1 -1 1)T作为训练样本
d1(7)=x1 =1
d2(7)=x1=0
d3(7)=x1=-6
因d1(7)>d2(7)，d1(7)>d3(7)，故
w1(8)=w1(7)
w2(8)=w2(7)
w3(8)=w3(7)
第八轮迭代（k=8）：以x2=(0 0 1)T作为训练样本
d1(8)=x2 =-1
d2(8)=x2=0
d3(8)=x2=2
因d2(8)>d1(8)，d2(8)>d3(8)，故分类结果正确，故权向量不变。
由于第六、七、八次迭代中x1、x2、x3均已正确分类，所以权向量的解为：
w1=(-1 -1 -1)T
w2=(0 0 0)T
w3=(2 2 -2)T
三个判别函数：
d1(x)=-x1-x2-1
d2(x)=0
d3(x)=2x1+2x2-2

6、采用梯度法和准则函数

式中实数b>0，试导出两类模式的分类算法。
解：J对w求偏导：

则分类算法为：

7、用二次埃尔米特多项式的势函数算法求解以下模式的分类问题
ω1: {(0 1)T, (0 -1)T}
ω2: {(1 0)T, (-1 0)T}
（1） 解：建立二维的正交函数集
取Hermite多项式第一、三项H0(x)=1,H2(x)=4x2-2,则

（2） 生成势函数
按第一类势函数定义，得到势函数

其中，
（3） 通过训练样本逐步计算累积位势K(x)
给定训练样本：ω1类为x①=(0 1)T, x②=(0 -1)T
ω2类为x③=(1 0)T, x④=(-1 0)T
累积位势K(x)的迭代算法如下
第一步：取x①=( 0 1)T∈ω1，故
K1(x)=K(x, x①)=
=
第二步：取x②=(0 -1)T∈ω1，故K1(x②)=1+8*(-4)*(-2)*2>0
K2(x)=K1(x)=
第三步：取x③=(1 0)T∈ω2，故K2(x③)=1-8-4*2*(-2)>0
因K2(x③)>0且x③∈ω2，故
K3(x)=K2(x)- K(x,x)
= =
第四步：取x④=(-1 0 )T∈ω2，故K3(x④)<0
因K3(x④)<0且x④∈ω2，
故K4(x)=K3(x)=
将全部训练样本重复迭代一次，得
第五步：取x⑤=x①=(0 1)T∈ω1，K4(x⑤)>0
故K5(x)=K4(x)=
第六步：取x⑥=x②=(0 -1)T∈ω1，K5(x⑥)>0
故K6(x)=K5(x)=
第七步：取x⑦=x③=(1 0)T∈ω2，K6(x⑦)<0
故K7(x)=K6(x)=
第八步：取x⑧=x④=(-1 0)T∈ω2，K7(x⑧)<0
故K8(x)=K7(x)=
以上对全部训练样本都能正确分类，因此算法收敛于判别函数
d(x)=
8、用下列势函数：

求解以下模式的分类问题
ω1: {(0 1)T, (0 -1)T}
ω2: {(1 0)T, (-1 0)T}
解：
取α=1，则在二维情况下势函数为

ω1类为x①=(0 1)T, x②=(0 -1)T
ω2类为x③=(1 0)T, x④=(-1 0)T
第一步：取x①=(0 1)T∈ω1，则
K1(x)=K(x,x①)=
第二步：取x②=(0 -1)T∈ω1
因K1(x②)= e-4>0，
故K2(x)=K1(x)=
第三步：取x③=(1 0)T∈ω2
因K2(x③)= e-2>0，
故K3(x)=K2(x)-K(x,x③)=
第四步：取x④=(-1 0)T∈ω2
因K3(x④) = =e-2-e-4>0，
故K4(x)=K3(x)-K(x,x④)
=
需对全部训练样本重复迭代一次
第五步：取x⑤=x①=(0 1)T∈ω1，K4(x⑤)= =1-2e-2>0
故K5(x)=K4(x)
第六步：取x⑥=x②=(0 -1)T∈ω1，K5(x⑥) =e-4-2e-2<0
故K6(x)=K5(x)+K(x,x⑥)
=
第七步：取x⑦=x③=(1 0)T∈ω2，K6(x⑦)= 2e-2-e-4-1<0
故K7(x)=K6(x)
第八步：取x⑧=x④=(-1 0)T∈ω2，K7(x⑧)= 2e-2-e-4-1<0
故K8(x)=K7(x)
第九步：取x⑨=x①=(0 1)T∈ω1，K8(x⑨)= 1+e-4-2e-2>0
故K9(x)=K8(x)
第十步：取x⑩=x②=(0 -1)T∈ω1，K9(x⑩) >0
故K10(x)=K9(x)
经过上述迭代，全部模式都已正确分类，因此算法收敛于判别函数