模式分类 课后答案详解 部分难题.pdf

Solutions for Pattern Classification CH.2Bui ldi ng C303,Harbi n Inst i t ut e of Tec h nology,Sh enzh en Uni versi t y Town,Xi li,Sh enzh en,Guangdong Provi nc e,P.R.Ch i na Yongh ui Wu,Yaoy un Zh ang;y ongh ui.wugmai l.c omPr o bl em 12 a)Suppose t h at P(cumaxx)1,so we get:F(y P(maxx)-,Z=(I,-1-,C)Cwe obt ai n:c cf PM g#）i#j and j#c+1 f pQ心）P（4 p（?叼）F（叼）1 例 ffc+iM p幼）P（）汨泠（劣心2（3）r p（x）p（叼 l p（口 iTh i s i s c orrespondent wi t h t h e dec i si on rule of Problem 13,t h us i n c ase 1 di sc ri mi nant func t i on c an get t h e mi ni mum ri sk,t h at i s i t i s opt i mal.Case 2:dec i de gc+y（x）,t h ereforegc+i（i）g3 j#c+1今T；=，（如）p（s）Mp（p（m）p（今Th i s result i s c orrespondenc e wi t h t h e dec i si on rule of Problem 13,t h us i n Case 2 di sc ri mi nant func t i on c an get t h e mi ni mum ri sk,t h at i s i t i s opt i mal b92（X）=/P（/|32）33（比）=3（0（必+PRIM）o CRs i s c h anged from（oo,+oo）t o 0 dR1-。13)92(x)and gx)g(x)%：92(x)gx(x)and g2(x)g(x)扁:。3(宓)9i(x)and g3(x)g2(x)=c-l-2/l+31n2 l+2，l+31n2Ri x-o oc-l-2Vl+31n2-l+2Vl+31n2/?2：-X 0 oth ersP（现）=1 oWh en c=2 we get:（Oe2e2；0 oth ersPlot as follows:ba；i,xn px6 and follows:Xi are i ndependent ly.Th en we defi ne t h e log-li keli h ood as n n1(。)=Inp(xi6)=2(In 0-0Xi)i=l i=lTh en we get:2=1 2=1Th us:八 19=5n 1=1 c9=1,wh en n i s large enough we get:Problem 2 a c h ave a uni form densi t y,wh en 6 max(P)defi ne t h e li keli h ood as:n/（。联山侬忸）i=l=fr i=l2=11(6)i s monot oni c ally dec reasi ng,t h e 0 t h at max i mi zes t h e 1(9)mi ni mi ze t h e 6.As 6 max(P),t h e 1(6)i s max i mi zed i n。=max(P)bWh en n=5,From a we know t h at t h e li keli h ood of pT6)i s:&t h e 6=max(P)=max(0).Th us we c an get 0,and need not t o know t h e values of t h e ot h er four poi nt s as soon as we know t h e max =0.6.Wh en 6 9,so p(T6)=0.Plot:12Problem 4 aBec ause X i s a d-di mensi onal bi nary vec t or wi t h a mult i vari at e Bernoulli di st ri but i on:dP（X|J）=口竿（1幻（1 g）i=lh enc e,n dpx.,xne）=n il*-%。-*k=l2=1And t h e li keli h ood func t i on:n d1（。）=*In&+（1-焉）ln（l-k=l i=l幽=区1泊 a a zzt C i 4.t h us,we getn（源-4）=o k-l 仇=n-y球Th en we c an get i t s vec t or form as follows:n8i=V2 XkProblem 16 aSi nc e A and B are nonsi ngular mat ri c es of t h e same order,(A-1+B-r)AA+=(1+B-XA)(A+=(2+.T.(a+BB=B-XB(A+BylB+B-lA(A+=B-1(B+=B-XB=1Left mult i ply(A-1+B-1)-1 on bot h si des of t h e above eq uat i on,we get:(A-1+.t)t=A(A+Analogously,B(A+B-1)=B(A+8)T(/+-AB-1)=B(A+B)-1+B(A+=B(A+B)TjBBT+B(A+=BB-1=1Ri gh t mult i ply+B-1)-1 on bot h si des of t h e above eq uat i on,we get:(A-1+B-1)-1=B(A+B)lA bIf t h ese mat ri c es are not sq uare,t h en t h ey are bot h nonsi ngular,A_1 and B_1 wont ex i st,wh i c h means t h e above eq uat i on wont h old,so,A and B must be sq uare.cFrom(41),/=n-1+-1,we c an get=(nS-1+So1)-1=(Eq1+nS-1)-1Maki ng use of t h e mat ri x i dent i t y i n(a),we h ave%=2o(Xo HS)-1(S)n nTh us,we get Eq s.(45)si mi larly,we h ave=(n?T+.i)t=(-S)(Sq Hn nFrom(42),+Sq 1ju,0,Left mult i ply t h e above eq uat i on by Sn:Kn Sn(77.S ln+lug No)=沱九嬴+2门示10。X)T(X)九g T%H+夕0)1%10 n n n n=%(%Hg)-1(一夕)HX(一+:)io n n n nWh i c h i s Eq s.46.第四章非参数技术5、证明当li m%“78和li m勺70时，公式(30)收敛到p(x)。一OO T8证明：由公式(30)：等式两边对取极限:kj nj/n K Hm匕li mp.（x）=li m一8 一8因为p“（x）三0,而li mk/九=0,所以li m匕=0。oo noo定义样本点X落在体积为匕的区域。中的频率为与，贝IJ:Pn=DP(=JD n等式两边对取极限：li m(p(x)6?x=li mn-oo J D noo 几由于当 7 8时-，匕T 0,可以认为在区域。中X的概率密度函数为一个常数，因此:li m f p(x)dx=p(x)li m f Ux=p(x)li ml/=li m8 J。一8 J。一8 一8 Yl所以：li mp(x)=li m 喧=p(x)一8 T8 yn(更严格的话，还可以证明方差收敛于0)17、考虑一种分类问题，共有c个不同的类别，每一个类别的概率分布相同，并且每一个类 别的先验概率都是尸(3j=1/c。证明公式(52)所给出的误差率上界：PP2-P c-1在本题中的“零信息”的场合下取得。证明：在本题中所限定的“零信息”可用如下条件表示：每一个类别的概率分不相同，即对任意的X,p(x|3j)相等，i=1,C;每一个类别的先验概率相等，即P(Q)=1/C,1=1,C;根据Bay es公式，P(闻x)=,后验概率0(叫x)均相等，i=1,c,因此：P(CO,.|x)=loC首先计算Bay es误差率尸*：因为后验概率尸(c ojx)均相等，因此根据Bay es决策准则，可以将x判别为任意的类别,而尸(co,x)=L因此对x判别的错误率为：P(e|x)=1-,C C因此：P=Jp(e|x)p(x)Jx=1-i然后计算最近邻分类规则的误差率P：利用148页式(45)：p=1-p2(c o,|x)p(x)Jx=jfl-c i p(x)dx=1-1因此在“零信息”场合，最近邻分类的误差率取得其上界。19、考虑d维空间中的Euc li d距离度量：。但1)=收(%一4)2V&=1假设我们对每一个坐标轴都进行尺度变换，也就是说工=akxk,%=1,2,d,其中心为 非负实数。证明坐标变换后的空间为一个度量空间。并且讨论这一性质对标准的最近邻规则算法 的重要性。证明：令x,y,z为原d维空间中的三个矢量，定义dx d的矩阵生 0 00 a2 0A=.0 0 ad_x,y,z为经过坐标变换之后空间中的三个矢量，x =Ax,y =Ay逐=Az,在变换后的 空间中可以定义度量：。便,)=应(%;-乂)2=应区2 a 一炉验证该度量满足距离度量的4个条件，根据。(x,y)的表达式，非负性、自反性和对称性 显然成立，下面证明三角不等式。方法一：应用Mi nkowski不等式(证明见20题)：（d X-Cd Vrd f Ek-r+IMi=1=（%,._y j,Sj=y _z；=4（y zj，则：ti+si=x；-z-=ai（xi-zi）因此有不等式：Je（-X）2+J-4VP=片（%-%J（K-z,1V r=1 V i=1 V i=1 V z=1硝一-）2=M（W）2因此。（x,y）为变换后的空间中的距离度量，而变换后的空间为度量空间。方法二：直接证明d维空间中的欧氏距离度量满足三角不等式：归优一）2+，（%一4）2 wJE（Z-4）2V k=1 V AT V&=1首先证明不等式：kA j=1 kA=1因为：d d d dE E N滋-。也她）=E 她（她一叫）&=1/=1 2=1 i=1d d d d d d=E（地-他）+E%e（%2-叫）+E E aMakbi-aM k=1 i=1,ki注意到中间一项等于0,最后一项交换i,女符号，则有：d d d d d d电2一”也皿=她.（他.-他）+4%（哂-她）2=1 z=1 k=i=1 k=i=tkid d d d=E E（%z-叫）（也-*）=E S抱-他）no k=1 i=ki k=1 i=tki因此得证：法2之也”也，亦即也k=1 i=1 k=1 i=1 k=1 人 k=1 J jt=1）利用上述不等式:令4=4 一%也=%-4,则4+%=Z-z%，代入上式:忙（-%（+忙（-&）2 N 忙（4一4丫 V k=1 V日 V日因此d维空间中的欧氏距离度量满足距离度量的4个条件。（三角不等式也可以用数学归纳法证）该性质对于最近邻规则算法的重要性在于:最近邻算法的有效性会受到各维特征所选择 的单位的影响，往往是单位选择较小的特征在欧氏距离的计算中起着较重要的作用，而单位 较大的特征之间的差异在距离计算中往往被掩盖掉。为了解决上述问题，在分类之前可以分 贝对每个特征进行一个尺度变换，使得特征的尺度均衡化，具体的可以选择变换系数：%=-i=1,，dmax jx j-mi nfx j其中max（苍）表示所有训练样本中第，维特征的最大值，mi n（%）表示所有训练样本中 第，维特征的最大值。然后在变换之后的空间中计算矢量之间欧氏距离。20、证明Mi nkowski距离度量具有成为一种度量所需要的全部4种性质。证明：作为度量必须满足4个性质，对于任意的向量a,b和c有1）非负性：（a,b）0；2）自反性：。（前1）=0当且仅当2=1）;3）对称性：D（a,b）=D（b,a）；4）三角不等式：Z）（a,b）+D（b,c）D（a,c）o而d为空间中的Mi nkowski距离度量为:Lk(a,b)=,=1 J由Mi nkowski距离度量的表达式，性质13显然成立，下面证明三角不等式。ap bq 1 1I、证明辅助不等式：ab0,p1,-+-=1,p应称为 p q p q伴随数。考察2维平面上的曲线丫=%。7,由如下图形可见，对任意的。和匕，必为下述两种情况之一，因此有：abS y+S2式取等号。其中5和S2分别为两个阴影部分的面积，而ab为长方形部分的面积，当片时上0 0分别计算两部分的面积,耳=卜-2%=因此：ab +PII、证明Hblder不等式：=1实数。令:-,(n ypVlr lP-.y(a,b)b-a*I a 1其中S2为反函数=丁4与y轴之间的面积(q-1=L)：P-1a _ap _b _yq b _bq 二，2=L y=-=一o p 0 q 0 q士qLlx f，其中p,q为伴随数，”,为,=1,=1)bj=JVv.qap bq利用辅助不等式有：。也.二-+-,因此:p qrn TJ,aLMP LM p W q EM(攵=1 J 1%=1 y I AT 7 I&T 7不等式两边对j求和：tM t4 t i x-r-_=_ _+_=_L+_L=1心/馋讨p归屈Im p q(k=1 J(I J IJ 7 1I 7因此:n(n Vp(n XW，y区小“”,=1 V,=1 7 V/=1 7Ilk证明Mi nkowski不等式:/n%(n X(nk+行 邸+|WT/=1)I当P=1时，f卜+y j1,由下列恒等式成立:i=1 f=1 Z=1一+孙=（14+|旷印（I4+I旷抽这是因为等式右边：（向+川产向+（|4+川广网=侗坤吗:俨孙例=（问+附,|0|十|0|令=茗,匕=%,带入恒等式，等式两边对i求和：(同+M厂=(同+闻广+(闻+闻门引 Z=1 Z=1 Z=1由于；+=1,因此工=1 一工-q=(q-1)p，同理；P=(p-1)q P q P Q Q应用Holder不等式：理闻+闻广=2不(闻+闻-i=1 i=1 1(.Vp(.r-1-iq4eiY:/(n%(n Vp(n/P(n Vp(+W=E(k4+W+町l 日 1=1/=1,=1 7而：|西+康 1),所以有Mi nkowski不等式:3 J I(=i J(n Vp(n X(nEI&+W IM+IMI 1=1 i=1 I i=1；IV、证明Mi nkowski度量满足三角不等式：令X=a.-b,%=bt-cj,则%+yi=a-ci,分别代入 Mi nkowski 不等式：(d(d Xp(diac-P-+|忸-。/I y I z=i I i=i 7因此Mi nkowski距离度量具有度量所需要满足的所有4个性质。CUAPl E 仁 2夕日的-勿卜&/.刈u J/29 EWk平八 l A-刈加r心6m小+度2.4 P飞（勺w a%（讨一工七七）v飞wR2s q/HVr夕产5力”需f卜小2 1怨+才）、/、一L/佻少。八小盒e-2”a。Ex卜境.-为必12,U-I 33 G 二E1 式又。内,d；Jar(xJ SJ。天“X名)QN(x,kQ 7cm(Xy)AzCo.xy ca M?o c c L 5Ob x av iSr?/;Ce acr AQ e ye&sAg x，pg jiv o q l f cd p(x jV C_C.?)QN2KY 一 f2sz 一柏 VKX ZVKYQo IJr(z x)到 cxd。oopg二忌叫爷力(dwgk/A：m=，r=z/产戏=9.cltkr B-mJ，k 二注3 J 入二 4 t a=o”Tov Ct 办八|彳山太 力仄CmX A,招Cne i sbQy)仇h i x X G 久l hX*X=D 已 D js ex 4i e*0A下 vn x t vxUJvc A-C-G2 c AMevS CVx 匕*a Q d-A.wC一 e/u5x Q jS/柩e，x x儿 sH tMx 什、(:由二曼入J(V)Sv,pr o v en Q an 3 7RN、(直、v kb y Yq 辛 tv tV)PYZj?Cvv工6 0 二 =k.Ra 二 士】丁、1 r(a 8)(ae)二 g a a 巴二 _-x)Aw e tn今3c+？v o VyyiSVlkS 9 6 r:t-二王 也e%。bm*.ncl 乙neo71 兀 e 伉 7Ag.6 片：Xa又A-&nicf)八,/.7AU.I g）二。-i I。工。I5少.P&）30=3&7/伏户5、）X03 Ct)e=n。)6。电o.怒号;pe/T-:XJ C)7网产由p24-U/J2.Xc C22外二男J f 力力十 M，c dCCf bt iuzv姐).a”_ a-之:1 4-2(+T).2e 十二 a/，。,3d，g x 4n o匕：2Q=0 4$11乂广37小2WW。一 036-OWAXJ V 3MA 乂/j之1LrcwxLvdj-一 s-，4八 55S0 dl/xq 6 二、n7、CD fe一,.1.，=I-i/aw u 乂p aw a乂%c 匕书 5:,d 乂9 z 8t-5仲班、（a-多了工十小（7四-4打）二。（2）2-勺二）十 M G W）二 Q 翁二勺Cc MA?：5二二，？二?2（%23y/区-幺）=（L幺）%”（X-4）匕 一4J 4 3=0（d 乙/打决”彳8/a。彳看 分T 可-看4夕骏34 PCs)-PCG)IQ(1)-Q(M nicd：Pew J；pc x/c pa)以2 pea qg MS国电q”叱为七3 占二一苣五%、“e，啕Dn W工7,浮3P；q空?WUo)fC匈限哆力而Y武=4（；u J?=（。,/y(pr o b由J Jo、5id)t i j por Ci Ct r e(&t(姐 6 cgaGma 点火四里 w*,2=F-J?Ct)J.MoN73)F&k v 总W比 个gPM%。办“李业 n c）x）0-旬28（奈）Sc M pg64 也容“C；J：网同工京2乙;以二提pM4)g乙才水之x/y p&；Mo二乙东至 P%/)言,松卜痴述二 0-/u rg产 2jf，：金好 f Sb=二 o】c E心 ptv w a烈-X i 卜。二/3之4-3二/，&*e；.：e；4ii；j五 ek；即批 小例9修/6|加士版t n 瞭Tg俱“aUh u 52 念a 二 X,6f 3 忖乙;，二输 P;。64 1、：R，；）：加=V。4%你打4=TT p/g j/：4/uhjJ 二9一 一,N:。二2二。.二先二与二。上，、二，2,X 众:七。二/$二三毙二3 二/,土(JSQ.2-幺=Xi-X,2修A卜p4BP fpw m-t 4*P(H 3d Cn SjlA(S4 So)C-i-Jt.2 i，而用六3 2 Zftnfu”P 3砧，m RT?3K”.l i；O To mmdm*融沙匕 9%均，ins R m喝 W a+b av4 j&RS 5 MM 怒冲”:UwA_da,一.七Q y 3A,r,T腹：。/食七次去加:.八2ktl ej；勿/公k/ty g j th=QzyiC L，I M8?7y _一尸 g；,、+_1 1-f。裾+4*C d4 尺444乂-4 4n Aas CQ 5osLf9 Y Qvn Lt 笑 工一62）乂1 升（bi-从）.+G 二。6珠（bbj 乂z 千 U-Cs二。，4 一 久口事主_/2二ht）_次 士品：多三。.C/7kg.in d e*的；八6+t zU j/；_）.7 nu-*一ri.K*o en cr、w、1、)、;5n*s-T;itHr7，)金 g 一 1、，ye、-jW,4、CJ-Jr qq ii十o、LD可47c2II(u).1J sQ,乙（加竺 C A二如e”2-x N 一/一/-T、一二+/81、一戈）一 叱T-士0TaS 年 ndT v er y cs 8n pc Qs 6“斗31y加.山g3kbyii)d C 2 j 人)=纪而)L,4)=24X”45，24。W5H 6 X5)3(X2 wUX，fcdevcnXq号号八常”口力itci OQCS#kgown C：H%&，$/1产S、号沁M-j I”/，1%5/q/*、-*v/#八号22*i-I Td）也;。七 Wlb）认心丫中怀e*）cl as 3C&/e 阮加、Th 弘E、5RR%h 以 AX,=-2哼r iyr5,W 二 Z（$ee 6 he%（向 p七）部w e叫sHy&k e,is CyM）%二夕办乙-乙 z,丁 u 75t=V 52吆，乙t inuvr n*0*C 5a/r/)t 处 怖e夕ebdb&*丁0 分的上1.根据贝叶斯决策理论，1维特征空间中的平均误差概率可以表示为:P(error)=J Perror,xdx=Perror x)p(x)dx 而对于特定的观察特征尤两类问题的错误率为：Perrorx)=mi nP(co1|x),P(o2|x)a)对于两类问题有：P(co1|x)+P(co2|x)=1以及：p(errorx)=mi np(c o,|x),p(CO2|因此我们可以得到：(1)p(error|I)-2p(error|x)J 0=perrorx)p(error x)+p(errorx)-2p(errorx)=2P(error%)|1-p(rror|)J=2mi np(o1|),p(o2|x)max p(c o1|x),p(c o2|)J=2p(c o1|x)p(o2|x)即对V%有：p(errorx)=mi np(3j%),他2p(端)/?(o2|x)因此：p(error)=J p(error x)p(x)dx=J mi np(3j%),p(32|%)p(%)d%|2P(叫%)p(32|%)p(%)d%2P(叫)p(3j%)p(%)d%给出了总误差率的上界。b)取一个特殊的概率分布：P(3，%)三p(321X)三;，Vx,则有：pa(error)=J ap(o1|x)p(c o2|x)p(x)=J p(%)d%1(因为a 2)p(error)=2mi n p(叫),p(co2|%)p(%)p(%)d%=显而易见：pa(error)p(error),因此当a p（error-p（error%）=p（errorx）|1-p（error x）|=mi np（o1|x）,p（o2|x）max p（co1|x）,p（co2|x）=/?（co1|x）/?（o2|x）即 Vx有：p（enw|%）=mi np（0i|%）,p（32|%）P34）p（o2|x）所以：p（error）=J perror x）p（x）dx=J mi n/7（CD1|x）,/7（co2|x）/?（x）Jx J p（叫尤”Ml%）P（%）d%因此，J：p（叫了）p（32|%）p（%）d%能够给出总误差率的下界。d）当 022 时，由 a）的结论，显然仙11（叫）,（02%）01时，取一个特殊的概率分布，12 P（叫）春，因此:0 P（o2|x）P1 1 1-12所以：p（D1|x）/J（C02|x）而：pp（o1|x）p（co2|x）p-lp（o2|x）=P（co2|x）=mi n（0,|x）,p（co2|x）J所以匚Bp（闻）p2|%）p（%）公，当B 1时无法给出总误差率的下界。/20CHAPTER 2.BAYES IAN DECIS ION THEORYTh erefore we h ave t h e ri sk i n t h e randomi zed c ase=R(a,(x)|x)尸(q,|x)i=l.五(而3区)IE尸(ajx)p(x)dxp(x)dx=J R(,amaxx)p(x)dx=Rb,t h e Bay es ri sk.Eq uali t y h olds i f and only i f P(amflZ(x)|x)=1.12.We fi rst not e t h e normali zat i on c ondi t i onP(5|x)i=lfor all x.(a)H P(5|x)=P(wj|x)for all i and jt t h en P(cjJx)=1/c and h enc e P(c vmazi x)=1/c.If one of t h e P(u?|x)1/c.(b)Th e probabi li t y of error i s si mply 1.0 mi nus t h e probabi li t y of bei ng c orrec t,t h at i s,P(errar)=1-/P(u；mox|x)p(x)dx./o(c)We si mply subst i t ut e t h e li mi t from part(a)t o getP(error)=1-P(uOI|x)p(x)dxu0N1/c=1-py P(x)dx=1-g.Th erefore,we h ave P(error)Aal-P(wmaz|x).计k2.0.PROBLEM S OLUTIONS21Th i s last i neq uali t y sh ows t h at we sh ould never dec i de on a c at egory ot h er t h an t h e one t h at h as t h e max i mum post eri or probabi li t y,as we know from our Bay es analy si s.Conseq uent ly,we sh ould ei t h er c h oose u；maz or we sh ould rejec t,dependi ng upon wh i c h i s smaller:A,(l-P(u;mQZ(x)or Ar.We rejec t i f Ar 1-Ar/A,.14.Consi der t h e c lassi fi c at i on problem wi t h rejec t i on opt i on.(a)Th e mi ni mum-ri sk dec i si on rule i s gi ven by:Ch oose i f 尸(|x)P(u/7|x).for all jand i f 尸QJx)Th i s rule i s eq ui valent t oCh oose 3t i f p(x|5)尸(5)and i f p(x|3.)尸(a,)P(x|35)尸(叼)for all j2(l-D(x),wh ere by Bay es formulaP(3|X)=P(x|3,)P(5)pW-Th e opt i mal di sc ri mi nant func t i on for t h i s problem i s gi ven byCh ooses i f p(x)pj(x)for all i=and j=1.Th us t h e di sc ri mi nant func t i ons are:p(x pi)P(Wi),i=%(x)=j(三州(x),t=c+l.f p(x|i d,-)P(w,),i=1.c=j*g,(x|3尸M),i=C+l.(b)Consi der t h e c ase p(x|u；i)7V(1,l),p(x|u)N(1,1),尸(5)=尸他)=1/2 and Ar/Af=1/4.In t h i s c ase t h e di sc ri mi nant func t i ons i n part(a)gi ve91(h)P2(X)93(工)1 e-2 p(x|wi)P(ui)=-=/v1 e-(x+l)2/2P(Z|W2)-P(2)=5-7=/V27Tp(x|o)l)P(U)l)+p(H|32)P(32)-j-q。卷）)le-S-i 尸/2 1 e-S+i)”2-+2-+2=沦+正(切.oy Z7T i J mas sh own i n t h e fi gure.5闪”+声(2天尸时=1P(XM=(27r)3/2 7 1/2For t h i s c ase we h ave。PROBLEM S OLUTIONS00We subst i t ut e t h ese values t o fi nd t h at t h e densi t y at i s:-8/21-1/21000520 5/21-2/210521 0 01+21=0.25+骂心心)=(2乃3/2(21/2=P=.+刎2)他=3n(2e)d|E|hpre we used our c ommon not at i on of I for t h e d-by-d i dent i t y mat ri x.的3)We h ave p(x|a)N(,2),wh ere00(a)Th e densi t y at a t est poi nt xo i s0250 5/21-2/21and t h e sq uared Mah alanobi s di st anc e from t h e mean t o xo=(.5,0,1)i s=8.16 x IO-3330-2/21 5/210-2/21 5/210242tE；(b)Rec all from Eq.44 i n t h e t ex t t h at Aw=wh ere c ont ai ns t h enormali zed ei genvec t ors of E ai)d A i s t h e di agonal mat ri x of ei genvalues.Th ec h arac t eri st i c eq uat i on,|E-AI|=0,i n t h i s c ase i s000 5-A2025-(1-A)(5-A)2-4(1-A)(3-A)(7-A)=0.34CHAPTER 2.BAYES IAN DECIS ION THEORYTh e t h ree ei genvalues are t h en A=1,3.7 c an be read i mmedi at ely from t h e fac t ors.Th e(di agonal)A mat ri x of ei genvalues i s t h usTb fi nd t h e ei genvec t ors,we solve SxAx for(i=1,2,3):=(；5 5i2+2x3 0 2 5/2x2+5x3)x3 Jt=1,2,3.Th e t h ree ei genvec t ors are gi ven by:A3=)二(H M0 1/2 l/2Th us our fi nal and Aw mat ri c es are:1 00 l/20-1/720 l/v/2 VandAw=A-。0 l/v/2-l/v0 1M-l/v/60 l/v/20 l/v/14 1/714Ai=1:A2=3:A00030007寺=10 00000700We h ave t h en,Y=A(x-)7V(0,I).(c)Th e t ransformed poi nt i s found by apply i ngA,t h at i s,Au，(x。M)I i o o 1/v 0-l/x/60 l/v/14 1/714-0.5 一1/e-3/v/14(d)FYom part(a),we h ave t h at t h e sq uared Mah alanobi s di st anc e from xo t o i n t h e ori gi nal c oordi nat es i s r2=(xo-/x)el(xo 乂)=1.06.Th e Mah alanobi s di st anc e from xw t o 0 i n t h e t ransformed c oordi nat es i s xxw=(0.5)2+1/6+3/14=1.06.Th e t wo di st anc es are t h e same,as t h ey must be under any li near t ransformat i on.2.0.PROBLEM S OLUTIONS35(e)A Gaussi an di st ri but i on i s wri t t en asP(X)=.帚|2c xp H(X-T-Under a general li near t ransformat i on T,we h ave t h at xz=Tlx.Th e t ransformed mean i s=，xZ=tx*=r fx k=T.fc=l k=l fc=lLi kewi se,t h e t ransformed c ovari anc e mat ri x i s=去fc=l=T 怜T=tet.We not e t h at|EZ|=|TfT|=|E|for t ransformat i ons suc h as t ranslat i on and rot at i on,and t h usp(Xo|NW：E)=p(Tk|N(TTZT).Th e volume element i s proport i al t o|T|and for t ransformat i ons suc h as sc ali ng,t h e t ransformed c ovari anc e i s proport i onal t o|T|2,so t h e t ransformed normali zat i on c ont ant c ont ai ns 1/|T|,wh i c h ex ac t ly c ompensat es for t h e c h ange i n volume.Rec all t h e defi ni t i on of a wh i t eni ng t ransformat i on gi ven by Eq.44 i n t h e t ex t：Au,=A-1.In t h i s c ase we h avey=A：,x N(A A,EAW),and t h i s i mpli es t h atVar(y)=Aj(x-)(x-0)Aw=At，EA=八一246 A中小 A-i/2=A-AA-1/2=I,t h e i dent i t y mat ri x.Rec all t h at t h e generalmult i vari at e normal densi t y i n d-di mensi ons i s:p(x)=闹、I 泞/2 _)-J f l x”.眼;0V/（X*）：/W，z 代）（八勺*a）x81、Di I J/v l/J 1），（L”（X 3 X;二八乂孙/X叱P-吆5）卷、）ex“内！1珀.仁/）（I/A,J /1 l /+1、人）.。师上?“工人 L*1）岬卜d J 3x）/X七