六章记忆基础理解MemorybasedreasoningMBR.ppt

按一下以編輯母片標題樣式,按一下以編輯母片,第二層,第三層,第四層,第五層,*,第六章,記憶基礎理解,(,Memory-based reasoning,MBR),定義：,用人工智慧的方式，以現有資料庫對新資料進行,分類與預測,。,記憶基礎理解,(,Memory-based reasoning,MBR),記憶基礎理解記憶基礎理解,可以應用的行業:,詐欺案件判斷。,顧客反應預測。,醫療服務追蹤。,問卷資料分類。,如何進行,(學習階段,),如何進行,(預測階段,),案例研究 新聞報導分類,選擇測試資料組:,49,652則新聞稿,每一則平均2700字與8個編碼,2.設定距離函數,利用一個叫“相關回饋(,Relevance Feedback)”,的測試標準,比對任何文件的相似度(參見課本),;B,與,A,的距離:,d(A,B)=1-Score(A,B)/Score(A,A),案例研究 新聞報導分類,3.設定組合函數,為未分類的新聞找出最相似者,相似者,距離,權重,編碼,1,0.076,0.924,FE,CA,CO,2,0.346,0.654,FE,JA,CA,3,0.369,0.631,FE,JA,MI,4,0.393,0.607,FE,JA,CA,案例研究 新聞報導分類,3.設定組合函數,為未分類的新聞評分(門檻值為1),編碼,1,2,3,4,評分,CA,0.924,0.654,0,0.607,2.185,CO,0.924,0,0,0,0.924,FE,0.924,0.654,0.631,0.607,2.185,JA,0,0.654,0.631,0.607,1.892,MI,0,0,0.631,0,0.631,案例研究 新聞報導分類,4.設定鄰近資料組數,1 11組,若要配置在單一編碼,則選擇,較少組數較合適,案例研究 新聞報導分類,5.結果(200則,半數同意才合格),案例研究 新聞報導分類,MBR,編碼,正確編碼,反查,準度,A,B,C,D,A,B,C,D,4/4,4/4,A,B,A,B,C,D,2/4,2/2,A,B,C,D,E,F,G,H,A,B,C,D,4/4,4/8,E,F,A,B,C,D,0/4,0/2,A,B,E,F,A,B,C,D,2/4,2/4,測量評分的效用:,反查(,Recall),與,準度(,Precision),距離函數,關鍵特性：,1.明確界定(,Well-defined):d(A,B)=0,2.區辨性(,Identity):d(A,A)=0,3.可互換性(,Commutability):d(A,B)=d(B,A),4.三角不等式(,Triangle Inequality):d(A,C)=,d(A,B)+d(B,C),絕對值:,|A-B|;,平方差:(,A-B)2 ;,標準化絕對值:|,A-B|/(,最大差值),組合函數,民主方式(投票方式),讓最近似的,K,個鄰近資料以投票的方式選出答案。,加權投票,著重在“加權”,最適用問題：類別變數,加權對於結果和信心水準只有,小幅度,影響，在部份鄰近資料比較近，而部份比較遠的情況下，加權才會有較大的效果。,加入迴歸分析,例 子,一次建立一個單變數的距離函數,紀錄編號,性別,年齡,薪水,1,F,27,19,000,2,M,51,64,000,3,M,52,105,000,4,F,33,55,000,5,M,45,45,000,例 子,例 子,採用,標準化絕對值與將三種距離加總,年齡,27,51,52,33,45,27,0,.96,1,.24,.72,51,.96,0,.04,.72,.24,52,1,.04,0,.76,.28,33,.24,.72,.76,0,.48,45,.72,.24,.28,.48,0,例 子,同理也可對薪水做距離矩陣,加總:,d,sum,(A,B)=d,s,(A,B)+d,o,(A,B)+d,i,(A,B),標準化加總:,d,sum,(A,B)/maxd,sum,(A,B),歐幾里德距離:,SQTR(d,s,(A,B)2+d,o,(A,B)2+d,i,(A,B)2),性別,F,M,F,0,1,M,1,0,例 子,每一點在三種距離函數下的最近似組合,d,加總,d,標準加總,d,歐幾里德距離,1,14,523,14523,14523,2,253,41,25341,25341,3,325,41,32541,32541,4,41,523,41523,4152,5,523,41,52341,52341,例 子,加入新顧客,紀錄編號,性別,年齡,薪水,5,F,45,100,000,1,2,3,4,5,相似者,d,加總,1.662,1.659,1.338,1.003,1.640,43521,d,標準加總,0.554,0.553,0.446,0.334,0.547,43521,d,歐幾里德距離,0.871,1.052,1.251,0.494,1,41523,例 子,使用,MBR,與投票來判斷新顧客是否會流失與信心水準,相似者,相似者流失狀況,k=1,k=2,k=3,k=4,k=5,d,加總,43521,yynyn,y,y,y,y,y,d,歐幾里,德距離,41523,ynnyy,y,?,n,?,y,k=1,k=2,k=3,k=4,k=5,d,加總,y,100%,y,100%,y,67%,y,75%,y,60%,d,歐幾里德距離,y,100%,y,50%,n,67%,y,50%,y,60%,例 子,使用,MBR,與加權來判斷新顧客是否會流失預測,相似者,相似者流失狀況,k=1,k=2,k=3,k=4,k=5,d,標準加總,43521,yynyn,.749,0,1.441,0,1.441,0.647,2.085,0.647,2.085,1.290,d,歐幾里,德距離,41523,ynnyy,0.669,0,0.669,0.534,0.669,1.062,1.157,1.062,1.601,1.062,k=1,k=2,k=3,k=4,k=5,d,標準加總,y,100%,y,100%,y,69%,y,76%,y,62%,d,歐幾里德距離,y,100%,y,54%,n,61%,y,52%,y,60%,組合函數,加入迴歸分析,處理數值或順序變數,最適用問題：連續數值,迴歸分析：將數據去適配到某些已知的函數，然後運用函數推算出未知值。,實例：以,通貨膨脹率,推算,股市漲跌,(圖9.8,圖9.9),其他距離函數,其他資料型態的應用,五位數郵遞區號,d,zip,(A,B)=0,前3碼一樣,d,zip,(A,B)=1,前3碼,不一樣,d,zip,-refined,(A,B)=0.0,d,zip,-refined,(A,B)=0.1 ex.“,200,08”“,200,15”,d,zip,-refined,(A,B)=0.5 ex.“,9,5050”“,9,8125”,d,zip,-refined,(A,B)=1.0 ex.“02138”“90024”,如何獲得最佳結果,選擇正確的訓練資料組,增加罕見分類項的資料數量,距離函數,鄰近資料數量(,k,值)的考量,無一定數量的限制,組合函數,類別性資料,加權投票,連續性數值結合迴歸分析與最似鄰近方法,MBR,的優點,結論容易推測,能運用在任何資料型態、甚至是非關聯式資料上,在任何數量的變數下都能運作良好,訓練資料組容易建立,MBR,的缺點,在,預測階段上運算作業繁複,訓練資料組需要大量記錄,高度依賴距離函數和組合函數,