资料挖掘网路服务系统之探讨.ppt

資料挖掘網路服務系統之探討資料挖掘網路服務系統之探討 第第9組組 資四資四A 報告組員：蔡政緯報告組員：蔡政緯 王偉哲王偉哲 吳全恩吳全恩 劉光磊劉光磊 1可编辑版目錄目錄1.緒論2.文獻探討3.研究方法4.系統實作5.結論2可编辑版1.緒論緒論-研究動機研究動機 目前市面上已有許多獨目前市面上已有許多獨軟體開發廠商以及應用軟體軟體開發廠商以及應用軟體服務供應商針對一般企業組織在資服務供應商針對一般企業組織在資挖掘上的需求，挖掘上的需求，推出套裝資推出套裝資挖掘軟體或是資挖掘軟體或是資挖掘相關的服務與技挖掘相關的服務與技術支援。術支援。企業在實際使用現有的資料挖掘軟體與服務時經常企業在實際使用現有的資料挖掘軟體與服務時經常面臨以下的問題：面臨以下的問題：一、企業部門間異質系統的整合與資料傳輸的相容性一、企業部門間異質系統的整合與資料傳輸的相容性 問題問題二、傳統資料挖掘軟體缺乏因應使用者的需求而進行二、傳統資料挖掘軟體缺乏因應使用者的需求而進行 流程彈性調整的能力流程彈性調整的能力三、軟體或服務的整合及維護成本過高三、軟體或服務的整合及維護成本過高3可编辑版研究目的研究目的 為為解決以上的問題，我們將提出一個具有跨平解決以上的問題，我們將提出一個具有跨平台能台能，而且具有彈性，而且具有彈性程調整能程調整能的資的資挖掘挖掘系統架構。具體而言，本研究的主要目的是在解系統架構。具體而言，本研究的主要目的是在解決目前企業所面決目前企業所面到的以下問題：到的以下問題：一、克服一、克服質系統與資質系統與資交換格式的問題交換格式的問題 二、提供彈性的資二、提供彈性的資挖掘挖掘程程 三、三、低軟體整合與維護成本低軟體整合與維護成本4可编辑版2.文獻探討文獻探討-資資挖掘挖掘 資資(Data)、資訊、資訊(Information)與知與知(Knowledge)等三者的定義與之間的關係。等三者的定義與之間的關係。5可编辑版資資挖掘的相關技術挖掘的相關技術 一、分一、分(Classification)：分分是一種監督式學習是一種監督式學習(Supervised Learning)，它，它的定義為根據一些已經有的定義為根據一些已經有別的別的史資史資分析它們的所分析它們的所有特徵，再依據這些特徵對未分有特徵，再依據這些特徵對未分或是新的資或是新的資進進歸歸，如銀如銀根據某些規則將其顧客區分為高貢獻根據某些規則將其顧客區分為高貢獻族群、低族群、低貢獻貢獻族群等族群等別。別。二、關二、關法則法則(Association Rule)：關關法則的目的是從一堆看似無關的資法則的目的是從一堆看似無關的資中，挖掘出中，挖掘出同項目之間發生的關同項目之間發生的關性，探討在同一事件中某一項目性，探討在同一事件中某一項目出現時，另一個項目也在該事件出現的機出現時，另一個項目也在該事件出現的機 三、群集三群集(Clustering)：群集就是將一大筆資群集就是將一大筆資根據它們彼此間的相似程根據它們彼此間的相似程，將將似的資似的資分在一群之中，而區隔分在一群之中，而區隔相似的資相似的資。6可编辑版資資挖掘的步驟挖掘的步驟 學者學者Fong 等人等人(2002)認為資認為資挖掘的過程一般可分為確挖掘的過程一般可分為確認挖掘目標、資認挖掘目標、資選擇、資選擇、資準備、資準備、資轉換、資轉換、資儲存、儲存、資資挖掘與結果評估等七大步驟挖掘與結果評估等七大步驟7可编辑版資資前處前處1.資資清清2.資資整合整合3.資資轉換轉換4.資資簡化簡化8可编辑版資資挖掘的應用挖掘的應用-1 資資挖掘的相關應用相當的廣泛與多樣化，在許挖掘的相關應用相當的廣泛與多樣化，在許多多域如生物醫學域如生物醫學域、財務域、財務融業、製造融業、製造售售業等各方面業等各方面可以發現資可以發現資挖掘的相關應用與研挖掘的相關應用與研究。以生物醫學究。以生物醫學域為域為，近十，近十生物醫學生物醫學域的相關研究呈現爆炸性的成長，從新藥物的開域的相關研究呈現爆炸性的成長，從新藥物的開發、癌症發、癌症法的研究到人法的研究到人DNA 序序解析等研究解析等研究域，均藉助資訊科技與資域，均藉助資訊科技與資挖掘技術挖掘技術處處龐龐大的資大的資。9可编辑版資資挖掘的應用挖掘的應用-2 資資挖掘技術出現挖掘技術出現過短短十多過短短十多，但卻能迅速，但卻能迅速地應用於各種學術與商業地應用於各種學術與商業域，學者域，學者Berry and Linoff(1997)經過規納分析之後，認為以下五個經過規納分析之後，認為以下五個因素促成因素促成資資挖掘技術的崛起：挖掘技術的崛起：一、大一、大資資的取得難的取得難低低 二、資二、資倉儲系統的發展成熟倉儲系統的發展成熟 三、電腦運算速三、電腦運算速的加強與網際網的加強與網際網的發展的發展 四、全球化商業競爭的壓四、全球化商業競爭的壓 五、資五、資挖掘軟體的取得方挖掘軟體的取得方10可编辑版企業應用整合與網企業應用整合與網服務服務 學者學者Coyle(2001)則認為企業組織可以採取以則認為企業組織可以採取以下三種新技術下三種新技術因應目前劇因應目前劇競爭的商業環境，競爭的商業環境，它們分別為它們分別為 1.可延伸式標記語言可延伸式標記語言 2.網網服務服務 3.無線技術無線技術 11可编辑版質系統與資訊整合質系統與資訊整合 企業組織對於資訊整合的需求已從企業應用系統的整合提企業組織對於資訊整合的需求已從企業應用系統的整合提升至升至廣泛的資訊廣泛的資訊源的整合，微軟源的整合，微軟(2002)認為資訊系統認為資訊系統整合的演進大致上可分成以下三大階段：整合的演進大致上可分成以下三大階段：一、資一、資整合整合 二、應用程式整合二、應用程式整合 三、服務整合三、服務整合 這三個資訊整合的階段清楚地表達出目前企業組織在系統這三個資訊整合的階段清楚地表達出目前企業組織在系統整合與資整合與資交換這交換這大議題中所面大議題中所面到的限制所在，以及到的限制所在，以及在在同階段中整合方式的差同階段中整合方式的差之處。之處。12可编辑版企業應用整合企業應用整合 企業應用整合企業應用整合(Enterprise Application Integration;EAI)的發展是提供企業組織一套完整系統整合架構的解決方的發展是提供企業組織一套完整系統整合架構的解決方案，以達成企業資訊的整合與分享。案，以達成企業資訊的整合與分享。企業組織應用企業組織應用EAI 進進企業內部的資訊整合企業內部的資訊整合自以下三個自以下三個因素：因素：一、電子商務一、電子商務 二、企業合併與組織功能的強化二、企業合併與組織功能的強化 三、企業資源規劃三、企業資源規劃 雖然雖然EAI 是以企業主體為出發點，強調企業是以企業主體為出發點，強調企業程與資訊系程與資訊系統之間的整合與自動化，藉著整體採用單一系統標準及軟體統之間的整合與自動化，藉著整體採用單一系統標準及軟體達成企業組織內部應用程式的整合，但是所必須付出的成達成企業組織內部應用程式的整合，但是所必須付出的成本依舊居高本依舊居高下。而為下。而為增加企業競爭優勢，與合作夥伴以增加企業競爭優勢，與合作夥伴以及顧客之間的資訊整合在所難免，因此，企業資訊整合的發及顧客之間的資訊整合在所難免，因此，企業資訊整合的發展，除展，除必須以服務為導向外，也必須跳脫特定標準或介面必須以服務為導向外，也必須跳脫特定標準或介面的限制，而保有系統的彈性以及未的限制，而保有系統的彈性以及未擴充的能擴充的能。13可编辑版網網服務的應用服務的應用 由於由於Web Service 具有即時、彈性、標準化等特色，目前具有即時、彈性、標準化等特色，目前許多廠商紛紛開始將許多廠商紛紛開始將Web Service 的相關技術與其原本的的相關技術與其原本的域進域進整合。整合。Web Service 在資訊技術在資訊技術(IT)域的應用大致上有以下所域的應用大致上有以下所述的四個方面：述的四個方面：一、入口網站一、入口網站 二、企業應用程式整合二、企業應用程式整合 三、分散式運算三、分散式運算 四、應用程式服務提供者與獨四、應用程式服務提供者與獨軟體開發軟體開發商14可编辑版3.研究方法研究方法 本研究將以本研究將以Web Service 架構為基礎，將資架構為基礎，將資挖掘過程中的程序視為由一系挖掘過程中的程序視為由一系的的Web Services 所構成，並透過動態工作所構成，並透過動態工作程的概程的概，以敘述以敘述Web Service 程的程的BPEL4WS 語法，提語法，提供服務使用者得以根據實際上的需求自供服務使用者得以根據實際上的需求自編排資編排資挖掘挖掘Web Service 的整體的整體程，透過程，透過程中各程中各個個Web Service 的執的執達成使用者的目標。達成使用者的目標。15可编辑版系統概系統概-1 本研究所提出之系統架構是本研究所提出之系統架構是考考W3C所提出所提出之服務導向架構的概之服務導向架構的概與基本架構修改而與基本架構修改而。為為達成達成SOA 的遠景，企業組織必須將系統或應的遠景，企業組織必須將系統或應用程式加以分割成為許多具有用程式加以分割成為許多具有同功能特性的分同功能特性的分散式子系統模組，這些分散於企業組織內外部的散式子系統模組，這些分散於企業組織內外部的子系統模組必須要支援統一的共通性標準，如此子系統模組必須要支援統一的共通性標準，如此一一才能使得資訊毫無阻礙的在系統中傳遞，達才能使得資訊毫無阻礙的在系統中傳遞，達成系統整合的目的。目前業界對於成系統整合的目的。目前業界對於SOA架構的作架構的作法是將應用程式與系統建構在網際網法是將應用程式與系統建構在網際網上，也就上，也就是將應用程式與系統加以網是將應用程式與系統加以網化，而化，而Web Service 架構正是目前架構正是目前SOA 架構中最新的作法。架構中最新的作法。16可编辑版系統概系統概-2W3C 所提出SOA 之基本架構圖17可编辑版4.實作實作-範例流程實作步驟過程範例流程實作步驟過程18可编辑版以下為三種不同品種蝴蝶花(Iris)之萼片與花瓣(Petal)的長度與寬度數值之集合19可编辑版20可编辑版 本步驟中所呼叫的遠端Web Service採用的分群演算法為K-Means。K-Means是屬於一種直接將資料集合進行分割成為數個相互間無關聯的目標群集，屬最基本且典型的分割式群集演算法。此演算法的目的是將資料集合中之資料物件分割成為數個群集，而群集的結果須滿足以下條件：1.每個群集中至少要有一個以上的物件 2.每個物件須完全的歸屬於某個群集 3.每個物件與其所歸屬的群集質心間的歐基理德 距離會小於與其他群集質心間的距離21可编辑版22可编辑版 我們可根據其所在位置、參與流程的目我們可根據其所在位置、參與流程的目的與方法，將他們分為三種角色：的與方法，將他們分為三種角色：1.具資料挖掘需求的系統使用者，也就是流具資料挖掘需求的系統使用者，也就是流程設計者與流程使用者程設計者與流程使用者 2.於網際網路上提供對資料庫進行資料擷取於網際網路上提供對資料庫進行資料擷取和分群演算等和分群演算等Web Services的服務提供者的服務提供者 3.作為上述兩者間的資料傳輸橋樑，由流程作為上述兩者間的資料傳輸橋樑，由流程設計者所設計規劃完成的設計者所設計規劃完成的IrisFlow等等23可编辑版24可编辑版25可编辑版26可编辑版27可编辑版5.結論結論此研究的貢獻可以歸納如以下幾點：此研究的貢獻可以歸納如以下幾點：1.導入導入Web Service與與XML相關技術做基礎，克服在相關技術做基礎，克服在傳統資料挖掘流程中所遇到的資料相容性問題傳統資料挖掘流程中所遇到的資料相容性問題2.以工作流程的觀念做基礎，結合以工作流程的觀念做基礎，結合Web Service流程流程描述語言描述語言BPEL4WS，有系統的提供在資料挖掘流程，有系統的提供在資料挖掘流程中關於活動、流程順序等各方面的細節描述中關於活動、流程順序等各方面的細節描述3.在資料挖掘流程中各步驟的演算活動是由多個功能在資料挖掘流程中各步驟的演算活動是由多個功能各異的各異的Web Service元件所組成，在日後因需求改變元件所組成，在日後因需求改變而使資料挖掘流程需進行更新和修改時，較傳統資料而使資料挖掘流程需進行更新和修改時，較傳統資料挖掘軟體更具有流程變動上的彈性挖掘軟體更具有流程變動上的彈性4.以統一且公開的資料挖掘模式描述語言以統一且公開的資料挖掘模式描述語言PMML，作，作為描述資料挖掘模式的工具，不但是以具系統化的方為描述資料挖掘模式的工具，不但是以具系統化的方式描述資料挖掘模式，並請提供使用者日後在其他軟式描述資料挖掘模式，並請提供使用者日後在其他軟體重新建置原有模式的參考體重新建置原有模式的參考28可编辑版未來展望未來展望 本研究未來之發展可朝以下幾個方向進行：1.機密資料傳輸安全的強化 2.分散式運算架構的導入 3.資料挖掘結果合併演算法的發展29可编辑版The End!30可编辑版