活到老学到老--如何透过Data mining累积学习.ppt

活到老學到老Live(andTest)andLearn,如何透過Datamining累積學習?,故事背景人物介紹,故事背景,在達康公司(dotcom)正在快速發展的年代，一家電信公司面臨了顧客流失的大問題。由於這家公司除了擁有個人用戶外，同時也開發了多許小型企業用戶，因此擅長處理個人客戶流失的顧問也都束手無策。,人物介紹,凱倫：具有資料庫管理經驗的專案Leader羅尼：具有豐富的統計知識渴求資料採礦實務經驗的分析員羅尼太太：服務於電信公司的客服部,建立資料採礦小組,招募技術人員阻礙：大家正在瘋達康(dotcom)，人們捧著一堆企劃案往加州跑結果：幸運地找到了滿腔熱血的羅尼首要工作找出簡單又適合利用資料分析且立竿見影的商業問題，來快速建立在企業內部的可信度取得可分析的資料來源,潛在的軟柿子何在？,某天晚上就寢前，羅尼太太對羅尼提到他在工作時所碰到的情況。羅尼聽了之後間非常高興，抱著老婆又親又叫。對於羅尼突然的舉動，羅尼太太又是驚訝又是高興。一時間，乾柴烈火，接著就,潛在的軟柿子何在？,潛在的軟柿子何在？,開始打電話,用完免費時數,帳單處理,郵寄帳單,門號開通,關帳,第一個月,第二個月,此時發現帳單金額超出預期,潛在的軟柿子何在？,發現的問題帳單費用超出預期可能會造成顧客的負面印象,解決問題,目標：提早在帳單出現之前提醒顧客其免費分鐘數已用完注意：計算話量過多的過程並不需要精準方法：利用帳務系統的出帳邏輯來篩選顧客名單,為何之前無人能解？,設備：硬體：配有1GRAM的桌上型電腦軟體：SAS的採礦工具EnterpriseMiner人員：羅尼，對SAS程式的撰寫相當熟悉資料：交換機的通聯紀錄(CDR)透過SAS處理，就可以篩選出具有高拆機風險的顧客了,為何之前無人能解？,資料採礦小組完成幾項事情可以主動的出擊，並利用分析從公司所蒐集的資料來解決問題可以跳過資訊部門取得技術設備資源，以縮短決策流程可以整合具有資料分析能力的技術人員以及相關的分析工具,學習的意願,潛在的成功因子是在於學習的意願探索資料的過程中可以找出許多有建設性的營運建議透過分析電話行銷的通話記錄，發現第二波電話的回應率遠遜於第一波時，那就可以建議將人力應用於開發新客戶，而非去跟催那些拒絕過一次的顧客過去結果的分析可以協助我們獲得新的機會點,行銷區隔,一家公司積極的想規劃屬於他們的市場區隔策略。如同其他人的做法，他們選擇從市場研究開始著手。但他們發現一千多份問卷樣本並無法涵蓋數以百萬計的顧客行為，於是他們改採用資料採礦的技術,以行銷研究的角度,在忠誠度效應(TheLoyaltyEffect)一書中提到：忠誠度高的顧客擁有較高的顧客價值因此公司開始著手規劃如何衡量顧客忠誠度，以用來辨別顧客忠誠度的高低。透過忠誠度定義可以幫助我們作為後續行銷活動影響的測量基準。,以行銷研究的角度,增加顧客價值,增加忠誠度,風險顧客想要終止交易或投向競爭者品牌,成長顧客越來越不想更換品牌，同時顧客價值持續成長,穩定顧客不再想更換品牌,交心顧客具有高忠誠度,流失急需贏回流失顧客的芳心,以行銷研究的角度,透過行銷顧問公司來針對其顧客進行市場調查，以確認各類別顧客的比例。問卷進行的時間長度約一個小時，取樣12000個顧客，最後回收了2000份雖然問卷提供了相當深入的分析結果，但是整體回應率低於20%，只能代表回應者的意見,從行銷研究至市場區隔,在問卷中提供了一些定義忠誠度的方向顧客在過去六年間花在購買該公司產品上的金額兩個測量的方向年總價值的平均值逐年價值變化的趨勢(整體價值的平均斜率)將計算出來的平均顧客價值以及顧客價值斜率各分成五等份，共計組成25個子集,從行銷研究至市場區隔,顧客問卷申報購狀況,六年平均使用趨勢,顏色深淺代表所包含的顧客數量,低用量低斜率,高用量低斜率,低用量高斜率,高用量高斜率,從行銷研究至市場區隔,各忠誠度區隔的顧客人數佔比以及價值貢獻度比,風險自負(caveatemptor),受訪者是否誠實和其記憶程度回歸到顧客交易資料，從資料庫作為分析的起點顧客價值會與顧客會齡、會員狀態以及商品偏好有高度相關，但制式的分類無法得知其中的關聯性結合基本資料與顧客行為資訊做分析，找出更多關於顧客價值的線索,使用市場區隔,分析師將經由市場調查所得到的資訊轉化為忠誠度指標，並切割成為市場區隔。市調雖然可以提供相當寶貴的資訊，但其用來進行市場區隔時，通常是套用既定的切割規則，而非是根據顧客行為本身的差異(相似性)。透過資料採礦的技術，從資料庫中的大量資料，來協助我們定義顧客區隔。,從資料庫中找區隔,顧客區隔如果不能推及至所有的顧客身上，就變的毫無意義整合外部資料與內部資料各個異質格式的顧客資料，通常以身分證字號作為鍵值問卷調查通常只有姓名與地址，不能使用這兩個作為連結資料庫的鍵值將調查資料對應資料庫其實困難重重，最好的解決方法是提供受訪清單時連同身分證字號產出,營運式區隔的優點,顧客行為所建構的營運式區隔可推及至所有顧客，因為擁有充足的營運資料抽象的態度式區隔（忠誠度）提供方向性的概念，不適合做為資料庫行銷使用,發展營運式區隔,第一步就是要在不連續的時間點觀察顧客行為，觀察的重點在於行為的統計值以及隨著時間的變化趨勢，最後透過行為的相似性來決定群集瞭解顧客行為就必須能夠將每個交易或行為對應到身分明確的個人，在網站行為追蹤方面，我們透過cookie或登入帳號的方式來完成,根據時間框架將顧客行為分類,行為是受外在變數所影響的像是購買、客服、交叉銷售等等顧客數量太多，以至於沒有任何兩個顧客的行為會完全一致即使行為間有相似性，但細節的差異會使的比較不同顧客之間的行為變的困難重重,顧客使用量隨著時間而改變,使用量,顧客行為簡化為七種狀態,剛成為顧客（新客New），從零用量至有用量剛流失（Stopping），一開始用有用量至零用量,持續成長（GoingUp），該顧客結尾的用量較開始時高持續衰退（GoingDown），該顧客結尾的用量較開始時低,零用量（Inactive），該顧客幾乎沒有使用或交易穩定存活（SteadyActive），從頭到尾都保持相當用量激增（Burst），開始到結尾都沒有用量，但是突然中間有一段激增,利用代碼了解顧客行為細節,從明細使用資料至時窗狀態,使用量,新客,持續成長,持續衰退,穩定存活,從時窗狀態至行為區隔,穩定表示顧客的用量保持在相似的水位，但是根據顧客的用量基準可以在細分為零用量以及穩定存活成長表示使用量逐漸成長，但是根據顧客是新客或是舊客，可以在區隔為新客或是持續成長衰退表示使用量逐漸降低，但是根據顧客是舊客或是流失顧客，可以在區隔為流失持續衰退激增呈現用量急速上升或是下降，通常是多種狀態代碼的組合,營運式區隔範例,運用實際的行為資料搭配營運式區隔，可以輕鬆定義行銷的規則EX：穩定存活狀態會齡大於2.5年付款方式為信用卡首次交易金額大於3000元根據這些規則將資料庫的所有顧客指派到對應的區隔中，觀察隨著時間顧客在各區格間移動的趨勢,學習流程規劃,學習永無止盡,這就是所謂的行銷學習，每一次我們都控制住大多數的變因，只測試一兩個變因，隨著多次行銷測試的經驗累積，我們就可以找出行銷活動最佳化的正確道路。將每次行銷測試所獲得的結論立即應用在下一個行銷活動中，驗證並持續測試下一個新的變因。,民意如流水,在規劃行銷測試之前，必須很清楚衡量的計算基準為何，這才能夠正確的詮釋測試結果。顧客價值是一個很好的選擇，因為它幾乎是用於各種類型的問題。,事前規劃分析方式,這次活動與之前哪些行銷活動相似？這次活動與前次活動相異之處為何？測試了哪些變因？實驗組與對照組的設計為何？預計要採用哪些技術來分析結果？每組是否具有足夠的樣本數？根據結果可能的下一步規劃為何？,學習與記憶顧客行為分析所需資料的五大需求,需求1：建構顧客唯一記錄,必須能將異質資料庫依照顧客整合為一筆記錄，稱之為顧客唯一紀錄。以單筆記錄來呈現某一時點顧客的所有行為狀態。顧客唯一記錄常常需要修改，重點是它必須將異質資料源整合在一起。如何在多個資料源中識別單一顧客身份，各個資料庫的鍵值和單位不同。,異質資料庫整合原則,顧客初始交易行為狀態顧客首次交易或加入會員時狀態顧客近期狀態顧客目前的跨產品行為使用行為從明細資料中衍生出的時窗狀態外部的自填資料顧客自填的基本資料或是公司資料,需求2：建構過去時點的顧客唯一記錄,能夠追溯任何時點下的顧客唯一紀錄。顧客唯一記錄是描述顧客在某一時點的行為，另外必須具備能夠建立任一過去時點顧客唯一記錄的能力。如此才能夠以活動開始之前或之後的時間角度來觀察顧客行為。,回溯歷史的技術,在資料庫中建立快照(snapshot)的機制。留下所有交易及異動過程。,需求3：參照明細資料,能夠根據顧客唯一紀錄參照明細資料。在分析的過程中，有時候會發現有些特例存在，因此就必須調閱這一兩個人的明細交易資料，以肉眼歸納出是否有特殊模式。尤其是當唯一資料出現非預期的趨勢時，就能夠透過明細資料來查驗是計算錯誤或是異常趨勢。,需求4：持續跨時追蹤顧客,能夠跨時追蹤顧客行為，包括顧客區隔以及維度緩慢時變(SlowChangeDimension)。追蹤顧客行為所面臨到的最大挑戰在於顧客行為可能會隨著時間緩慢變化，在資料倉儲的術語中稱之為維度緩慢時變(slowlychangedimension)。,需求5：跨時追蹤行銷活動成效,可以追蹤過去歷史任一時點所進行的活動與廣告。需求4的延伸，要能夠掌握跨時間的行銷活動與廣告，也可以說是企業活動的歷史記憶。同時要記錄當初活動前所評估的期望回應率，然後比較實際發生的結果並記錄。,結論,彈性的重要。顧客區隔讓我們更容易瞭解與歸納顧客行為模式。資訊系統最大的挑戰來自於必須跨越各個異質系統來產生顧客的唯一形貌。活動歷史剪報集,