机器学习基本算法介绍(提交版).ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,主讲人,weibo,罗 青,小青青,_Lo,机器学习与数据挖掘基本算法介绍,sina,.,目录,1,2,3,4,监督学习模型算法,模型检验和评估,优化算法,数据筛选与预处理,.,监督学习算法,算法,原理,代码,应用,1,2,3,4,神经网络,决策树,贝叶斯,SVM,优缺点,.,学习系统,两大步骤,：获取经验和学以致用,学习系统模型,应对外部环境的刺激输入，在实践的过程中不断学习，,获取经验知识,，并且运用我们所学到的经验知识指导我们日常生活实践，通过实践效果的反馈，也就是在实践过程中获得经验教训，从而不断更新我们的阅历知识，在以后的生活中，将自己的经验知识,学以致用,。,.,监督学习模型,以鸿翔买西瓜为例,样本：西瓜,输入：特征向量,(,大小、色泽、声响、产地,),输出：甜不甜，水分多不多,判断西瓜好坏依据：以往买西瓜的经验教训,训练数据：,特征向量,目标向量,测试数据：,特征向量,输出向量,.,神经网络拓扑结构图,x,1,y,1,输出层,(k),隐藏层,(j),输入层,(i),x,i,y,k,y,m,x,n,o,j,o,1,o,p,输入：特征向量,(x1,x2,xi,xn),输出：结果向量,(y1,y2,yk,ym,),.,BP,神经网络,环 境,实践学习,知识库,执行与评价,输入向量,网络权阵,结点阈值,输出向量,目标向量,误差改正,激励函数训练,二值函数,S,形函数,双曲正切函数,更新知识库,返回重新实践学习,学习模型,获取知识（经验方法）,神经网络模型,获取知识（经验方法）,输入层,隐含层,输出层,.,神经网络应用实例,图像分类,航空影像图,分类结果图,输入特征向量,：第,i,分量表示样本多边形第,i,波段的平均灰度值,(RGB),(R1,G1,B1)(R2,G2,B2)(R3,G3,B3)(Rn,Gn,Bn)-,特征向量,输出向量,：第,k,分量表示样本多边形属于第,k,类的概率,(1,0,0,0)(0,1,0,0)(1,0,0,0)-,训练样本目标向量,(0.5,0.2,0.6,0.3)(0.13,0.88,0.12,0.4)-,测试样本实际输出,.,神经网络应用实例,-,新闻分组,主题,关键词,体育,球类、比赛、,NBA,、国足、超级丹,娱乐,八卦、狗仔、绯闻、时尚、电影,财经,股票、牛市、开盘、银行、通货膨胀,女性,美容、瘦身、家居,、,感情、育儿,输入特征向量,：每一个关键词在文中出现频次组成特征向量,（,23,18,20,30,10,0,4,2,3,.,）,输出向量,：第,k,个分量是新闻稿属于第,k,个主题的概率,训练目标向量,:(1,0,0,0),实际输出,:(0.5,0.6,0.7,0.2),.,BP,神经网络代码实现,.,决策树应用实例,-给高鑫找对象,性别,年龄,长相,品性,NO,女,男,NO,90,后,非,90,后,NO,NO,YES,漂亮,一般,良好,一般,.,决策树算法,.,决策树代码,性别,年龄,长相,品性,A,女,20,良好,一般,yes,B,女,24,漂亮,良好,yes,C,女,26,一般,良好,no,D,女,28,漂亮,良好,no,E,男,22,漂亮,良好,no,.,贝叶斯,-,以疾病诊断为例,贝叶斯公式,P(A|B)=P(A)P(B|A)/P(B),P(Disease|Symptom)=P(Disease)*P(Symptom|Disease)/P(Symptom),先验概率,根据以往的经验和分析得到的概率,患病概率,P(Disease),和显现某种症状,P(Symptom),通过统计病例库获得,后验概率,得到“结果”的信息后重新修正的概率,P(Symptom|Disease),通过统计确诊病例库患某种病显现某种症状的概率获得,前提假设（朴素贝叶斯）,各个特征之间应该是相互独立的,如果疾病,1,显现症状,A,时，很大可能显现症状,B,，则症状,AB,之间就是相互依赖的关系。,.,朴素贝叶斯,垃圾邮件过滤,问题描述,给定一封邮件，判定它是否属于垃圾邮件,前提假设：各单词之间相互独立,公式推导,P(h+|D)=P(h+)*P(D|h+)/P(D),P(h-|D)=P(h-)*P(D|h-)/P(D),P(D|h+)=P(d1,d2,.,dn|h+),P(D|h+)=P(d1|h+)*P(d2|d1,h+)*P(d3|d2,d1,h+)*.,P(D|h+)=P(d1|h+)*P(d2|h+)*P(d3|h+)*.,P(di|h+),为,单词,di,在垃圾邮件中出现的频率,.,支持向量机,-SVM,基本原理,通过一些支持向量（,H1,、,H2,上的点数据）确定一个分类平面,H,，使得数据分成两类，甚至多类。,优点,-,适用小样本，高维特征数据分类,.,各监督学习算法比较,贝叶斯,决策树,神经网络,SVM,是否支持,增量式学习,支持,不支持,支持,不支持,黑盒,or,白盒,解析性好,解析性好,黑盒,黑盒,抗噪性,较好,较好,较好,不好,能否能进行,特征组合,不能较好,不能较好,能,能,能否处理特征间的依赖关系,不能较好,能较好,可以,可以,线性,or,非线性,非线性,线性,非线性,非线性,时间效率,快,较快,慢,慢,空间效率,一般,较多,一般,一般,最大优势,高效率，具有一定解析性,具有解析性,处理复杂非线性问题，不需要了解内部机制,支持小样本，高维以及非线性,最大缺陷,无法处理基于特征组合所产生的变化结果,不适合大规模数据,训练时间长，连接权重难以解释，在参数设置方面没有明确的规则可参照,对于核函数的选择没有明确规则可参照,对于噪声数据敏感,适用情况,大样本且需要了解内部机制,数据规模不大且需要了解内部机制,大样本且内部系统结构未知,大样本且内部系统结构未知,.,模型检验评估,交叉验证,方法：将已知类别信息的样本数据分为,k,份，,k-1,份用来作为训练样本数据训练出模型，一份作为测试数据测试模型的好坏,检测指标：分类准确率、混淆矩阵、,kappa,系数等,A/B,测试,方法：建立一个测试页面，测试页面与原有页面前端相似，但是后端测试页面采用新的推荐算法，而原有页面没有推荐算法或是旧算法,检测指标：点击率，转化率等,.,非监督学习,物以类聚，人以群分,描述聚类点：特征向量,相似性衡量：欧式距离法、皮尔逊相关系数法,聚类法则：,Kmeans,，系统聚类,舞会,party,的抱团,特征向量：每个人的喜好向量,欧式距离：喜好向量的欧式距离,聚类法则：,kmeans,.,优 化 算 法,.,搜 索 策 略,穷尽搜索,启发式搜索,基本搜索,思想,遍历解空间中所有的可能解,沿着使成本变小的方向进行搜索,具体实例,灰度图像二值化（,OSTU,）算法,在,0,255,区间寻找最佳阈值,贪心算法和动态规划,随机搜索，爬山法，,A*,搜索，,模拟退火，进化计算,（遗传算法，群体智能，如蚁群算法）,优点,算法简单，能保证得到最优解,算法能很快得到结果,一般能得到最优解,缺点,时间复杂度高，效率低下,容易陷入局部最优，可能得不到全局最优解,算法相对复杂,改进方法及,适用情况,穷尽搜索一般适用于解空间范围较小的,情况,，如灰度图像,(8bit,图,),取值范围为,0,255,随机重复爬山法,最适合者,+,最幸运者,群体智能,优化算法搜索策略比较,.,优化举例,图像二值化,问题描述,将一副灰度图像分为前景和背景的黑白图像,描述题解,灰度,取值为,0,255,的整数,值,目标函数,f(g,)=,类内方差,/,类间方差,类,间方差越大，类内方差越小，目标函数值越小，其分割的前景和背景对比度越大,，,二分图像质量,越,好,。,搜索策略,穷举,0,255,或者按照进化计算，蚁群算法等,.,遗传进化,.,遗传进化实例,大学聚会安排最优出行方案,问题描述,大学同学回长沙聚会，为大家安排时间成本和金钱花销最少的车次序列,描述题解,假设每个同学从出发点到长沙都有,6,趟的,车次,。编号为,0,1,2,3,4,5,所有同学车次序列,：,10345253,（基因片段,其长度为人数）,目标函数,F(x,)=a*,价格,+b*,旅行时间,+c*,等待时间,+d*,（出发时间,-12,）,a+b+c+d=1,搜索策略,选择、交叉、变异,.,有效数据才是王道,-,数据预处理,数据抽样,样本量足够,无偏,样本数据能反映总体数据,数据整理,清除无效数据，使其噪音小,图像去噪增强处理，高分影像分类的多尺度分割,文本分类的分词以及关键词筛选,特征提取,针对具体应用，抽取能反映样本的本质特征,图像处理最主要是颜色信息，其次是形状信息,文本处理一般以关键词的频次，距离作为特征,.,Review-know how to use,机器学习系统模型,监督学习的输入输出,各种算法的优缺点和适应场景,算法模型的评价和验证,数据的筛选和解读,.,Questions,机器学习系统主要的维度有哪几个,？,机器学习系统有效最关键的,步骤,是什么？,机器学习的主要步骤是什么？,少量粗糙的数据,+,复杂的算法,？,大量有效的数据,+,简单的算法,？,如何进行数据筛选？,如何进行数据的解读？,机器学习在,web,应用中最关键的是什么？,机器学习,相关应用,存在的机遇和挑战，,比如推荐系统存在的困境？,.,机器学习基本算法介绍笔记,非码农也能看懂的机器学习,神经网络,-,空间信息智能处理,决策树,-,集体智慧编程,数学之美番外篇：平凡而又神奇的贝叶斯方法,支持向量机详细讲解,如何做好推荐算法？有哪些常见的错误需要避免？,参考资料,集体智慧编程,Toby Segaran,机器学习,(,美,)Tom Mitchell,.,谢,谢,Q&A,敬请各位批评指正！,.,