人工智能基础课程.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,人工智能基础,工业互联网学院,2018,年,6,月,集团师级工业互联网培训课程,之,（高中版）,课程目标,系统了解人工智能发展,简史,，,掌握,人工智能,的基本思想和,理念,系统了解人工智能在各行各业具体应用的场景和功能，,掌握,人工智能基本概念和基础知识,系统掌握人工智能方法和技术的具体应用，能正确理解机器学习和强化学习的方法,课时安排：,4H,课程对象：集团全体师级干部,课程安排,基础篇：,人工智能发展简史,01,应用篇：,构建人工智能系统,02,进阶篇：,人工智能与机器学习,03,01,基础篇：人工智能发展简史,“智能,+,”的未来,人工智能的出现及发展,人工智能概述,人工智能发展简史,在现代社会便利与舒适的生活背后，是一场正在深刻地改变人们生活与社会的的科技浪潮,-,人工智能。,十年前仍是科幻小说里的场景，今天已经成为我们真实的生活经历。在人工智能浪潮的驱动下，十年之后我们会生活在什么样的世界里面呢？,前言,“,智能,+,”,的未来,跨越时空：铭铭的一天,场景,1,场景,2,场景,3,场景,4,场景,5,思考,：在这些未来的生活,场景中，人工智能的,应用有哪些？,“,智能,+,”,的未来,智能,+,未来,家庭,城市,汽车,.,什么是智能,?,帮你算数学,?,帮你洗衣服,?,帮你,人工智能学家,or,数学家、物理学家、科学家跟我们想的是一样的吗,?,知识的表达与推理,智慧,是一种计算过程,?,“,智能,+,”,的未来,什么是人工智能？,其实，广义的人工智能，或是人工智能，是很复杂的,Ex:,知识定义、知识表达、知识推理,人工智能,的出现及发展,人工智能的横空出世,19,50,年,，,艾伦,图灵,（,Alan Turing,）,在他的论文中提出了著名的,“,图灵测试,”,（,Turing,Test,）,被广泛认为是测试机器智能的重要标准,。,图灵测试,：,一位人类测试员会通过文字与密室里的一台机器和一个人对话,。,如果测试员无法分辨与之对话的两个实体谁是人谁是机器,，,参与对话的机器就被认为通过图灵测试,。,图灵测试,人工智能,的出现及发展,人工智能的横空出世,1951,年,，,研究生马文,闵,斯基,（,Marvin,Minsky,）,建立了世界上第一个神经网路机器,SNARC,（,Stochastic,Neural,Analog,Reinforcement,Calculator,）。,人们第一次模拟了神经信号的传递,，,为人工智能奠定了深远的基础,。,马文闵斯基,人工智能,的出现及发展,人工智能的横空出世,1955,年,，,艾伦,纽厄尔,（,Alan,Newell,）、,赫伯特,西蒙,（,Herbert,Simon,）,和克里夫,肖,（,Cliff,Shaw,）,建立了,“,逻辑理论家,”,计算机程序来模拟人类解决问题的技能,，,此项工作开创了一种日后被广泛应用的方法,：,搜索推理,（,reasoning,）。,艾伦,纽厄尔,赫伯特,西蒙,人工智能,的出现及发展,人工智能的横空出世,1956,年,，闵斯基、约翰麦卡锡（,John McCarthy,）、克劳的香农（,Claude,Shannon,）和纳撒尼尔罗切斯特（,Nathan Rochester,）,在美国达特茅斯学院组织了一次会议,，,此会议宣告了,“,人工智能,”,作为一门新学科的诞生,。,2006,年，会议五十年后，当事人重聚达特茅斯。左起：摩尔，麦卡锡，明斯基，赛弗里奇，所罗门诺夫,达特茅斯,楼,人工智能,的出现及发展,人工智能的第一次浪潮（,1956-1974,）,1963,年,，,美国高等研究计划局投入两百万美元给麻省理工学院,，,培养了早期的计算机科学和人工智能人才,。,1964-1966,年,，,约瑟夫,维森鲍姆,（,Joseph,Weizenbaum,）,教授建立了世界上第一个自然语言对话程序,ELIZA,，,可以通过简单的模式匹配和对话规则与人聊天,。,70,年代中期,，,人工智能还是难以满足社会对这个领域不切实际的期待,，,因此进入了第一个冬天,。,人工智能,的出现及发展,人工智能的第二次浪潮（,1980-1987,）,80,年代,，,由于专家系统和人工神经网络的新进展,，,人工智能浪潮再度兴起,。,1980,年,，,卡耐基梅隆大学为迪吉多公司开发了一套名为,XCON,的专家系统,，,这套系统当时每年可为迪吉多公司节省,4000,万美元,。,XCON,的巨大价值激发了工业界对人工智能尤其专家系统的热情,。,1982,年，,约翰,霍普菲尔德提出了一种新型的网络形式,，,即霍普菲尔德神经网络,，,其中引入了相关存储,（,associative,memory,）,的机制。,1986,年,，,通过误差反向传播学习表示,论文的发表,，,使反向传播算法被广泛用于人工神经网络的训练,。,80,年代后期,，,由于专家系统开发与维护的成本高昂,，,而商业价值有限,，,人工智能的发展再度步入冬天,。,爱德华费根鲍姆,“,专家系统之父,”,人工智能,的出现及发展,人工智能的第三次浪潮（,2011-,现在）,21,世纪,，,人类迈入了,“,大数据,”,时代,，,此时电脑芯片的计算能力高速增长,，,人工智能算法也因此取得重大突破,。,研究人工智能的学者开始引入不同学科的数学工具,，,为人工智能打造更坚实的数学基础,。,在数学的驱动下,，,一大批新的数学模型和算法被发展起来,，,逐步被应用于解决实际问题,，,让科学家看到了人工智能再度兴起的曙光,。,2012,年全球的图像识别算法竞赛,ILSVRC,（,或称,ImageNet,挑战赛,）,中,，,多伦多大学开发的多层神经网络,Alex,Net,取得了冠军,，,且大幅超越传统算法的亚军,，,引起了人工智能学界的震动,。,从此,，,多层神经网络为基础的深度学习被推广到多个应用领域,。,2016,年,谷歌通过深度学习训练的阿尔法狗（,AlphaGo,）程序战胜围棋世界冠军李世石。,人工智能,的出现及发展,西洋棋机器,人工智能概述,人工智能的定义,人工智能,是通过机器来模拟人类认知能力的技术,。,人工智能的核心能力：,根据给定的输入作出判断或预测,人脸识别,：,根据输入的,照片,，,判断,照片的人是,谁,。,语音识别,：,根据人说话的音频信号,，,判断说话,内容,。,医疗诊断,：,根据输入的医疗影像,，,判断疾病的成因和,性质,。,电子商务,：,根据用户的购买记录,，,预测他对,什么,商品,感兴趣,，,而作出相应推荐,。,金融应用,：,根据一支股票过去的价格和交易信息,，,判断,它未来的价格走势,。,人工智能概述,人工智能的应用,安防,智能视频分析技术可以代替民警做很多事情,实时从视频中检测出人和车辆,自动找到,视频中异常的行为,，,并及时发出带有具体地点方位信息的警报,自动判断人群的密度和人流的方向,，,提前发现过密人群带来的潜在危险,，,帮助工作人员引导和管理人流,。,人工智能概述,人工智能的应用,医疗,为,解决,“,看病难,”,的问题提供了新的思路,。,对医学影像进行自动分析技术的研究和应用，可以为医生诊断提供参考信息，有效的减少误诊和漏诊。,有些新技术还能通过多张医疗影像建出人体器官的三维模型，确保医生手术更加精准。,人工智能概述,人工智能的应用,智能客服,随着互联网和电子商务的发展,，,我们和商家的交流变得越来越多元,，,为了因应这种挑战,，,很多企业开始引入人工智能技术打造智能客服系统,。,智能客服可以像人一样和客户交流沟通,，,进行准确得体且个性化的回应,，,提升客户的体验,。,对企业来说,，,这样的系统不仅能够提高回应客户的效率,，,还能自动的对客户的需求和问题进行统计和分析,，,为之后的决策提供数据,。,人工智能概述,人工智能的应用,自动驾驶,自动驾驶汽车通过多种传感器,，,包括视频摄像头,、,激光雷达,、,卫星定位系统等,，,对驾驶环境进行实时感知,。,智能驾驶系统可以对多种感知信号进行综合分析,，,实时规划驾驶路线,，,控制车子的运行,。,工业制造系统必须变得更加,“,聪明,”,，,而人工智能则是提升工业制造系统的最强动力,。,人工智能概述,人工智能的应用,工业制造,例如：,品质监控是生产过程中最重要的环节,，,传统生产线上都安排大量的检测工人用肉眼进行质量检测,。,这种方式不仅容易漏检和误判,，,更会给工人造成疲劳伤害,。,因此很多任务业产品公司开发使用人工智能的视觉工具,，,帮助工厂自动检测出形态各异的缺陷,。,人工智能概述,智能从何而来？,人工智能如何自动做出判断或预测,专家系统：基于人工定义的规则来回答特定问题（局限性）,机器学习（,machine learning,）,通过学习（,l,earning,）来获得进行预测或判断的能力，,这样的方法已经成为人工智能的主流方法。,人工智能概述,机器学习的方法,从数据中,学习,从已知数据去学习数据中蕴含的规律或判断规则,，,再把学到的规则应用到新数据并作出判断或,预测,方式,监督学习,：,要求,为每个,样本提供,预测量的真实值,2.,无监督学习,：,不,要求为每个,样本,提供预测量的真实值,3.,半监督学习,：,介于,监督学习,与无监督学习之间,人工智能概述,机器学习的方法,在行动中学习,在机器学习的实际应用中,，,还会遇到另一种类型的问题,：,利用学习得到的模型来指导行动,。,比如,下棋,，,此时关注的不是某个判断是否准确,，,而是行动过程中能否带来最大,效益,，又称为强化学习。,强化学习模型结构：,可动态变化的状态,（,state,）,可选取的动作,（,action,）,可以和决策主体进行交互的环境,（,environment,）,回报,（,reward,）,规则,Q-Learning,：,Agent,主体会根据实际环境反馈进行调整,人工智能概述,小结,人工智能是研究如何通过机器来模拟人类认知能力的学科,，,通过几十年的努力,，,人工智能已经获得了长足的发展,，,且在多个行业得到了成功的应用,。,人工智能这一新兴科技正在改变我们的世界并影响着我们的生活,，,但这仅仅只是个开始,，,人工智能过去的发展为我们展现了一个令人激动的前景,，,这个更美好的时代需要我们共同努力去创造,。,02,应用篇,：构建人工智能系统,特征与分类器,识图认物,析音赏乐,看懂视频,构建人工智能系统,前言,人工智能系统处理的是各种各样的数据：图像、声音、文字、视频等等,数据,(,Data,),是信息的载体,分类,(,Classification,),是根据所给数据的不同特点，判断它属于哪种类别,特征与分类器,数据类型和相关应用,数据类型,示意图,相关应用,图像,(,照片、图画,),详见第三章,基于图像的人脸辨识、物体分类、场景理解,图像处理、艺术风格转换、图片生成,声音,(,语音、音乐,),详见第四章,语音识别、机器对话、对话理解,听歌识曲、自动谱曲,视频,(,影视,),详见第五章,视频分类、内容理解、查找检索,视频总结、自动生成视频,文字,详见第七章,文章聚类、阅读理解,自动生成文章,其它数据类型,详见第九章等,棋谱数据在,AlphaGo,中使用,基因测序数据辅助疾病的预测诊断,特征与分类器,分类的基本概念和流程,例：,对,鸢尾花,的两个品种进行分,类。,全世界大约有,300,个品种，其中，常见的有变色,鸢尾,(iris versicolor),及山,鸢尾,(iris,setosa,),。如何构建一个简单的人工智能系统，它能够像人类一样区分变色鸢尾和山鸢尾？,特征与分类器,分类的基本概念和流程,分类器（,Classifier,）：能完成分类任务的人工智能系统,构建该系统的流程：,首先提取鸢尾花的特征,然后将这些特征输入到训练好的分类器中,分类器根据特征做出预测，输出鸢尾花的品种,特征与分类器,提取特征的方法,特征（,feature,）：对事物的某方面的特点进行刻画的数字或者属性,特征的质量很大程度上决定了分类器最终分类效果的好坏,不同类型的数据，不同的特征提取方法,特征与分类器,分类器,定义：分类器是一个由特征向量到预测类别的函数,特征与分类器,训练分类器,让分类器学习得到合适参数的过程称为分类器的训练,目的：提升人工智能系统的性能,工智能系统是通过什么来进行学习呢,?,Ans,:,数据,数据,为人工智能的支柱之一，人工智能系统的训练需要大量的数据作为支撑。,训练阶段使用的数据被称为训练数据。,测试阶段使用的数据被称为测试数据。,在分类的过程中，训练和测试数据需要实际的类别分类。,数据标注的过程是耗时耗力的，数据标注是需要相关领域的专业知识，且,标注的质量会直接影响到训练后人工智能系统性能的好坏,。,特征与分类器,训练线性分类器的算法,感知器的训练过程示意图,感知器,(perceptron),是一种训练线性分类器的算法,特征与分类器,训练线性分类器的算法,支持向量机的训练过程示意图,一般地,，,一个点距离分类直线的远近可以表示对分类预测的确信程度,。,特征与分类器,训练线性分类器的算法,算法：基于数据集来训练分类器的过程,，其过程是由一系列判断和计算的步骤所组成的，称之为算法,(Algorithm),1.,感知器,2.,支持向量机,感知器学习算法,不断减少对数据误分类的,过程,利用,被误分类的训练数据调整现有的分类器的参数，使得调整后的分类器判断更准确,。,参数,更新的,规则,损失函数,（度量分类器输出错误的数学化表示,）,优化,方法（调整分类器的参数,）,SVM,（,support,vector,machine),是在特征空间上分类间隔最大的分类器，是对两个类别进行分类。,结论,一,个点距离分类直线越远，分类预测的可信程度越,高,特征与分类器,测试与应用,若想知道分类器的分类效果如何，哪一个学习算法的分类器效能最好，需透过测试阶段来进行验证,测试：评判分类器表现的好坏，选择最优分类器,应用：分类器在实际情况中的使用,以鸢尾花的例子，测试数据中有一朵鸢尾花，它的花瓣长度是,1.5,厘米，宽度是,0.4,厘米，其测试样本的特征向量,(1.5,0.4),，位于山鸢尾的一侧，故此朵鸢尾花为山鸢尾。,特征与分类器,多类别分类,由图所示,目前有三个分类器，分别为牡丹、荷花、梅花的分类器，它们只负责区分某一个类别的分类。,当输入一张图片的特征向量后，三个分类器都可能够输出自己的预测，综合三个预测结果，最终能够得到多分类的预测结果。,若,f1,输出为正，,f2,f3,输出为负，那可以确定的说类别为牡丹,f1,f2,f3,的输出值是通过一个归一化指数函数,转他成概率,-,说明输入物体属于某一类的可能性。,特征与分类器,二分类的应用,感,生活中遇到的,是不是问题,都属于二分类的范畴,相机中的人脸检测,癌症检测,1.,首先，一张照片被切成一块块图像块,2,.,每一图像块皆经过人脸分类器去判别是否为人脸,*,人脸分类器是预先训练好的分类器,人脸检测中出现多的框,撷取不同位子,尺寸的图像块,可通过融合技术,将其融合,得至右图结果。,判断生物组织样本的每一个区域是否有肿瘤,认,图识物,基于手工特征的图像分类,例：铭铭的相册中有许多图片。如何设计一个用于对图片进行分类的系统，它能够像人类一样识别照片中的物体是什么类别？,问题：计算机眼中的图片是什么样子的？,认,图识物,计算机眼中的图像,数字组成的矩阵,灰度图像和彩色图像,彩色图像（,R,G,B,）表示颜色,行数与列数（分辨率）,图像,(1280 X 720 X 3),在计算机中表示为三阶张量,认,图识物,图像特征,概念,：能够区分照片的特征,手工设计了各种图像特征：图像颜色、边缘、纹理等基本性质,计算机如何提取图片特征,图像在计算机中可以表示成三阶张量，对图像特征的提取即对该三阶张量进行运算的过程,其中非常重要的一种运算是卷积,卷积运算示例,认,图识物,基于深度神经网络的图像分类,深度神经网络分类系统,由多个顺序连接的层组成,每一层以前一层提出的,特征,输入，对其进行特定,形式的,变换,由简单到复杂，由低级,到高级,深度神经网络的结构,例：,Alex Net,神经网络结构示意图,认,图识物,基于深度神经网络的图像分类,深度神经网络的结构,卷积层：,深度神经网络处理图像时十分常用的一种层,，当以卷积层为主体时，称为卷积神经网络。,全连接层：,全连接层完成对特征向量的变换,归一化指数层：,完成多类线性分类器中的归一化指数函数计算，一般是分类网络的最后一层，输出为图像属于各个类别的,概率,。,非线性激活层：,保留特征每次变换的效果,池化层：,在几个卷基层之后插入，降低特征图的,分辨率,人工神经网络的训练,反向传播算法,过拟合：,在训练数据上表现良好，在未知数据上表现差。,欠拟合：,在训练数据和未知数据上表现都很差,。,梯度消失：优化过程失去指导，无法找到一个较好的解。,认,图识物,图像分类在日常生活中的应用,丰富的,“,刷脸,”,应用场景,人脸识别技术助力安防,例如：人脸检测跟踪,析音赏乐,声音的数字化,人耳听音,声波由耳廓收集之后经一系列结构的传导到达耳蜗，耳蜗内丰富的听觉感受器，可将声音传导到听神经，最后引起听觉。,频率是声音的重要特征，,代表了发声物体在一秒内振动的次数,，单位是赫兹。,计算机听音,析音赏乐,声音的数字化,计算机如何,“,理解,”,声音,频谱三要素,响度：,最直观的乐音要素，代表声音的强弱，可由波形的幅度表示,音调：,表示人听到的声音调子的高低，可用频谱来描述,音色：,即不同的乐器演奏或者不同的人来演唱所产生不同的听觉效果。频谱图中峰值之间的比例不同反映了声音音色的不同,吉他与钢琴的波形与频谱,析音赏乐,音乐风格的分类,音乐,风格分类流程,经典的声学特征：梅尔频率倒谱系数,MFCC(Mel-Frequency Cepstral Coefficients),特征的维数很低,比频谱更加有效，可以刻画,出频谱的,形状,可以描画,出不同频率声音的能量,高低，还,可以表达出声音的一个重要特征：共振峰,。,析音赏乐,音乐风格的分类,声学特征提取过程,提取,MFCC,特征,利用深度学习方法完成分类（神经网络）,析音赏乐,语音识别技术,语音识别的应用,语音识别,（,speech,recognition,）,把人说的话转化为文字或者机器可以理解的指令，从而实现人与机器的交流,语音识别的流程,分帧,：,把一段语音分成若干小段,声学模型：,把每一帧识别为一个,状态,，,把,状态组合成音素（声母及韵母,）,语言模型：,从同音字中挑选出正确的,文字,，,将,文字组成意义明确的,语句,析音赏乐,乐曲检索技术,乐曲检索的流程,窗口扫描：,在乐曲上按照时间顺序依次截取和音乐片段长度一致的段落,计算距离：,计算片段和所截段落的特征并计算它们的距离,，,片段与乐曲的距离即为上述距离的最小值,检索结果：,与音乐片段距离最小的乐曲即为检索的结,果,Single,Frame,Video,看,懂视频,从图像到视频,视频理解技术,Video Understanding,计,算机视觉领域的热门方向之一,应用领域：视频内容分析、视频监控、人机交互、智能机器人等,视频：,多个图像依时间序列堆迭,看,懂视频,视频行为识别,行为（,Action,）,执行某一任务所发生一连串的动作,，例如：投篮、跳水,行为识别（,Action,Recognition,）,：,计算器分析视频数据，辨别出用户行为的过程,运动是判断行为类别的重要特征,行为识别的挑战,距离、光影、角度等因素都会影响计算器识别视频行为的精准,度,困难,点,行为类别差异过大（例：,不同的人做出的刮胡子动作不尽相同,）,行为定义不明,背景差异过大（例,：,看电视的行为，角度、人数、位置,）,看,懂视频,运动的刻画：光流,光流（,optical flow,）,描述三维的运动点投影到二维图像之后相应的投影点位置,让计算机从序列化的图像中得到人体的运动特征,光流直方图特征,HOF(Histograms of Optical Flow),对,视频中的光流信息进行统计，,表示出视频中物体的运动信息,看,懂视频,运动的刻画：光流,视频行为识别,透过光流信息,该点再下一影格的位置,取得位移量,得到向量,得出轨迹,看,懂视频,基于深度学习的视频行为识别,双流卷积神经网络,(two-stream,CNN),静态信息,物体的外观,动态信息,视频序列中物体的动态信息,用两个不同的网络实现同时处理静态与动态讯息,，,非常适用于短视频（,10,秒）,看,懂视频,基于深度学习的视频行为识别,时序分段网络,(temporal,segment,networks),适用于长视频（几分钟）,稀疏时间采样（,sparse,temporal,sampling,）,对于时间长度不同的数据，根据时间先后分成固定的段落,就像班上每个同学提交同一份作品，选最好的当代表,，,也可以是大家分工不同部分一同完成,构建人工智能系统,小结,分类过程三阶段,特征提取、分类器的训练及测试应用,特征提取是由数据到特征向量的过程，是传统分类方法中的重点,分类器,-,感知器和支持向量机训练算法,图像、声音、视频等的不同特征提取方法,人工智能系统实现图像、声音、视频的智能分类与识别的过程,03,进阶篇：人工智能与机器学习,让人工智能更智能,无监督机器学习的方法,阿尔法狗背后的秘密,让人工智能更智能,监督学习,需要训练数据的标注信息的学习过程，就是监督学习,如：分类器从数据中学会了区分鸢尾花的品种,如：对图像、音频和视频的分类，都需要类别的标注信息，都属于监督学习,没有类别的标注信息供人工智能参考时，怎么办？,无监督学习,没有标注信息的学习过程,无类别信息指导很难判断哪一些鸢尾花是相同品种,监督学习,无监督学习,“,计算机能不能自动将照片整理好？,”,让人工智能更智能,“,计算机能不能自动将照片整理好？,”,聚类,（,clustering,）,通过分析数据在特征空间的聚集情况，可以将一组数据分成不同的类。,旨在把一群样本分为多个集合，使得同一个集合内的元素尽量“相似”或者“相近”,是一种无监督学习过程,不需要数据的类别标注,不需要预先定义类别,让人工智能像真正的科学家一样，自己发掘规律。,无,监督机器学习的方法,K,均值聚类算法,问题的提出,我们希望人工智能在不知道鸢尾花品种的前提下将这,N,朵鸢尾花分为,K,类，使得同一类样本的特征相似程度高，而不同类样本的特征相似程度低。,算法主要思路,先从任意一组划分出发，通过调整，逐步达成上述目标,算法步骤,1.,先计算鸢尾花的聚类中心,2.,针对矛盾样本进行调整,3.K,均值聚类结果,4.,重复第,2,、,3,步骤，直到聚类中心与划分方式不再发生变化,无,监督机器学习的方法,K,均值聚类算法,聚类算法示例（鸢尾花分类问题）,1.,先计算鸢尾花的聚类中心,2.,针对矛盾样本进行调整,3.K,均值聚类结果,无,监督机器学习的方法,K,均值聚类算法,相册中的人脸聚类,只要我们能对照片中的人脸提取特征，用特征空间里的特征点表示每一张人脸，就能使用,K,均值算法将“相似”的人脸聚集起来了,无,监督机器学习的方法,K,均值聚类算法,K,值的确定,-,手肘法,聚类数量过大会导致照片划分得过细，这样就失去了实用性，需要在平均距离与聚类数量之间取得平衡,如图，在,K=3,的时候，曲线产生了一个明显的拐点，拐点后随着,K,的增加平均距离减少得非常慢，因此,K=3,是个合适的选择。,（,elbow method,）,无,监督机器学习的方法,主题模型与潜在语义分析技术,潜在语义分析技术,Latent semantic analysis,针对文本数据“多主题”的特点而设计,计算机可以借助该技术，从海量的文本数据中自动发掘潜在的主题，进而完成对文本内容的概括和提炼,相关专有名词,语料库,(corpus),：,海量的文本数据,文档（,document,）：,语料库中独立的文本,主题：,文档的中心思想或主要内容,无,监督机器学习的方法,主题模型与潜在语义分析技术,文本的特征,词袋,模型,词袋,模型,(bag-of-words,model,),是用于描述文本的一个简单的数学模型，常用文本特征提取方式之一。词袋模型将一篇文文件看作是一个“装有若干词语的袋子”，只考虑词语在文档中出现的次数，而忽略词语的顺序以及句子的结构。,利用词袋模型构建文本特征的基本流程,无,监督机器学习的方法,主题模型与潜在语义分析技术,文本的特征,中文分词,对中文文本进行词袋构建之前，我们还需要藉助额外的手段拆分词语，这项技术称为中文分词。中文分词方法大多基于匹配和统计学方法。,停止,词与低频词,停止,词：是,文档常出现的，构成中文句子的基本字词，对区分不同文文件的主题没有任何,帮助（不,携带任何主题信息的高频,词）,低频,词：通常,是一些不常用的专有名词，只出现于特定的文章中,(,比如姓名,),，不能代表某一,主题,。,词频率与逆文档频率,反映一个词语对于一篇文档的重要性的两个指标,一个词语在一篇文文件中出现的频率即为词频率,(team,frequency,),借助逆文档频率（,inverse document frequency,）来修正每个词语在每篇文档中的重要性,无,监督机器学习的方法,主题模型与潜在语义分析技术,发掘文本中潜在的主题,主题模型（,topic,model,）,是描述语料库及其中潜在主题的一类数学模型,将文文档词频、主题比重、主题词频三者的关系表示为：,D,=,WT,，这个等式建立了语料库与潜在主题之间的关系，是主题模型的核心。,通过主题模型，我们建立了语料库与其中潜在主题之间的关系,无,监督机器学习的方法,生成对抗网络,概述,generative adversarial network,GAN,由“生成”、“对抗”和“网路”三个词语构成。,其中“生成”是指它是一个生成模型（,generative model,），即它可以随机生成观测数据,生成对抗网络由生成网络（,generative network,）和判别网络（,discriminative network,）两部分构成,生成网络：用于生成数据,判别网络：用来分辨数据是真还是假,基本思想：通过生成网络和判别网络之间的相互“对抗”来学习,无,监督机器学习的方法,生成对抗网络,数据空间与数据分布,数据空间（,data space,）是数据所在的空间,假定输入图片的分辨率为,128x128,，此时的数据空间就是所有形状为,128x128x3,的张量的集合。此时每张图片都是此空间里的一个点（数据点）,数据分布（,data distribution,）,是,数据点在空间的分布情况,无,监督机器学习的方法,生成对抗网络,生成网络,生成器（,generator,）,把潜在空间中的分布变换为图像空间中的分布（生成分布）,生成网络生成的点就叫做生成点,分类网路与生成网路工作方式的比较,无,监督机器学习的方法,生成对抗网络,判别,网络,判别器（,discriminator,）,判断一张图片究竟是来自真实数据还是由生成网络所生成,训练判别网络,训练数据,标注,输入图片来自真实数据：标注数值,1,，,输入图片来自生成网路：标注数值,0,输出结果用一个数值来指示空间中的一个点来自真实数据的可能性（概率）,例：用判别网络分辨点的来源,无,监督机器学习的方法,生成对抗网络,生成,网络的训练,包含,两个交替进行的阶段,固定生成网路，训练判别,网路,1.,给定二分类数据集：真实图片,/,随机生成,图片,2.,目标：使判别网路对真实图片的预测接近,1,，而对生成图片的预测接近,0,固定,判别网路，训练生成,网路,1.,生成网路利用判别网路给出的反馈讯息来调整网路,参数,2.,目标,：使生成网路输出更接近真实图片的生成,图片,对抗过程,阿尔法狗背后的秘密,棋类计算机程序的发展,深蓝,vs,卡斯帕罗夫,阿尔法狗,vs,李世石,强化学习（,reinforcement learning,）功不可没,阿尔法狗背后的秘密,阿尔法狗的走棋网络,走棋网络,又被称为策略网络（,policy network,）,该网络接受当前棋盘局面作为输入，并输出在当前局面下选择每个位置的落子概率。,策略网络,监督学习策略网络,强化学习策略网络,价值网络,阿尔法狗背后的秘密,监督学习策略网络,输入局面（,3000,万样本）,深度卷积神经网络,落子概率预测,（,s,a,）,s:,当前棋局局面状态,a:,人类的落子方案,监督学习决策网络可以模仿人类的风格下棋，可人类棋手的水平高低不一，并非每个样本都是好的落子方案，网络把好的坏的都学了，如何提高棋力？,阿尔法狗背后的秘密,强化学习策略网络,强化学习的目的是找到一个最佳策略，从而使得主体发出一系列动作后，收到的累计回报最多,策略梯度的强化学习技术,监督学习策略网络,强化学习策略网络,A,强化学习策略网络,B,初始化,自我对弈,强化学习网络在训练时的目标不再是模拟人类棋手的风格，而是以最终赢棋为目标,阿尔法狗背后的秘密,阿尔法元概述,阿尔法元是阿尔法狗的加强版，结构更简洁，摒弃了人类棋谱的影响，完全通过自我博弈的强化学习算法训练自己，与阿尔法狗的对弈中，以,100,：,0,完胜阿尔法狗，,3,：,0,战胜柯洁,阿尔法元只以棋盘当局作为网络输入，使用策略迭代的强化学习算法去更新网络参数，神经网络同时预测当前局面落子概率分布和局面胜率评估值。,未来已来，共同开启智能时代！,