人工智能深度学习基础知识培训.ppt

,Title:,Type:,Arial,Size：22-24pt,Color：The ZTE blue,Subtitle:,Type：,Arial,Size：14-18pt,Color:The ZTE green,G143,B212,R140,G198,B62,R90,G203,B245,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,二级,三级,四级,五级,内部公开,Title:,Type:,Arial,Size：22-24pt,Color：The ZTE blue,Subtitle:,Type：,Arial,Size：14-18pt,Color:The ZTE green,G143,B212,R140,G198,B62,R90,G203,B245,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,二级,三级,四级,五级,内部公开,Title:,Type:,Arial,Size：22-24pt,Color：The ZTE blue,Subtitle:,Type：,Arial,Size：14-18pt,Color:The ZTE green,G143,B212,R140,G198,B62,R90,G203,B245,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,二级,三级,四级,五级,内部公开,Title:,Type:,微软雅黑,Size：24-32pt,Color：The ZTE blue,Subtitle:,Type,：微软雅黑,Size：18pt,Color:The ZTE green,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,二级,三级,四级,五级,G143,B212,R140,G198,B62,R90,G203,B245,绝密,Title:,Type:,微软雅黑,Size：24-32pt,Color：The ZTE blue,Subtitle:,Type,：微软雅黑,Size：18pt,Color:The ZTE green,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,二级,三级,四级,五级,G143,B212,R140,G198,B62,R90,G203,B245,绝密,Title:,Type:,微软雅黑,Size：24-32pt,Color：The ZTE blue,Subtitle:,Type,：微软雅黑,Size：18pt,Color:The ZTE green,#,机密,单击此处编辑母版标题样式,单击此处编辑母版文本样式,二级,三级,四级,五级,ZTE All rights reserved,G142,B211,R154,G202,B60,R68,G200,B245,Title:,Type:,Arial,Size：22-24pt,Color：The ZTE blue,Subtitle:,Type：,Arial,Size：14-18pt,Color:The ZTE green,G143,B212,R140,G198,B62,R90,G203,B245,ZTE All rights reserved,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,二级,三级,四级,五级,内部公开,Title:,Type:,微软雅黑,Size：24-32pt,Color：The ZTE blue,Subtitle:,Type,：微软雅黑,Size：18pt,Color:The ZTE green,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,二级,三级,四级,五级,G143,B212,R140,G198,B62,R90,G203,B245,绝密,Title:,Type:,Arial,Size：22-24pt,Color：The ZTE blue,Subtitle:,Type：,Arial,Size：14-18pt,Color:The ZTE green,G143,B212,R140,G198,B62,R90,G203,B245,ZTE Corporation.All rights reserved,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,二级,三级,四级,五级,机密,Secret,Title:,Type:,Arial,Size：22-24pt,Color：The ZTE blue,Subtitle:,Type：,Arial,Size：14-18pt,Color:The ZTE green,G143,B212,R140,G198,B62,R90,G203,B245,ZTE Corporation.All rights reserved,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,二级,三级,四级,五级,机密,Secret,Title:,Type:,Arial,Size：22-24pt,Color：The ZTE blue,Subtitle:,Type：,Arial,Size：14-18pt,Color:The ZTE green,G143,B212,R140,G198,B62,R90,G203,B245,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,二级,三级,四级,五级,内部公开,Title:,Type:,Arial,Size：22-24pt,Color：The ZTE blue,Subtitle:,Type：,Arial,Size：14-18pt,Color:The ZTE green,G143,B212,R140,G198,B62,R90,G203,B245,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,二级,三级,四级,五级,内部公开,Title:,Type:,微软雅黑,Size：24-32pt,Color：The ZTE blue,Subtitle:,Type,：微软雅黑,Size：18pt,Color:The ZTE green,G143,B212,R140,G198,B62,R90,G203,B245,Title:,Type:,微软雅黑,Size：24-32pt,Color：The ZTE blue,Subtitle:,Type,：微软雅黑,Size：18pt,Color:The ZTE green,G143,B212,R140,G198,B62,R90,G203,B245,Title:,Type:,微软雅黑,Size：24-32pt,Color：The ZTE blue,Subtitle:,Type,：微软雅黑,Size：18pt,Color:The ZTE green,G143,B212,R140,G198,B62,R90,G203,B245,Title:,Type:,微软雅黑,Size：24-32pt,Color：The ZTE blue,Subtitle:,Type,：微软雅黑,Size：18pt,Color:The ZTE green,G143,B212,R140,G198,B62,R90,G203,B245,Title:,Type:,Arial,Size：22-24pt,Color：The ZTE blue,Subtitle:,Type：,Arial,Size：14-18pt,Color:The ZTE green,G143,B212,R140,G198,B62,R90,G203,B245,#,单击此处编辑母版标题样式,单击此处编辑母版文本样式,二级,三级,四级,五级,内部公开,Title:,Type:,微软雅黑,Size：24-32pt,Color：The ZTE blue,Subtitle:,Type,：微软雅黑,Size：18pt,Color:The ZTE green,#,机密,单击此处编辑母版标题样式,单击此处编辑母版文本样式,二级,三级,四级,五级,ZTE All rights reserved,G142,B211,R154,G202,B60,R68,G200,B245,走进人工智能,0,引言,第一次,信息革命,第二次,信息革命,第三次,信息革命,第四次,信息革命,第五次,信息革命,第六次,信息革命,语言的创造,猿人,信息得以交流和传递,文字,的,出现,信息可以被储存在文字中进行传播,，,解决了语言的时间和空间的局限性,印刷术的发明,扩大了信息的交流、传递的容量和范围,无线电的发明,电磁波传播信息，,速度增长几十亿倍,电视,的,出现,声音、图片影像、文字,实现,同时,远距离实时,传播,（摘自人民出版社大数据领导干部读本）,计算机与互联网的使用,突破了人类大脑及感觉器官加工利用信息的能力，人类进入,信息社会时代,0,引言,第七次信息革命,？,现在我们正经历着一场,信息革命,。这不是在技术上、机器设备上、软件上或速度上的一场革命，而是一场“概念”上的革命。以往,50,年信息技术的重点在“技术”上，目的在于提升信息传播范围、传播能力和传播效率。而新的信息革命的重点将会在“信息”上,。,彼得,德鲁克,21,世纪的管理挑战,什么是人工智能,2.1,人工智能典型应用,2.2,人工智能技术体系,2.3,2,人工智能篇,总结与展望,2.4,时代背景：新一代人工智能发展规划的提出,为抢抓人工智能发展的重大战略机遇，构筑我国人工智能发展的先发优势，加快建设创新型国家和世界科技强国，日前国务院印发,新一代人工智能发展规划,。,-2017.7.8,规划,指出：立足国家发展全局，准确把握全球人工智能发展态势，找准突破口和主攻方向，全面增强科技创新基础能力，全面拓展重点领域应用深度广度，全面提升经济社会发展和国防应用智能化水平。,AlphaGo,到底有多厉害？,2016,年，,AlphaGo,围棋程序就在,19*19,棋盘上无条件战胜了人类棋王。,研制,AlphaGo,的团队,DeepMind,正在投入,AlphaSC,的研发，未来将于人类顶尖高手在星际争霸游戏中一较高下。,AlphaGo,怎么做到的？,AlphaGo,使用两种不同的深度神经网络：第一种是策略网络，目标是选择在哪里落子。第二种则是价值网络，价值网络的作用是衡量走这一步对最终输赢的影响。,AlphaGo,成功的关键在于,:,海量对弈数据,：,6000,万局对弈数据。,算法创新,：深度神经网络,+,“左右手互搏”。,计算能力出众,：打败李世石的,AlphaGo Lee,的芯片为,50 TPU,搜索速度为,10k,位置,/,秒。,监督式学习,强化学习,AlphaGo,绝非一帆风顺,3,月,13,日李世石九段,“神之一手”,“AlphaGo,远非人工智能的终点。,”,微软研究院著名机器学习专家,John Langford,批评了,Wired,和,Slashdot,等媒体对于“实现人工智能,”,夸大其词的相关报道。,Langford,认为这些进展本是好事，但报道的时候产生了偏差，这容易导致失望和人工智能寒冬。,John Langford,国际机器学习大会,ICML2016,程序主席,“AlphaGo,以为自己做的很好，但在,87,手迷惑了，有麻烦了,”,“,错误在第,79,手，但,AlphaGo,到第,87,手才发觉,”,从,AlphaGo,到,AlphaGo Master,60-0 vs,顶级专业人士（在线游戏）,等级分,专业级,业余级,入门级,2017,年,7,月,9,日,柯洁携,20,连胜,等级分冲至,3675,分，世界排名第一,2.1,什么是人工智能,人工智能的定义,人工智能：,Artificial Intelligence,英文缩写：,AI,简单来说，就是想生产出一种能以人类智能相似的方式做出反应的智能机器。,是计算机科学的一个分支，研究包括机器人、语音识别、图像识别、自然语言处理和专家系统等。,机器人仅仅是人工智能的一个分支,人工智能的评判标准,阿兰,图灵,英国数学家、逻辑学家，被视为计算机科学之父。,阿兰,图灵在,1950,年发表的一篇名为,计算机器与智能,的论文，提出著名的“图灵测试”，,测试者在与被测试者（一个人和一台机器）隔开的情况下，通过一些装置（如键盘）向被测试者随意提问。如果机器能够让,30%,的测试人相信它是人类,，那么这台计算机就可以被认为具有人类的思考能力。,图灵测试,图灵测试额外加分项：,说服测试者，令他认为自己是电脑。,人工智能发展简史,混沌初生 开天辟地,百家争鸣 百花齐放,物竞天择 适者生存,达特茅斯会议的召开标志着人工智能的诞生。（,1956,年）,图灵测试的提出标志人工智能进入萌芽阶段。,以,DENDRAL,系统为代表的专家系统大量涌现。,（,19701980,）,浅层机器学习模型兴起，,SVM,、,LR,、,Boosting,算法等纷纷面世。（,19902000,）,多伦多大学教授,Hinton,开启深度学习在学术界和工业界的浪潮,（,2006,）,人工智能出现新的研究高潮，机器开始通过视频学习识别人和事物，,AlphaGo,战胜围棋冠军（,2011,今）,随着新的算法和模型不断涌现，学科交叉现象日趋明显，人工智能的研究进入了新的阶段。,奠定了人工智能的数学基础，出现了人工智能历史上的第一个应用。,-,西蒙和纽厄尔提出了“,Logic Theorist,”自动定理证明系统。,大数据时代的到来给人工智能的发展带来契机，人工智能全面融入人们的社会生活,几个概念间的关系,人工智能,机器学习,深度学习,有监督,无监督,概率,Deep learning,深度学习概念,(1/2),Deep learning,深度学习概念（,2/2,）,Deep learning,深度学习,千万规模,越来越复杂的网络,越来越多的训练样本：,越来越短的迭代要求,推理的要求越来越多,Why GPU,？,GPU,设计哲学：,1,、,SIMD/SIMT,，单指令多数据,2,、众多线程，人多力量大,项目,CPU,GPU,内核,最多只有,22,个,几千个核心,并行,为一步步的连续计算而设计,为高度并行的运行方式而设计,带宽,内存带宽,内存带宽,场景,文字处理,交易型数据库,网络应用,DNA,排序,物理建模,图片分析,视频编解码,最好的时代？,美国人工智能战略,中国,新一代人工智能发展规划,企业脑计划：,Google/MS/fb/Baidu,政府,/,企业空前重视,大数据发展带来海量数据,硬件发展带来计算能力革命性提升,GPU/TPU,深度学习理论发展,海量数据的标注,对数据量较少的场景支持不力,2.2,人工智能典型应用,人工智能应用：语音识别,Skype,语音聊天实时翻译,微软,Cortana/,小冰,人工智能应用：计算机视觉,计算机视觉,人脸识别,LFW,测试准确率近,100%,图像识别,ImageNet,测试识别率超过人,目标检测,以图搜图,看图说话,各大公司“军备竞赛”,MS,，,Google,，,fb,，,baidu,1000,类目标图像识别,20%-10%-6%5%-4%,人工智能主要应用领域,人工智能,2,4,6,5,3,1,个人助理,自驾领域,电商零售,安防,教育,金融,7,医疗健康,人工智能应用领域,2.3,人工智能技术体系,人工智能技术体系,机器学习,Machine Learning,Machine Leaning=Machine+Learning,机器学会“人识别事物的方法,”,Learning,training,Recognition,Red,Round,yellow,long,orange,Round,apple,banana,orange,Feature,Extraction,机器学习,Machine Learning,Machine Leaning=Machine+Learning,机器学会“人识别事物的方法,”,Machine,Learning,training,Feature,Extraction,Recognition,Red,Round,yellow,long,orange,Round,apple,banana,orange,机器学习处理过程,Raw Data,Feature Extraction,X,Processed Data,Data Analysis,Anomaly Detection,Dimension Reduction,Regression,Linear regression,Classification,Nave Bayes,SVM,Neutral Network,Cluster,K Means,Mixture of Gaussian,Training Algorithms,Validation,New Data,Training Model,Final Model,result,Regularization,4 5 6 0,1 3 5 7,6 8 5 7,0 0 2 0,Feature Extraction,特征提取,(1/2),图像的特征提取,Feature Extraction,特征提取,(2/2),APP,特征提取,unzip,decompile,Permission,android.permissioin.BRICK,Package,.wifi,Data collection,matrix,Data Analysis,数据分析,(1/2),高斯分布,剔除异常数据,(inches),(cm),数据降维,Data Analysis,数据分析,(2/2),Supervised Learning,Linear regression,Logistic regression,Nave Bayesians,Neutral Network,SVM,Decision Tree,K-NN,Unsupervised Learning,K-Means,Mixture of Gaussians,Reinforcement Learning,Train algorithms,算法,/,模型训练,Model Construction,J(,)Computation,Gradient Descent,Get optimized,Final Training Model,Train algorithms,算法,/,模型训练,Train algorithms,模型训练：梯度下降算法（,GD,）,Problem:,The training model is good or bad?,Underfitting?Overfitting?,After get the training model:,is fit or not?,Model Validation,模型验证,Model Validation,模型验证,深度学习处理过程,Raw Data,Feature Extraction,X,Processed Data,Data Analysis,Anomaly Detection,Dimension Reduction,Regression,Linear regression,Classification,Nave Bayes,SVM,Neutral Network,Cluster,K Means,Mixture of Gaussian,Training,Algorithms,Validation,New Data,Training Model,Final Model,result,Regularization,4 5 6 0,1 3 5 7,6 8 5 7,0 0 2 0,DNN,CNN,RNN,LSTM,几种深度学习网络,深度神经网络,Deep Neural Network,卷积神经网络,convolutional neural network,循环神经网络,Recurrent Neural Net,长短时记忆,Long Short Term Memoery,深度神经网络,DNN,（,Deep Neural Network,）,2006,年,Geoffrey Hinton,利用预训练方法缓解了局部最优解问题，将隐含层推动到了,7,层,神经网络真正意义上有了“深度”,ReLU,、,maxout,等传输函数代替了,sigmoid,仍然是全连接,卷积神经网络,CNN,（,convolutional neural network,）,数据输入层,/Input layer,卷积计算层,/CONV layer,ReLU,激励层,/ReLU layer,池化层,/Pooling layer,全连接层,/FC layer,卷积计算层：,参数共享机制：每个神经元连接数据窗的权重是固定的,每个神经元只关注一个特性,需要估算的权重个数减少,一组固定的权重和不同窗口内数据做内积,:,卷积,深度,/depth,步长,/stride,填充值,/padding,LeNet,，最早用于数字识别的,CNN,AlexNet,，,2012 ILSVRC,比赛远超第,2,名的,CNN,，比,LeNet,更深，用多层小卷积层叠加替换单大卷积层,GoogleNet,，,2014 ILSVRC,比赛冠军,VGGNet,，,2014 ILSVRC,比赛中的模型，图像识别略差于,GoogleNet,，但是在很多图像转化学习问题,(,比如,object detection),上效果奇好,ResNet,，,2015,年,ILSVRC,比赛的冠军，微软打造，层次极深,(152,层,),典型,CNN,网络,CNN,：,Convolutional Layer,卷积层,卷积计算层：,参数共享机制：每个神经元连接数据窗的权重是固定的,每个神经元只关注一个特性,需要估算的权重个数减少,一组固定的权重和不同窗口内数据做内积,:,卷积,CNN,：,Pooling Layer,池化层,循环神经网络,RNN(Recurrent Neural Net,）,为什么有了,DNN,、,CNN,，还需要,RNN,？,传统神经网络,(,包括,CNN),，输入和输出都是互相独立的,图像上的数字、车、人是分隔开的，但有些识别任务后续的输出和之前的内容是相关的，例如：“我的家乡在南京，位于长江中下游,”,主要应用于,NLP,RNN,引入了“记忆”的概念,每个元素都执行相同的任务，但是输出依赖于输入和“记忆”,自然语言理解,Google,翻译,Baidu,翻译,长短时记忆,LSTM,（,Long Short Term Memory,）,LSTM,是,RNN,一种，大体结构一致，其“记忆细胞”改造过，需要的话某些信息会一直传递下去,看电影的时候，某些情节的推断需要依赖很久以前的一些细节,随着时间间隔不断增大时，,RNN,会丧失学习到久远之前信息的能力,也就是说,RNN,记忆容量是有限的，离得越远的东西忘得越多,RNN,解决了之前的信息保存的问题，无法解决长期依赖的问题,翻译语言,控制机器人,文档摘要,语音识别,图像识别,Apple Siri,Amazon Alexa,Google Allo,Caffe,源于,Berkeley,的主流,CV,工具包,支持,C+,python,matlab,Model Zoo,中有大量预训练好的模型供使用,Mxnet,对显存利用率高,定义网络层简单,TensorFlow,Google,的深度学习框架,TensorBoard,可视化很方便，实时监控,数据和模型并行化好，速度快,工业深度学习框架,工业深度学习框架比较,2.4,人工智能总结与展望,人工智能阶段划分,弱人工智能,擅长于单个方面的人工智能,人类级别的人工智能,，可以替代大部分人类工作,强人工智能,在几乎所有领域都比最聪明的人类大脑都聪明很多，包括科学创新、通识和社交技能,。,超人工智能,人工智能的发展机遇（,1,）,-,大数据时代为人工智能提供了广阔的数据资源,大数据价值利用的最大瓶颈不是千万亿次的计算能力和千兆级的网络通信能力，而是智能化的信息处理能力。,“目前，全球数据总量每年都以倍增的速度增长，预计到年将达到,万亿,，中国数据量到年将占全球数据总量的近,。”,-,中国科学院院长白春礼,人工智能是发掘数据金矿的钥匙，数据资源和识别任务的不断快速增长为人工智能提供了燃料和方向,人工智能的发展机遇（,2,）,-,深度学习等新技术提供了方法创新,2007,年前后逐渐发展起来的,深度神经网络,，,深度置信网络,以及,对抗神经网络,等多种网络模型结构，并在语音识别、图像识别等领域得到广泛应用。,通过运用这一类技术，人类首次在图像识别领域战胜人类，首次在围棋正式比赛中战胜人类冠军。,深度学习技术的不断发展为人工智能提供了引擎和动力。,人工智能的发展机遇（,3,）,-,学科领域交叉与渗透,人工智能的广泛应用使得若干传统学科的研究方法出现了巨大创新。而相关领域在大数据时代的研究成果也能够对人工智能理论与方法带来影响，进而推动人工智能学科与其他学科的协同创新。,学科领域交叉与渗透为人工智能的未来提供了无限可能,人工智能威胁论,“人工智能可能是人类生存的最大威胁。短期内，最直接的威胁是人工智能将取代人类工作。马斯克称，在未来,20,年，驾驶人员的工作将被人工智能所颠覆。之后，全球,12%,至,15%,的劳动力将因为人工智能而失业。”,有些人是因为对人工智能的原理不理解而导致恐惧，有些人是为了个人名望而宣扬人工智能威胁论，有些人则是为了商业利益而推动人工智能威胁论。”,Yann,LeCun,Facebook,AI,负责人,特斯拉,CEO,马斯克,指数式增长，波浪式增长，哪种才是,AI,的未来？,总结与展望,1,、逻辑（,logical,）,2,、语言文字（,linguistic,）,3,、空间（,spatial,）,4,、音乐（,musical,）,5,、肢体动作（,kinesthetic,）,6,、内省（,intra-personal,）,7,、人际（,inter-personal,）,8,、自然探索（,naturalist,）,9,、图形图像（,Graphics,）,伴随大数据时代的到来，计算能力的大幅提升，人工智能技术在越来越多的领域取得了突破或者长足的进步。,AI,离人类智能还有多远？对比哈佛大学心理学家加德纳的多元智能理论，在空间、音乐和肢体运动方面有差距，在内省、人际和自然探索方面尚无可比性。,历史是螺旋进步的，人工智能走到今天并非一帆风顺，经历了三个浪潮。,语音识别,图像识别,自然语言处理,明天,今天,昨天,未来，已来,这些力量并非命运，而是轨迹,它们提供的并不是我们将去往何方的预测,只是告诉我们，在不远的将来,我们会想哪些方向前行,必然而然,3,大数据驱动的人工智能时代下的智慧,xx,建设,BD/AI,项目,战略,业务,组织,智能,安全,性能,数据集中,智能精准,实时高吞吐,分布式训练,数据安全,自主掌控,数据采集（文件,/,数据库,/,日志,/,实时流,),档案、语音、视频、位置、,语音分析,人脸识别,车辆识别,数据存储（结构化,/,非结构化）,目标检测,高性能分布式训练,分布式计算引擎,位置分析,关联分析,精准画像,分析预测,能力开放,应用,1,应用,2,延伸阅读,Tom White-Hadoop,权威指南,李航,-,统计学习方法,周志华,-,机器学习,伊恩,古德费洛、约书亚,本吉奥、亚伦,库维尔,-,深度学习,维克托,迈尔,舍恩伯格,-,大数据时代,吴军,-,智能时代,凯文,凯利,-,必然,THANK,YOU,FOR YOUR TIME,