人工智能技术概览.pptx

Click to edit Master title style,Click to edit Master text styles,Second level,Third level,Fourth level,Fifth level,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,北京久其软件股份有限公司,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,北京久其软件股份有限公司,*,人工智能技术概览,久其软件,-,李坤奇,/10/1,北京久其软件股份有限企业,人工智能技术概览,第1页,目录,1,、人工智能定义、关联,2,、人工智能主要应用领域,3,、机器学习算法及分类,4,、主流神经网络介绍,5,、,NLP,主要技术与方法,/10/1,北京久其软件股份有限企业,人工智能技术概览,第2页,人工智能定义,用机器，通常为电子仪器、电脑等，对人意识、思维信息过程模拟。,人工智能不是人智能，但能像人那样思索、也可能超出人智能。,数据：预测、挖掘,语音：语音识别、语音合成、声纹检测,文字：分类、翻译、对话、,NLP,、,NLU,、,NLG,视觉：图像识别、生成作画、视频了解,运动：智能控制、仿真机器人、自动驾驶,思索：简单推理、机器人写稿、,AlphaGo,/10/1,北京久其软件股份有限企业,人工智能技术概览,第3页,包括面最广交叉学科,人工智能,自动化控制,计算机,数学,统计学,逻辑学,归纳学,系统学,概率论,哲学,心理学,生物学,经济学,语言学,工程学,认知学,仿生学,人工智能教育要从娃娃抓起,有望成为,一级学科,/10/1,人工智能技术概览,第4页,工业4.0，自动化生产线,意在提升制造业智能化水平，建立含有适应性、资源效率及基因工程学智慧工厂，在商业流程及价值流程中整合客户及商业搭档,其技术基础是网络实体系统及物联网,特斯拉工厂曝光，整个工厂只有,150,个机器人，超震撼,/10/1,北京久其软件股份有限企业,人工智能技术概览,第5页,机器人，好帮手,奔跑跳跃搬东西，这种,机器人平衡能力比人类还强,/10/1,北京久其软件股份有限企业,人工智能技术概览,第6页,自动驾驶,谷歌、特斯拉、baidu、苹果,集各类人工智能技术一身,/10/1,北京久其软件股份有限企业,人工智能技术概览,第7页,机器学习,数据爆炸式增加催热机器学习,统计学、概率模型（贝叶斯）、神经网络,有监督学习、半监督学习、无监督学习,主要区分在于人工投入百分比,无监督学习只有极少数应用,投多少人工，有多少智能？,/10/1,北京久其软件股份有限企业,人工智能技术概览,第8页,强化学习,reinforcement learning,，,RL,又称再励学习、评价学习,智能系统从环境到行为映射学习，以使奖励信号,(,强化信号,),函数值最大,处于研究阶段,无人机，,自动化控制，,电子游戏,NLP,？,/10/1,北京久其软件股份有限企业,人工智能技术概览,第9页,迁移学习,Transfer Learning,TL,搜集数据成本高；训练耗时；重复利用已经有知识,样本迁移、特征迁移、模型迁移、关系迁移,用于,精准营销,/10/1,北京久其软件股份有限企业,人工智能技术概览,第10页,人工神经网络,人工神经网络模仿动物神经网络特征，进行分布式并行信息处理算法数学模型。,网络依靠系统复杂程度，经过调整内部大量节点之间相互连接关系，从而抵达处理信息目标。,优势,并行分布处理,高度鲁棒性和容错能力,分布存放及学习能力,能充分逼近复杂非线性关系,激活函数、损失函数、梯度下降,/10/1,北京久其软件股份有限企业,人工智能技术概览,第11页,深度学习,深度学习源于人工神经网络，多个隐含层感知器。,深度学习经过组合低层特征形成愈加抽象高层表示属性类别或特征，以发觉数据分布式特征表示。,各层设计、图形化调参、学习速率,端到端,优势？劣势？,/10/1,北京久其软件股份有限企业,人工智能技术概览,第12页,CNN 卷积神经网络,Convolutional Neural Network,图像领域应用非常成功，人脸识别超,99.5%,全连接,局部连接，权值共享,图像识别、,OCR,、语音识别（,DBN+CNN+RNN,最好）,特征数量,卷积核大小,/10/1,人工智能技术概览,第13页,RNN 循环神经网络,Recurrent Neural Network,（,t+1,）时刻网络最终止果,O(t+1),是该时刻输入和全部历史共同作用结果,语音识别、,NLP,Bidirectional RNNs,、,Deep RNNs,、,GRU RNN,/10/1,北京久其软件股份有限企业,人工智能技术概览,第14页,LSTM-长短期记忆网络,Long Short-Term Memory Neural Network,RNN,时间上传递神经网络，可能“梯度消失”,经过门开关实现时间上记忆功效，预防梯度消失,遗忘门,输入门,输出门,Seq2Seq,机器翻译,Attention Model,对话,/10/1,人工智能技术概览,第15页,GAN-生成性反抗生成网络,Generative Adversarial Networks,它有两个模型：一个生成器，一个判别器,没有损失函数，优化过程是“二元极小极大博”,/10/1,北京久其软件股份有限企业,人工智能技术概览,第16页,深度学习框架,库名称,开发语言,速度,灵活性,文档,适合模型,平台,上手难易,Caffe,c+/cuda,快,普通,全方面,CNN,全部系统,中等,TensorFlow,c+/cuda/,Python,中等,好,中等,CNN/RNN,Linux,OSX,难,MXNet,c+/cuda,快,好,全方面,CNN,全部系统,中等,Torch,c/lua/cuda,快,好,全方面,CNN/RNN,Linux,OSX,中等,Theano,python/c+/cuda,中等,好,中等,CNN/RNN,Linux,OSX,易,Caffe,底,由UC BerkelyYangqing Jia开发,计算机视觉领域首选Caffe,TensorFlow,Google主推开源学习框架,有众多预先训练好模型，开发简单,速度慢，内存占用较大,Torch,Facebook力推深度学习框架，主要开发语言是C和Lua,有很好灵活性和速度，开发也比较简单,缺点是接口为lua语言，不支持Python,Python,首选语言,Ubuntu,首选平台,/10/1,人工智能技术概览,第17页,机器学习中问题与应对,欠拟合,添加其它特征，降低正则化,过拟合,L1,、,L2,正则化,不收敛,复审输入数据、修改模型设计、改变参数初始化方法、调整学习速率,数据集过小,转换扩增,运算过慢,分布式运算，换用,GPU,或专用神经网络处理器,调参复杂,分开训练、参数各种图形化展示,/10/1,北京久其软件股份有限企业,人工智能技术概览,第18页,NLP-自然语言处理,自然语言是人类智慧结晶，自然语言处理是人工智能中最为困难问题之一,广义,NLP,包含,NLU,、,NLG,用到统计、概率、神经网络等各种算法,文本分类,信息抽取,人机对话,领域知识图谱,自动写稿,/10/1,北京久其软件股份有限企业,人工智能技术概览,第19页,汉字分词,11,款开放汉字分词引擎大比拼,当前主流分词包均采取复杂统计模型，,HMM,、,CRF,、,SP,（结构化感知）,首先统计大量已切分文本特征训练模型，然后针对输入文本搜索最正确切分方式,当前哈工大语言云、,Boson,云效果最正确,THULAC,（清华）是开源包中效果最正确，也非常快,结巴分词用很广（,Python,），效果也不错,没有完美方案，,90%,以后每提升,1,点都要巨大代价,/10/1,北京久其软件股份有限企业,人工智能技术概览,第20页,词性标注,汉字词类活用现象非常多,没有英文变形：,ing,、,ed,、,er,、,ly,词性命名标准出自北大，基本统一,当前都只提供静态词性，非准确标注,在关键词计算、事件发觉、情感判断有价值,句法分析、语义了解前提,词法分析、句法分析、语义了解相互交织依赖，制约了词法技术提升,/10/1,北京久其软件股份有限企业,人工智能技术概览,第21页,NER命名实体识别,Named Entity Recognition,又称作“专名识别”，是指识别文本中含有特定意义实体,三大类：实体类、时间类和数字类,七小类：人名、机构名、地名、时间、日期、货币和百分比,基于规则和词典方法,采取语言学教授手工结构规则模板,选取特征包含统计信息、标点符号、关键字、指示词和方向词、位置词,(,如尾字,),、中心词等方法，以模式和字符串相匹配为主要伎俩,基于统计方法,HMM,、,ME,、,SVM,、条件随机场,(CRF),神经网络识别,NN,、,CNN-CRF,、,RNN-CRF,、,Attention,机制,当前缺乏成熟能够,API,，少数付费效果尚可,训练,CRF,模型，人名、时间、数字识别还行，有提升空间,/10/1,北京久其软件股份有限企业,人工智能技术概览,第22页,语言模型、词向量,N-Grams,：二元组、三元组、五元组,大量分词后语料进行统计,正则化、平滑,可用于拼写和语法检验，也可帮助分词,Word2Vec,：将词组转换成多维向量表示,CBOW,、,Skip-Gram,、,GloVe,神经网络输入需要,Embedding,，,50,100,300,维,特征,相同近邻,经过向量距离查找关联词,线性加减,w2v(,中国,)-w2v(,北京,)=w2v(,法国,)-w2v(,巴黎,),只是一个高阶近似，同一含义在同一维表示，尽可能分散,/10/1,人工智能技术概览,第23页,关键词、摘要提取,PageRank,算法原理,整个,www,能够看作一张有向图图，节点是网页。假如网页,A,存在到网页,B,链接，那么有一条从网页,A,指向网页,B,有向边。导入链接越多，页面主要程度越高,复杂迭代优化准确权重,关键词,距离较近词，视同有链接,可依据词性、统计规律调整权重，,TF-IDF,是最惯用算法,摘要,句子初始权重为各词,TF-IDF,权重累计,权重最高句子（必要修剪）作为摘要,自上而下摘要用模板,/,知识库生存（事件、球赛）,/10/1,人工智能技术概览,第24页,文本分类、聚类、情感倾向,文本分类属于有监督学习，需要训练,贝叶斯、,SVM,、神经网络,文本聚类属于无监督学习,划分法（,K-Means,）、层次法、密度法、网格法,文本倾向性分析，主要用于舆情监控，评价挖掘,贝叶斯理论为基础,褒义词、贬义词、中性词,否定谓词、副词识别,与地域、主体识别结合利用,难点在于各门类数据抓取、行业模型训练,/10/1,北京久其软件股份有限企业,人工智能技术概览,第25页,句法分析,上下文无关文法,Context Free Grammar,依存文法分析,(Dependency Parsing),经过分析语言单位内成份之间依存关系揭示其句法结构,识别“主谓宾”、“定状补”,算法：,CYK,、,PCFG,、,CRF,、神经网络（？）,当前汉字句法分析短句可用，长句较差,哈工大,LTP,语言云、,Boson,云,（很好）,Stanford Parser,、,HanLP,（稍差）,/10/1,北京久其软件股份有限企业,人工智能技术概览,第26页,语义分析/了解,知识工程：语义树,可用于句子语义了解、数据抽取、句式转换,需要强大知识库配合，,知识图谱,（？）,今天晚上吃金属吧（）,法国一位老人以吃金属为生（）,还难以了解文章，进行摘要或推理,神经网络：训练超级模型,词向量（稀疏）比较成熟，生成较快,Synonymy,、,Antonymy,、,Hyponym,短句可用向量相加近似表示，长句、文章尚在研究,/10/1,北京久其软件股份有限企业,人工智能技术概览,第27页,知识图谱(Knowledge Graph),由知识点相互连接而成语义网络,用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间相互联络，并进行查询推理,RDF,(,资源描述框架,),、,OWL,(Web,本体语言,),、,SparQL,建立：数据源整理、实体消歧、,schema(,本体、关系等,),构建、查询与推理、优化存放、更新维护,WordNet,、,Yago,、,Dbpedia,CN-Dbpedia,、,Zhishi.Me,、,PKU-PIE,搜索引擎、金融分析、辅助诊疗,当前似乎难以表示行为动作、限定修饰,/10/1,北京久其软件股份有限企业,人工智能技术概览,第28页,QA-机器人问答、人机对话,IR-based Question Answering,信息检索方式，抽取原文中短语、句子作答,问题分析、答案类型确定、确定检索规则、句子抽取、答案生成,Knowledge-based Question Answering,确定提问类型及答案模板,从原文抽取模板定义要素,组织语言生成答案,个人助理、客服,/,导购、教授系统,/10/1,北京久其软件股份有限企业,人工智能技术概览,第29页,DeepBot 对话框架,/10/1,北京久其软件股份有限企业,人工智能技术概览,第30页,/10/1,北京久其软件股份有限企业,人工智能技术概览,第31页,