人工智能与大模型通论.pptx

人工智能与大模型通论,清华大学人工智能研究院常务副院长 孙茂松,1950,图灵测试,Turing,test“Can machines,think?”,图灵在文章中提出的问答测试样例,阿,兰,图灵,2,2022,ChatGPT,与图灵测试,3,2022,ChatGPT,与图灵测试,4,人工智能发展历史走向,5,大规模深层神经网络（,深,度学,习,）,6,2010,语音识别（感,知,+,认知）,7,2012,图像识别（感,知,+,认知）,8,2015,机器翻译（认知）,9,2016,AlphaGo,10,深度学习第一重境界：,白,手起家,+,各家自扫门前雪,11,深度学习第二重境界：,预,训练,模,型,+,大,小,联调,12,深度学习第三重境界：,预,训练,大,模型,+,一巨托众小,13,大道至简：语言生成模,型,(GPT-3),+,下一个词预测,14,大道至简：语言生成模,型,(GPT-3),+学习并存储世界知识,（,World,knowledge,）,The,current capital of Brazil,since,its construction in 1960,is,Brasilia,+,学习,得出,合,乎逻,辑,和常,识,的结,论,（,Lo,g,ical,and,c,om,mon,s,e,nse,conclusion),She,wanted,to,go,to,China,or,Japan.,For,China,she,couldnt,get,a,visa,so,she,went,to,Japan,He,had,to,be,at,the,airport,in,90min.,Since,his,car,was,still,in,the,shop,and,there,were no busses,going to,the,airport,he,called a,taxi,15,Inductive,Deductive,Abductive,Specific,observation,General,conclusion,(,ma,y,be,true,),General,rule,Specific conclusion,(always,true),Incomplete,observation,Best,prediction,(,ma,y,be,true,),语言生成模型的特点,GPT：强大而较为准,确,的理,解,和生,成,能力,（,莫作,临,岐叹,，,行藏,总,自如,？）,及与生俱来,的,“幻觉,”,问题,（,按概,率,随机,游,走？）,山东最高的山是,哪,座,山,？哪座山是山东最高,的,？山东最高的山是哪座,山,？山西最高的山是哪座山?,北京的女孩很大,气。,北京女孩很大气,。,北京的大学很赞。北京大学很赞。北京文化研究会,17,AIGC（人工智能生成内,容）,具,有天,马,行空,式,创造性,18,AIGC的多样性,上联：夜阑卧听风吹雨,top-p,search,兴到狂吟雪满枝,晓起坐看露湿衣,醉后休夸柳漫山,春暖吟看雪映梅,更起愁看月破云,19,AIGC的个性化,20,新的摩尔定律?,21,大模型：力拔山兮气盖世,22,谷歌,PaLM（2022）：5400,亿,参数,As the scale of the,model,increases,the,performance,improves,across,tasks while also unlocking new,capabilities.,来源：Size,of the,Global Datasphere(Source:,IDC,Data Age 2025)了 上 海 烤 鸭。,bad,29,通用人工智能?,休伯特德雷福斯教授,（,国际,著,名现,象,学家,，,曾任,美,国哲,学,学会,会,长,）,以,兰德,公,司顾问 的身份，1965年,发,表了,炼金,术,与人,工,智能,报告,，,1972,年,以,该报,告,为基,础,出版,了,计 算机不能做什么,人,工,智能,的,极,限,，指,出,：,如,果,我们,的,目标,是,要到,月,亮上,去,，AI,现,有的做法无非是爬上一,棵,高树,，,虽然,离,月亮,近,了一,些,，但,永,远都,无,法到,月,亮上,去,。,“物之反常者为妖”（纪,晓岚,阅微,草,堂笔,记,）：,事出,神,奇必,有,仙,30,ChatGPT,之玄机：复杂系统的,涌,现现,象,？,+,1972,年,Philip,Anderson,（物理,学,家,、,诺贝,尔,奖得,主,）,Science,文,章,：,Emergence is when quantitative changes in a system result in qualitative changes in,behavior.,+,一个典型的,复杂系统,由无,数,个个,体,成分,或,因子,构,成，,它,们聚,集,在一起 会呈现出集体特性，这,种,特性,通,常不,会,体现,在,个体,的,特性,中又,无,法轻 易地从个体的特性中预,测,。,31,部分内因：从万物皆数,到,万物,皆,向量,图灵奖获得者（深度学习开创者）,32,z,-,literature,w,nt,响,S,3,OC1ety,，一,committee,art,music,-.,-/,l,s,a,l,e,.,:,m,e,m,b e,r,-、,.,-,-.,、,一,.,.,s,-,a,l e,-,-,s,-,!,l,e,c,t,io,r,-,-,.,、,-,o,rg,a n,之,a,t,1o,n,、,-,w,o,r,k,s,m,o,v,e,m,e,;,、,-,c h,ap,t,e,r,、,-,c,o,s,t,s,-,、,-v,o,lu,m,哗,n,t,u,r,y,-,h,is,t,o,ry,payment,一、,-,p,r,o,d,u,c,t,io,i,n,c,o,m,e,.,.,_,i,n,s,u,r,a,m,守,r,od,u,c,t,-,-,-,c,ap,n,a,c,i,ty,-,0,碑,Y,/,-,-,e,广,iS.t,r,i,b,u,主,i,O,n,-.,-,-,t,e,m,？,吨,部,伊,币,:,n,e,e,d,u,ty,i,n,v,e,s,t,c,s e c,ur,g,i,-,-,p,r,o,te,c,t,IOn,r,activity,s,r,尹,红,纠,e,s,工,a,tu,rt,-,-,y,-fo,o,d,f,o,r,m,a,t,I,云,y,-,door,-.,.,c,a,r,乒,郧,s,i,百,e,s,s,-,.,K,牙,w,i,S,Io,n,s,p,宁,e,s,e,-,n,c,e,g.,/,-,3SSIstance,、,-,至,斤,ec,ts,.,om,ams,p,rop,ert,洷,ervices,-,z-,_,.,.,.,e,q,芦,p,a,m,s,r,-,Z,a d,di,tio,n,工,它,t,.,h,m,p,a,-,中,可,泛,g,i,毡,c,.,t,.r,i,u,o,几,-:-,story,friend,-.,/,management,一,-:-;,=,今,.T1,E:_n,_,i:,宅,x,t,e,.fl,行,n,e,e,.:.,_;-,一,1.,:,c o rp,o,r,它,“,-,.,迈,L,心 和,O,n,g,-,c,e,l,l,-,e,x,a,mp,垣,-,f,a,的,产,气,气,o,m,e,n,t,乞,r,l,i,f,竺,气,e,r,s,o,n,w,i:fe,/,-,-:_.,d,e,e,:,v.,v,e,:e,o,r,o,p,E,m,J1e,n,1,t,l,:e,a,m,in,;,s,v,s,t,e.,v,a,纪,I.I,么,，,多,h o,u,、,尹,t,-,-,、,、,S,P,iLI,/_,i,e a,m,i,n,乏,sy,s,te,m,e,_,I,.,means,environment,-,Z,J:,r,-,Z,O,汪,-,夕,-,.,乙 只,沪,m,ig,h,t,getting,d e a,t,h,雹,-,c,o n,s,t,r,u,.,c,t I,o,n,-,-,Kn,o,女罕玉,o,户,te,r,m,气竺,气,旦,a:,in,产,p m,ro,巳,m,e,n,叩,尸,4,勹,咄,器,吵,玉,，,s,一,P,罗,丫,叩,j,ud,g,m,e n,t,-,m,f,o,F,m,朵,i,O,n,-,p,r,o,b,-,le,e,m,s,尸,0,nse,r-,:e,乙，一,solution,P,r,o,c,e,d,u,r,e,-,z,d e,c,匼,m,n,y,e a,氏,尹,S,z-,夕,n,a,a,的,-,-,-,c,o,n,s,id,尹,函,如,画,芹,n,c,e,s,歹,e,a,r,p e,r,IOd,X,e,O1icy,-,-,乓,至,勹,e,I,-,I,.,I,.,.,.,.,-,s,t,a,te,m,年,六,o,a,y,s,o,f,f,i,c,e,-,-,夕,勺,OV,笚,ntn,e n,t,-,r,e a,t,Bl,全,mt,$,s,oo,n,d,i,t,lo,n,s,-,h,e,a,rt,含,v,石,e,da,入,y,.a,-,.,agenc,y,.,m,e,郅,丐乏,吨,扣,仁,心,r,s,te,x,t,-,resoIUuon,-.,_,.,_,？,乙,O,I,s,e a,s,e,/,z,-,4,a,g,r,e e,m,e n,t,-,、,_,a u,th,o,r i,ty,la,n,g u a,g,e,-,-,w,o,rd,s,!.,:-,pe,a,c,e-,-,e,v,e n,t,-,minutes,-,n,a,t,io,n,country,_.,.,o e e,r,令,g,o,.,u n,i,t,一,economy,growth,全,a,t,e,s,-,degree,-,、,一,S C,1e n,c,e,estate,arms,=,e,后兀,family,king,plaintiff,defendant,霉,I,trial,names,-,n u,m,b e,r,s,-/,relationship,relations,.,population,-,，于,夕,cofllmun,ity,屯,e,今,-:,J,-,-,、,-,r,i,v,e,r,c,ou,n,ty,一,、,t,o,w,n,p,e,r,c,e n,t,./,、,-,c,e n,t,-,street,多,road,意义空间（宇宙）中的,“,万有,引,力”,恩格斯,谈事物普遍联系的“辩证图,景,”：“当我们深思,熟,虑,地考察自然界或人类历史或我们自己的精神活动的时,候,，,首,先呈现在我们眼前的，,是一幅由种种联系和相互作用无穷无,尽地交织起来的画面,。”,36,CLI,P：图像向量与,句,子向,量,的对齐,37,Stable,Diffusion,之,Part,1：,高质量图像生成,38,Stable,Diffusion,之,Part,2：,由文本生成图像,jalammar.github.io/illustrated-stable-diffusion/,39,跨模态生成大模型,极简主义肖像，一个女孩，戴黄 色太阳镜，黑色美学，深银色和,黄色，单色，波普艺术感,，,gi,f,动 画,40,生成式人工智能的特点,及,其能,力,边界,+,均属于概率式方法范畴,具有不确定性（虽然看上,去,效果,已经很惊,艳）,+,针对句子向量和,图,像向,量,的整,体,性语,义,操作 具有不可解释性,难以进行精确操控,+,基本定位,启发、辅助人类,41,自监督学习“炼”就的大模型已成,为,信息基础“软”设施（基础模型）,42,又一个大道至简,语言掩蔽模型,（BERT）,Today,I,went,to,the,and bought some milk and eggs.,I,knew,it,was,going,to,rain,but,I,forgot,to,take,my,and ended up getting,wet,on,the,way.,43,大模型：天气预报,谷歌,MetNet,：,神经网络天,气,模,型,主流气象预报方法都是基于大气层,的,物理,模,型,系统输入自动从全美雷达站和卫星,网,络获取,能以,2,分钟间隔和,1,平方公里分辨率预测全,美,未来,8,小时内,降,水概率，且预测耗时只需几秒（之,前,的模,型,需,要,1,小时）,优于,NOAA,（美国国家海洋与大气管理局）,当,前使,用,的、,基,于物 理定律的最先进模型,HRRR,44,“一只南美洲亚马逊河,流,域热,带,雨林,中,的蝴,蝶,，偶,尔,扇动,几,下翅,膀,，可,以,在两,周,以后,引,起美,国,得 克萨斯州的一场龙卷风,。,”,45,46,大模型走向具身智能,谷歌,PaLM-E:,An,Embodied,Multimodal,Language,Model,来源,：,https:/palm-e.github.io/,47,来源,：,https:/palm-e.github.io/,大模型更深介入虚拟空间,来源,：,https:/,January 2023,Andrej,Karpathy,Teslas,former director,of,AI,50,ChatGPT,与技术创,新与,变革,+,全民化的生成式,AI,（,Democratized,Generative,AI,）,到,2026,年，超过,80%,的企业将使用生成式,AI,的,API,或模型，,或,在生,产,环境,中,部署,支,持 生成,式,AI,的应用，而在,2023,年初这一比,例,不,到,5%,。,+,AI,信任、风险和安全管理,（,AI,Trust,Risk,and,Security,Management,）,+,AI,增强开发（,AI-Augmented,Development,）,+,智能应用（,Intelligent,Applications,）,+,机器客户,（,Machine,Customers,）,一种可以自主协商并购买商品和服,务,以换,取,报酬,的,非人,类,经济,行,为体,。,到,2028,年,，将 有,150,亿台联网产品具备成为客户的,潜,力，,这,一数,字,还将,在,之后,的,几年,增,加数,十亿。,+,可持续技术（,Sustainable,Technology,）,52,ChatGPT,与数字化,、智,能化,发,展,内容生产（,+,辅助内容生产）,53,华中科技大学蔡新元教授之女装系列木星,59,ChatGPT,与数字化,、智,能化,发,展,可交互（聊天）数字人,+,具身智能,可丰,富,元宇宙,技术手,段,+,麦肯锡分析调查了,47,个国家,的,850,种职业、,63,个应用示例和,2100,多项,详细的工作活动，基本涵盖全,球80%的劳动力。,+,生成式,AI,对生产力的影响，可以,每年为全球经济增加,2.6-4.4,万亿,美元的经济收入。,ChatGPT,可能使人,类文,化形态,发生,变,化,人类简,史,、未来简,史,和今日简,史作,者,尤瓦尔赫拉,利,(,三联生活周,刊,采访,),:,一,种可能,的,情景,是,，,ChatGPT,、,GPT-4,和,更,先进的,人,工智能,将,开创新,的,时,尚、,意识形态甚至是宗,教,。,人类文化基于 语言,。,而因为人工智能已经破解了语,言,，,它现在可以开始创造文,化,。,如今世界各地 的文化多样性令人惊,叹，,但它们都有一个,共同点,都是,由,人类,创造,的,。,在未,来,，,由于人工智能的原,因,，,这将发生改,变,。,人,类将开始适应由非人类实体创造的文,化,。,而且,，,由于文化是人类,的,“操作系统,”，,这意味着人工智能将能够改变人类思,考,、感受和行为的方式,。,61,ChatGPT,引发的科,技伦,理与,治,理问题,62,66,通用人工智能开始登上,历,史舞台,+,2023年,4,月,28,日,，中,共,中央,政,治局,召,开会,议,，,提出要重,视,通用人工智,能,发展,+,美军算法战：第三次,抵,消战略,+,天空地海等一体化全域作战（人,机,高度,协,同）,+,作战,(,个人体会,)：,藏得住，看得见，摸,得,透，,想,得深，,动得快，够得着，打得准且狠,谢谢,