大模型时代生成式AI发展与科技创新范式.pptx

,大模型时代：,生成式AI发展与科技,创新范式,2,个人学术专著,黑镜与秩序,智能经济：用数字经济学思维理解世,界,数字经济学,2022年7月清华大学出版社正式出,国内首部数字经济领域的,重大学术影响专著,，,版，,十余位公共管理、法学、计算,技术思想专著,数字经济学学科的开拓之作,机、经济金融的跨领域领军学,者推荐,AI与区块链智能,2019年12月正式发布，,国,内首部,测算与判断：人工智能的终极未来,作为中文版本唯一译者进,行了全文翻译工作，,Principles,of,Digital,Econnomics,讨论,AI,与区块链产业融合的教育部,于,2022年8月中信出版社正式出版,第一本全英文数字经济,学的,高等教育教材,学术理论专著，,由Springer,Nature,出版并单独成系列,人工智能科学家，现为上,海人工智能实验室应用研究部高级研究员，上海交大安泰AI与营销研究中心特,聘研究员，国家人工智能,标准总体组专家，AIIA联盟可信AI 专家委员会委员，上海开源信息技术协会AI,伦理与治理专委会主任，,上海人工智能技术协会专家委员。,主要研究领域包括,人工智能、智能经济以及数字经济学等。,刘志毅,人工智能科学家,1950,年代,-,1990,年代,40,年,第一个聊天机器人,（,PARRY,）的诞生,早期大多数自然语,言处理系统都基于,复杂的手写规则集。,给出一组规则，计 算机通过将这些规 则应用于它所面临,的数据来模拟,NLP,任,务。,1990,年代,-2010,年代,20,年,机器翻译领域得到,了很大的进步,随着用于语言处理,的机器学习算法的,引入，机器学习范 式要求使用统计推 理，通过对典型的 真实世界的例子的,大型语料库的分析，,自动学习这些规则。,2010,年代至今,10,年,+,多样化的机器学习,任务得到了发展，,如,VQA,等,表征学习和深度神,经网络（,CNN,、,RNN,、,Transform,er,）,的机器学习方法得 到广泛应用。通常,使用词嵌入捕获单,词的语义属性，并 增加高级,NLP,任务的,端到端学习。,LeCun,指出：,Ch,atGPT,本质上,是一种大语言模型，并指出：,“大型语言模型其实是,一条,邪路”,。就基础技术而言，,ChatGPT,并不是,特别有创新性，,这不是什么革命性的东西。,Yann,LeCun,和,Gary Marc,us,对,此达成了空前一致。,NLP,70,年发展,ChatGPT,的成功源于,NLP,领域70年发展的长期积累,NLP,领域的发展为大语言模型（,Foundation,Models,）提供了坚实的基础。,Gary Marcus,现代机器人之父,纽约大学教授,Lecun,Meta AI,的负,责人,图灵奖得主,There were,a,lot,of sheep.,There were,lot,of,sheep.,统计NLP,神经NLP,符号NLP,Captioning,M,odel,语法纠正,Grammatical Error Corr,ection,视觉问答,Visual Questio,n Answering,图像标注,Image,captioning,A,happy dog is standi,ng on the,road,2022,年,ChatGPT,模型在,InstructGPT,的基础上,优化了数据收集设置,。,ChatGPT,在人与人对,话的数据集上进行了,训练，它以对话方式,进行交互，并进行了,微调以生成更具吸引,力、完善和个性化的,响应。,2019,年,GPT-2,是在,WebText,数,据集,(40GB),上训练的，,有超过,15,亿个参数。,GPT-2,在,GPT,-1,的甚础,上，采用预训练,+,零样,本,(Zero Shot,),设定下 游任务，即不进行训,练或微调，其在阅读,理解、翻译、问答等,任务时表现出强大的,性能。,2020,年,GPT-3,拥有,1750,亿个,参数。它在,“,Common Cr,awl”,等,数据集,(45TB),进行,训,练。,GPT-3,在,G,PT-2,的,基础上，采用预训练,+,少样本,(Few-sho,t),设,定下游任务的学习方,式，可以执行编写代,码片段，生成类似人,类的文本。,2018,年,OpenAl,推出,初代,GPT,模型,，该模型的核心,是,Transformer,结构,其参数量达到,1.1,7,亿。,GPT-1,采取,预训练,+,下,游任务微调,两个阶段,学习，在,BookCorpus,数据集,(5G),上进,行训 练，再通过特定下游,任务来微调和推广模,型。,2022,年,InstructGPT,具有,1300,亿参数，它,在,GPT-3,的基础上采用预训练,+,人类反馈的强化学习,(RLHF),的学习方式。,比,GPT-3,更擅长遵循,指令，产生的输出具 有上下文丰富性，可 以产生更符合用户期,望的输出。,ChatGPT,在,海量的文本数据,上进行了预训练，可以对自然语言,输入,产生类似人类的回答,。,ChatGPT,其核心是建立在,GPT,模型,（,Generative,Pre-trained Transfo,rmer,）的发展基础之上。,ChatGPT,的发展历程,lnstructGP,T,GPT-2,GPT,GPT,-3,Chat-GPT,除采用一系列深度学习新技术外，,ChatGPT,还,有以下技术特点。,基于,Transformer,模型的架构,：,更好的语言建模 能力和更高的并行性。,预训练与微调：,先在大规模语料库上进行无监督,的预训练，再在特定任务上进行微调，,可,以使得,模型具有更好的泛化能力和更高的准确率。,多层架构：,模型由多,个,Transformer,层组成，每个,层都可以学习不同的特征和语义，从而提高模型,的表现。,动态扩展：,在预训练过程中逐渐增加模型的层数,和参数量，以逐步提高模型的性能。,大规模语料库：,使用了大规模语料库进行训练，,如维基百科等，使得模型具有更好的语言理解能,力和更高的泛化能力。,类脑,自然启示,无监督学习 有监督学习 多任,务学习,小样本学习,自监督学习,基于人类反馈的强化学习,ChatGPT,之所以能够突破，是因为采用了一系列深度,学习的新技术，,包,括无监督学习、有监督学习、多任务学习、小样本学习、自监督学习以,及,基于人类反馈的强化学习,。,ChatGPT,的技术突破,市场对于超大模型的看法,厂商宣传中常提到千亿级、万亿级参数为大模型、超大模,型。实际在产业落地阶段，超级,预训练大模型主要具备以下特征：,预训练模型学习过海量数据,用户端模型二次开发仅需少量数据,相比上一代的算法模型有更高的预测准确度,大模型的定义,是对原有算法模型的技术升级，基于海量数据开发预训练模,型，到最终用户环境中使用少,量数据即可获得比之前的算法模型更,好的结果,要点：,1）预训练型学习了多少数据，,2）迁移学习的效果如何，,3）部署的整体成本如何,并不是所有大模型参数都参与训练，单体模型的参数会全部,参与训练，稀疏模型中只有部 分参数参与运算,大模型的价值,开发门槛的降低：,用户可以在Al原子能力的基础上实现自定义模型，无需关注模型细节,计算资源的降低：,预训练由厂商提供，用户侧只需进行,小数据量的再训练,预测效果的提升：,研究与实践均表明，使用大模型的效果比之前的模型效果相比，均有不 同程度的提升,设备知识库,智能问数,智能客服,知识搜索,线路巡检,安全生产,智能对话,智能创作,智能问答,文档理解,目标监测,图像分割,自监督学习,文本 知识,图像 视频,大模型的定义与价值,行业应用,原子能力,领域无关的海量数据,领域相关的少量数据,微调,应用,厂商,大模型,厂商,大模型,厂商,大模型,OMeta,Meta,LlaMA,字节跳动,Microsoft,微,亚,Megatron,Turing,(&,英伟达,),、,NUWA,(&,北大,),Google,goog,le,PaLM,OpenGVLab,（商汤平台）,基于书生的超高效预训,练,模型,北京智源人工,智能研究院,悟道,2.0,商汤科技,（,&,上交等）,书生（,INTERN,）,清华大学,GLM,-,1308,、,CokeBert,（,&,腾讯）,京东,北京大学,鹏程,盘古,（,&,鹏程,&,华为）,（资料少，不确定含北大）、,NUWA,（微软亚洲）,ODeepMind,Dee,pMind,Gopher,oppo,OPPO,OBERT,nvDA,NVIDIA,英伟达,NeMo,LLM,粤港澳大湾区数字,经济研究院,（,IDEA,研究院）,二郎神,中国科学院,紫东太初,浪潮,源,1.0,智能大模型,美团,华为云,鹏程,盘古,（,&,鹏程,&,华为）,奇点智源,SkyCode,多语言开源编程大模,型,澜舟科技,孟子,Tencet,腾讯,混元,AI,大模型,追一科技,RoFormerV2,快手,百度,文心一言,鹏程实验室,鹏程,盘古,（,&,北大,&,华为）,OpenAI,GPT,-4,云从科技,SemBERT,（,&,上海交通大学）,阿里巴巴达摩,院智能计算实,验室,M6,、“通义”大模,型,LINKER联汇,联汇科技,OmModel,洲研究院,软、微软,市场上可见的大模型日益丰,富,技术层,AI,大模型的技术架构通常涉及多个层次，可以,分为基础层、技术层、能力层、应用层、终端层,五大板块，其中核心技术层涵盖,AI,技术群和大,模型的融合创新，为各行业深度赋能。,基础层：,AI,大模型,的基础层涉及硬件基础设施,和数据、算力、算法模型三大核心要素。随着,AI,大模型规模的不断扩大，对计算资源的需求,也在增加。因此，高性能的硬件设备、海量场 景数据、强大的算力基础和升级迭代的算法模,型成为了支持,AI,大模型发展的关键。深度学习,模型的不断升级和迭代，,增强了,AI,算法的学习,能力；同时，开源模式将使,AI,大模型成为海量,应用、网络和服务的基,础,。,技术层：,AI,大模型的技术层主要涉,及模型构建。,目前，,Transformer,架构在,AI,大模型,领域占据,主导地位，如,BERT,、,GPT,系列等。,AI,大模,型 包括,NLP,大模型、,CV,大,模型、多模态大模,型等。这些模型采用预训练和微调的策略，先 在大量无标注数据上学习语言或图像的基本表,示，然后针对特定任务进行,微调。,能力层、应用层及用户层：,在基础层和技术,层,的支持下，,AI,大模型拥有了文字、音频、图像、,视频、代码、策略、多模态生成能力等，,具体,应用于金融、电商、传媒、教育、游戏、医,疗、,工业、政务等多个领域，,为企业级用户、政,府,机构用户、大众消费者用户提供产品和服务。,NLP,大模型,CV,大模型,多模态大模型,机器学习 计算机视觉 智能语音 知识图谱,自然语言理解,AI,模型生产工具,AI,算力基础,数据资源,硬件设施,用户层,应用层,传媒/影视,图像表征,图像与物体检测,视频生成,因果推断,视频表征,语义分割,图像生成,图像分类,语音语义理解,文本语义与图结构,多模态对话,代码生成和理解,语言理解与生成,信息抽取与检索,多语言模型,开放域对话,核心技术层协同发展，共,同赋能,AI,大模型生态,基础层,企业级用户,大众消费者用户,政府机构用户,文字生成,图像生成,视频生成,音频生成,虚拟人/场景生成,策略生成,多模态生成,代码生成,深度学习框架/开源模型,预训练大模型,模型训练/AI开发平台,语音-语言,智能文档理解,多模态检测与分割,视觉-语言,能力层,AI,大模型的技术架构,云计算与云服务,智能计算平台,智能服务器,第三方合规数据,外部合规数据,数据标注结构化,储存资源,网络资源,安全资源,AI芯片,数据整合,算力资源,人工智能,教育/科研,企业服务,金融服务,零售电商,游戏,政务,医疗,工业,中国人工智能行业市场规模，,2021-2027E,18,000,16,000,14,000,12,000,10,000,8,000,6,000,4,000,2,000,-,单位：人民币亿元,15,732,14,729,+34%,10,539,7,516,5,323,3,716,2,607,2021 2022 2023E 2024E 2025E 20,26E 2027E,AI 大模型,典型应用场景,人工智能能够赋能经济社会发展各领域，下游各个领域的产业升级,对大模型的需求持续走高。,例如，在泛交通领域,人工智能能够在自动驾驶、智能座舱、运行管理优化等多个方面为汽,车行业创造价值；在医疗方面，,人工智能可以提高疾病检测的效率以及医学影像领域,的智能化分析。据测算，,2022,年中国人工智能行业市场规模为,3,716,亿人民币，预计,2027,年将达到,15,372,亿人民币，有望在下游制造、交通、金融、,医疗等多领域不断渗透，实现大规模落地应用。,下游行业对人工智能需求呈现出碎片化、多样化的特点，从开发、精调、优化、迭代到应用都需要投入巨大的人力和财力，,成本极高,。而,大模型能够向外赋能，,包括通过开放,API,的形式，,降低,AI,应用开发门槛，提高落地部署效率和精度等，,进而降低,AI,规模化部署的成本，满足各行业场景的应用需求,进一步推动人工智能进入工业化发展阶段。,AI,市场高景气，大模型下游行业需求,旺盛,AI,大模型应用场景丰富,来源：头豹研究院,专家系统,前神经网络,神经网络 基础模型 大规模,模型,概率推论,AI的急速发展使得AI模型在手写识别、语音识别、,图像识别,、,阅读,从决策到生成，,AI,技术与应用迎来,跨越发展,2021,CLIP,以,40,亿个文本,-,图像,对为训练数据实现文,本到图像跨模态,2017,Transformer,网络结构进化,为后续大型模,型打下基础,解答特定领域,的问题,1994,GroupLens,首个自动化,推荐系统,2022,DALL,E2,由文本生成,的高清具有,独创性图像,IBM,沃森,益智问答,打败人类,2020,GPT,-3,能够完成,大多数,NLP,任务,资料来源：,Dynabench:Rethinking Benchmarkingin NLP,Google Scholar,indig,ox.,me,，公司官网,2012,DNNs,物体识别,自动驾驶,理解、语言理解等领域的表现加速超越人类平均,水平,2014,GAN,生成图像但,分辨率不高,机器语言翻译,决策式,/,分析式,AI,时代,生成式,AI,急速发展,推荐算法,1990s,机器学习算法,2012,年至今,2011,年以前,1980s,Prolog,&,Lisp,1956,感知器模型,2011,大数据,AI,学科成立,专家系统,AI,绘画,典型的,AIGC,基础模型,OpenAI,的,GPT-3,（大型语言模型,LLM,）、,DALL-E2,（图像模型,）,，,以及,Whisper,（语音识别模型）,Stability.ai,的,stable,Diffusion,（图像模型）,Midjo,urney,（图像模型）,谷歌的,PaLM,和,LaMDA,（对话应用的语言,模型,）（,大型语言模型）,Meta,的,NL,LB,（大型语言模型）,、,Make-,a-video,（视,频模型）和,data2vec,（多模,态）,微软的,DeepNe,t,（大型语言模型）,和,MetaLM,（多模态）,落地场景,数字人,/,虚拟助理,游戏互娱,美术设计,产品海报设计,AIGC,当前典型应用：数字内容生成,文生文、文生图、文生视频,01,02,知识管理类应用,代码生成,GPT-3,的,Codex,程序：,一种机器学习模型，,专门为代码生成而训,练，可以产生各种不同语言的代码,。,Microsoft,微软,Copilot,：,从注释和代码中提取上下文，能力包括：,1,）代码翻译，,2,）代码,自动完成，,3,）从,自然语言到代码。,Amazon,CodeW,hisperer,：,人工智能编程助手，,理解用户的初始提示 来自动完成软件代码,。,用户案例：,在一家行业领先的审计、咨询、税务,和顾问服务机构的六,周试点中，有,55,名开发人员参加，生成式,AI,生成的代码准,确性为,65%,，代码开发速度提高,20%,。,美国跨国投资管理和金融服务公,司,&OpenAl,的,GPT-3,对财富管理内容的培训进行微调，以便金融顾问能够搜索公司中的现有知识，,并为客户轻松创建定制内容。,Lucy,将生成式,AI,用于知识管理：,Lucy,Synopsis,百事公司、,Haleon,（原,GSK,）和,Sa,atchi&Saatchi,等组织,采用其生成式,AI,来阅读组织中的信息，,提供独特,的两到三句话摘要回应，,直接准确地回答用户的问题。,Gogle,谷歌发布,Bard,：,由对话应用语言模型驱动的,实验性服务。,微软宣布新的,Bing,和,Edge,有限预览阶段,。,Yext,使用生成式人工智能，为其知识图谱引入自动内容生成。,C3.ai,宣布推出,C3 Generative Al for En,terprise Search,：,使用自然语言界面快速定位、检索和呈现,企业信息系统整个语料库中的所有相关数据。,Viable,聚合来自服务台票据、调查、,CRM,和评论的定性数据，,以帮助团队了解客户对其产品的看法和感,受客户反馈的准确性从,66%,提高到,90%,。,生成式,AI,企业应用案例：知识管理&代码,生成,销售和营销,特定行业用例,医疗领域,改善医生的工作流程：,生成式,AI,可以审查医疗记录，并在,护理点提供与病人和治疗医生相关的简明总结。,Profluent,：,使用生成式人工智能来设计蛋白质。,Absci,生成式人工智能药物创造公司：,试图在计,算机上“从头”设计新的抗体,金融业,投资组合优化,知识管理,制造业,通用汽车：,与欧特克工程师合作，为座椅支架创造了,15,0,个,新的设计理念，并选择了比原始组件轻,40%,和强度,20%,的最终,设计。,Armour,：,利用生成式设计算法为所有类型的,运动训练打造 出具有灵活性和稳定性最佳组合,的鞋子。,菲利普,斯塔克和卡特尔使用生成算,法将美学和功能,结合起来：,我们如何才能用最少的材料？设计师和人工智能,合作产生,种非常规但高效的椅子设计。,Microsoft Viva Sales,：帮助卖家更有,效地与潜在客户和顾客沟通,将为各种场景生成建议,的电子邮件内容，如回复询问或创建提案，并附上与收件人具体相关数据，,如定价、促销和截止日期。通过可定制内容的自动建议，卖家可以花更少的时间编写电子邮件和,从,同事或数据库中搜索销,售数据。,Rephrase.ai Synthesia,：,可以制作博客、社交媒体帖子、网络副本、销售电子邮件、广告和,其他类型的面向客户的内容。,Adobe,Express,：,通过提示生成模板，或根据描述创建独特的文本效果。目前主要集中在图像方面，,未来将包括视频、,3D,设计、纹理创作、标志设计等等。,Slack,新,Chat,GPT,：,提供即时对话摘要、研究,工具和写作协助。,Jasper,：,可以制作博客、社交媒体帖子、网络副本、销售电子邮件、广告和,其他类型的面向客户的内容。,Salesforce Eins,tein GPT,：,在销售、服务、营销、商业和,IT,互动中，超大规模,提供人工智能创造的内容。,生成式,AI,企业应用案例：销售营销&,其他,*slack,伴随,AI,技术升级和大模型成熟，,AI,绘画与,ChatGPT,的成功破圈，生成式,AI,技术迎来发展拐点，,行业关注度大幅提升。,生成式,AI,是指基于大模型、生成对抗网络,GAN,等人,工智能技术，,通过已有数据寻找规律，,并通过适当的泛化能力生成相关内容的技术，可生成如图像、文本、音频、视频等原创内容变体。例如，以,ChatGPT,、,Midjourney,、文心,一格、商汤商量、,Codex,为代表的生成式,AI,应用拥有文本语言理解能力、涌现能力以及,思维链推理能力，,能够完成文学创作、新闻写作、数理逻辑推算、代码生成、图片生成等多项任务。目前，国内电商、游戏、文娱、设计等行业正在积极使用相关的生成式,AI,应用来提高自身工作效率，,尤其以文生图应用为主。,生成式,AI,不仅能够增强并加速下游多领域的设计，而,且有潜力“发明”人类可能错过的新设计、新对象。,生成式,AI,有生成大规模、高质量、低成本内容优势，,在算力和算法支持下生成大量,内容，生成的内容质量将,持续超越,UGC,与,PGC,。未来有望为各行业提供内容支持并促进其内容繁荣，,最大化释放内容生产力。,文字生成属于发展成熟、易于跨界转化的赛道，而跨模态生成赛道的发展潜力最高。,生成式,AI,应用根据模态划分为,文字生成、音频生成、图像生成、视频生成、跨模态生成。语音合成、文 本生成、图像属性编辑等技术应用目前较为成熟，,跨模态,生成、策略生成是高增长潜力的应用场景，,在自动驾驶、机器人控制等领域有极高应用价值，,随着未来技术不断发展成熟，预计,3-5,年可实现稳定落地。,大模型发展及相关应用实现落地时间表,垃圾邮件识别,翻译,基础问答,基础文案写作,起草初稿,更长的文字,完成第二稿,垂直微调,科学论文,高于人类平均水,平的终稿写作,产出比职业作家,写得更好的终稿,单行代码,自动完成,多行代码生成,更长的代码,更高的准确率,多程序语言,更多垂直领域,文本到产品,（草稿）,产出比全职开发人,员做得更好的文本到产品（终,稿）,艺术作品,Logo,设计,摄影,产品设计模型,建筑概念模型,产品设计模型,建筑模型,产出比专业艺术家、设计师、,摄影师做得更好的终稿,基础,/,初稿视,频及,3D,文件,第二稿,AI,Roblox,产出基于个性化梦,想的电子游戏和电影,2020,年前,AI,大模型技术创新，助推生成式,AI,应,用场景加速落地,可用的大模型：,初步探索 基本形成,准备阶段,文字,代码,生成,图像,视频,/,3D/,游戏,2030,？,2050,？,2025,？,2020,2022,关键,发现,人工智能的政策引导逐渐覆盖到大模型生态,，并开始出台相应的生成式,AI,监管建议,，进一步支撑大模型生态的有序发,展；,大模型的神经网络架构和训练大模型的,AI,基础设施,，均逐渐发展成熟,，推动大模型的生产更加系统化和工程化,；,下游企业用户的,AI,部署需求进一步规模化发展,，急需在上游大模型支,撑下,，获得,AI,应用开发门槛降低,，部署精度提高等基础价值,，进而降低,AI,规模化部署的成本；,大模型的发展趋于通用化与,专用化并进,，平台化与简易化并进；,依托,Model,as,a,Service,，大模型建立起面向政企,、,消费者群体等差异化的商业模式,，并逐渐形成基模型、,领域、行业大模型一体的商业化架构。,在“基础设施支撑,+,顶层设计优,化,+,下游需求,旺盛”三轮驱动下，,AI,大模型迎来了良好的发,展契机,通过数据交互和任务反馈，优秀的大模型能够,赋能各,行各业开放任务，满足对未来,AI,应用的期待。,展望未,来，大模型“训练基础设施,-,底层技术,-,基础应用,-,垂直应用”发展路线逐渐清晰，随着底层技术逐,步革,新，基模型和领域大模型持续完善，大模型应用,边界,不断拓宽，,将加速赋能交通、医疗、金,融等各个行业,和领域，引发一场以强人工智能和通用人工智能为代,表的新一轮智能革命浪,潮，大幅提高生产和生活效率，,带来深刻的经济、社会和产业变革。,大模型迎来发展新机遇，未来前景可期,基模型,优秀的大模型能够赋能各行各业开放任务,下游需求旺盛,基础设施支撑,顶层设计优化,娱乐互联网,任务反馈,数据交互,智慧金融,智慧零售,智能手机,智能汽车,智慧文旅,智慧楼宇,智慧交通,智慧医疗,AI,教育,AI,大模型具有降低开发门槛、,提高模型精度和泛化能力、提,高,内容生成质量和效率等多种价值，,实现了对传统,AI,技术的突破。,一方面，大模型可以帮助降低,机器学,习和自然语言处理应用,的开发门槛，,能够对复杂的模式和规律进,行更准确,的建模，通过不断地学习和更新自己,的参数来提高其性能和准确度,，提高,模型的精度，更好地泛化到新,的数据,集和任务中。另一方面，大模,型通常,能够更好地泛化到新的数据集,和任务,中，可以提高内容生成质量和效率，,例如生成对话、摘要、翻译等,。除此,之外，大模型的开源性和可复制,性可,以促进学术研究的发展和技术的普,及，,增强生态繁荣度，从而加速人,工智能,技术的进步和应用。,大模型的五大基本价值,增强模型泛化能力,大模型通过学习大量数据和任务,获得广泛知识，捕捉,更多细节，更好地泛化到,新的数据集和任务中。,大模型的,基本价值,大模型的多种价值，将加速人工智,能的技术进步和规模化应用,提高模型精度,大模型拥有更多的参数和更深,的层次结构，能对复杂的模式,和规律进行准确建模，并通过,不断学习和更新自己的参数提,高性能和准确度。,增强生态繁荣度,大模型的开源性和可复制性能,够聚合开发者、高校、实验室,等多方资源，在促进学术研究,的发展和技术普及的同时，加,速人工智能技术的进步和,应用。,降低开发门槛,大模型通过自动学习更多的特,征和规律，减少手动特征工程,的需求，使开发者能更轻松地,构建高质量的模型。,提高内容生成质量和效率,大模型可以更好地捕捉和分析,信息，用于生成高质量的内容，,提升生成效率，,例如生成对话、,摘要、翻译等。,基础模型（Foundation Model）是区别生成式人工智能技术栈和之前人工智能的关键。,基础模型是斯坦福大学基础模型研究中心创造的,术语，它是一个在广泛数据集上预先训练的机器学习模型，可以用于解决一系列问题,。,基础模型通常经过以下四个阶段的开发，如下所示。,基础模型的开发,v,的确，生成式人工智能可以彻底改变企业与客户之间的运作和互动方式，甚至可能重新定义我们对,“员工”的认知。在某些消费者和企业领域，这种转型已经在进行中,。,来源：,Delo,itte,架构,模型的结构和设计，,以及用于训练的算法,。,生产,部署到可以通过APIs,来访问模型的生产环,境中。,1 2 3,4,过程要素：,输入,输出,大模型的能力来自于技术工艺的变化,预训练,在大规模数据集上训,练，以创建一组定义,好的参数。,微调,调整参数以提高,特定任务的性能。,训练数据,精选数据集,处理,模型参数,模型参数,效率,优化计划、研究和产品开发等任务,指导,提供个性化指导或学习内容,创作,生成或增强内容，复制创意过程,娱乐,建造游戏、虚拟人物和其他娱乐项目,创建健康状况和健康计划,与虚拟伙伴进行交流,生成和编辑视频文件,创建原创游戏,发现新产品,创建个性化的财务计划,创建室内设计模拟图,与流行文化人物进行聊,天,进行带有引证的研究,教授新语言,策划服装和时尚理念,渲染,3D,环境,整理内容,综合研究论文,修改和编辑设计文件,重新混音或采样音乐,回答一般问题,指导和为个人写作提,供信息,创作艺术和编辑图像,生成原创的虚构短篇小,说,供应商示例,Synthesis.ai Co,nsensus,Grammarly,Lingostar.ai,LuminarAI,Lensa,Jasper Scenar,io,在2022年，,OpenAI,的,DALL,E2因其文本生成图像的能力而引起了全世界的关注。这个模型可以根据,简单的文字,提示创建图像，有直接的提示，比如“丛林中的一只狮子”，还有更加滑稽有趣的提示，比,如“以毕加索风格描绘,两只狮子打篮球。”,我们将消费者用例-即个人,在其生活中的用例-根据所提供的实用性分为四个大类：,这只是市场的初步观察，,随着工作的深入，类别之间可能会有重叠。而且，随着未来几代人工智能的发展（例如，,那些能够实现多模态交互或完全在单个设备上运行的人,工智能,），,预计会出现新的类别的用例。,生成式人工智能的核心商业逻辑,：效率，指导，创作，娱乐,v,低复杂度,高复杂度,来源：,Delo,itte,垂直,个性化对话式零售体验,数字化治疗,AR,/,VR,内容生成,欺诈模拟和模式检测,个性化,AR/VR,体验,生成,原创游戏创作,地质学评估和石油勘探,学术领域的全天候虚拟助 理,定制化产品设计和推荐,预测性和虚拟患者分诊,税务和合规审计与情,景测,试,自动化产品和硬件设计,预告片和简介生成,生成式模拟和安全测试,基础设施映射和规划,产品细节和摄影生成,用于教育的人体解剖学三,维图像,零售银行交易支持,个性化和自动化的,UI/,UX,设计,剧本,/,配乐设计和字幕,生成,三维环境渲染：油井、管,道等,灾难恢复模拟,时尚服装搭配策划,健康和福祉计划的创建,个性化虚拟财务顾问,产品测试和反馈生成,个性化新闻和内容生成,自动化技术设备培训,欺诈、浪费和滥用预防报,告,个人艺术创作和编辑,通过分子模拟进行药,物研,发,生成财务报告分析和洞察,力,软件销售、客户体验和,留,存支持,原创虚拟短篇小说生成,智能工厂生成自动化,附有引文和解释的研究,横向,个性化对话式零售体验,自助式人力资源和信息技,术功能,端到端自动化客户服务,客户反馈情感分类,自动化代码调试和问题解,决,虚拟助手对话生成,企业搜索和知识管理,3D,环境渲染：元宇宙,营销,/,销售内容生成,无障碍支持（文字转语音和语音转文字,）,自主代码生成和补全,跨平台个性化定向广告,在生成式人工智能的形成时期，最受欢迎的企业应用案例，将是用于推动内部或B2B产出的，,通用的或适用于跨行业跨职能（“横向”）,的用例。,然而，与之前出现的技术一样，通常在特定行业的“垂直”应用案例存在着更可持续的价值创造机会。,v,如今，,一些企业已经从横,向应用案例的投资中获得了实际的回报。,垂直与横向的企业用例示例,文字,图片,语音,视频,代码,其,他,模型,三维,生成式人工智能在消,费者和企业领域的应用案例,消费与零售 生命科学与医疗 银行与金融服务 科技 传媒与电信 工业制造,政府与公共服务,成熟的,新兴的,来源：,Delo,itte,Open AI,：,GPT-4,Anthropic,：,Claude,Google,：,PaLM-E,aLM-E,于,2023,年,3,月,10,日发布，是一种,多模态视觉语言模型,（,VLM,），,具有,5620,亿个参数，集成了可,控制机器人的视觉和,语言能力,Naver,：,HyperCLOVA,kakao,Kakao,：,KoGPT,LG,：,Exaone,Meta,：,SAM,、,LLaMA,GPT-4,于,2023,年,3,月,14,日发布，是,千亿级参数的多模,态预训练模型，能,够支持图像和文本,的输入,Claude,于,20,23,年,3,月,14,日发布，是,Anthropic,开发的,类似,ChatGPT,的聊天机器 人，使用的是,constitutional AI,的偏,好模型,与三星电子合作，于,2021,年,5,月发布，超过,2000,亿个参数的超大规,模模型；,97%,使用的是,韩文语料，计划,2,3H1,基于大模型推出,Search,于,2021,年发布，,专注于开发基于,AI,的图像创建技术和,医疗保健技术,于,2022,年,12,月发布，,拥有,3000,亿参数，使 用图像和文本数据的,多模态模型，是目前,韩国参数规模最大的,模型,用于生物医药和,智能制造行业,视觉模型,SAM,：于,2023,年,4,月发布，,通过精细标注，识,别分割画面上的指,定物体。大型语言,模型,LLaMA,：于,2023,年,2,月发布，,包括,4,种参数规模,阿里巴巴：通义大模型,最新进展：于,2023,年,4,月正式推出通义,千问大模型,华为：盘古大模型,于,2021,年,4,月正式对外发布盘古,预训练大模型,腾讯：混元大模型,于,2022,年,4,月首次对外披露混元,AI,大模型研发进展,百度：文心大模型,最新进展：于,2023,年,3,月正式发布文心,一言大模型,吕快手,快手：K7 大模型,百亿级多模态内容理解大模型,Pluto,，高效视频相,似度计算,科技公司,A,商汤：日日新,SenseNova,大模型,体系,提供自然语言、内容生成、自动化数据标注、自定义,模型训练等大模型及能力，及一系列生成式,AI,应用,昆仑万维：昆仑天工大,模型,于,2023,年,4,月,17,日正式发布千亿级大语言模型“天工”,科大讯飞：,1+N 认,知智能大模型,将于,2023,年,5,月,6,日正式发布,创业公司,王慧文创立光年之外,前商汤员工创立,MiniMax,杨植麟创立循环智能,周伯文创立衔远科技,唐杰创立智谱,AI,，现为,CTO,蓝振忠创立西湖心辰,创业黑马子公司数智云科与达摩院签订战,略合作协议，致力于打造对标,ChatGPT,的,中国本土化大模型,澜起科技：孟子大模型,于,2023,年,3,月,14,日正式发布了 “类,ChatGPT”,的语言生成模型,孟子,Mcha,t,可控大模型,中国,AI,大模型主要厂商竞争力评价厂商,总览,浪潮信息：源1.0大模型,于,2021,年,9,月,28,日发布，具,有,2457,亿参数，是中文语料,AI,模型,国外玩家,本土 玩,家,互联网公司,实验室,高校,硬件公司,v,生成式人工智能确实存在一定风险，如果在扩展规模时没有考虑和缓解这些风险，可能,会减缓转型速度。,首先，模型应该持续进行训练以提高性能，这会引起有关敏感数据、隐私和安全的担忧。接下来，模型输出的结果与训练数据的质量息息相关。因此，任何数据偏差（例如,在,表示或采样方面）通常会在输出中出现。其他挑战包括确定结果的知识产权所有权、高计算成本和强化学习,中昂贵的人工干预成本。,参与生成式人工智能的开发、消费、讨论,和监管的所有人都应努力管理以下风险：,长期的员工失业风险,当前，使用生成式人工智能的最高投资回报率用例,是辅助,工作流程和提高生产力；,然而，,随着模型的不断进步,，,如,果没有适当的技能提升和劳动力规划，,可能存在失,业风险。,安全和风险,公司在使用具有固有“多租户”模型的嵌入式技术和调,优,技术时，应该保持数据、嵌入和调优的机密性，并跟进,快,速变化的监管环境。,成本,使用生成式人工智能的查询/提示的成本可能高达索引,查,询的十倍。虽然这些成本很可能会随时间降低，但经济,因,素应该考虑进内部商,业案例和客户定价，,以推动采用。,信任侵蚀,恶意行为，如幻觉、深度伪造、网络钓鱼和提示注入，,以,及不确定因素，如不标注数据来,源，,都可能暴露攻击面，,破坏客户的信任。,数据隐私和知识产权的保护,模型将在一系列专有的、通常是私有的数据上,进行训练，,需要符合监管要求，进行节点隔离和源头可追溯性的管理。,偏见和歧视,如果没有防护措施和持续监控，生成式人工智能很容易,模,仿偏见并传播歧视行为。,生成式人工智能发展带来的风险,来源：,Delo,itte,第三范式,计算科学,用计算机对科学实验进行,模拟仿真,第五范式,机器猜想+,科学智能,主要应用：科学智,能（,AI,4,Science,）,兼顾科学发现的速,度与准确性,第一范式,实验科学,科学发现初级阶段,描述自然现象,第二范式,理论科学,普适化原理,简单化模型,第四范式,数据密集型科学,基于大数据,大规模计算能力,知识自动糊化,图灵奖得主吉姆格雷（,Jim G,ray,）,2007,年提出科学范式,1600 1950 2000 2,020,第五范式的出现,计算机广泛应用于各学科,一个典型的案例是，剑桥的团队与诺华合作的生成化学（Generative Chemistry）项目，这个项目负责的参与者,表示人工智能,不仅可以从我们过去的实验中学习，而且随着实验室中设计和测试的每一次新迭代，机器学习算法可以识别新的模式，并为,早期,药物发现和开发过程提供指导，希望通过这样的方式，我们可以,增强人类科学家的专业知