计算机行业五大关键要素：解锁生成式AI全新机遇.pdf

五大关键要素解锁生成式AI全新机遇从基础模型到落地的生成式 AI 应用，需要经过模型训练、模型定制、模型部署、模型推理等环节。各个环节上的行业参与者均面临着不同程度的基础设施、数据集成、应用场景选择、安全与隐私以及负责任 AI 方面的挑战：大模型提供商在训练基础模型的过程中，数据准备工作复杂而耗时，训练基础设施的管理与优化有较高的门槛，且算力成本高昂。对于生成式 AI 应用开发者而言，需要为应用场景选择最为适配的模型，也需要集成来自不同存储库、不同格式的数据，还需要保障用户数据隐私、模型安全以及生成内容的安全。对于生成式 AI 应用使用方而言，识别应用场景、利用自有数据与大模型进行交互的过程中如何保证数据安全，如何确保模型生成内容所问即所答，都是其挑战所在。整体来看，能够帮助生成式AI新生态里的产业参与者加速生成式 AI 应用落地的解决方案，必须具备五大要素：高性价比的基础设施、丰富而灵活的模型选择、使用私有数据实现差异化定制、开箱即用的生成式 AI 驱动的应用和负责任的 AI。关于部署方式，现阶段用户更倾向于从云端开始部署：一方面大模型尚处于早期，模型能力不断突破，云服务能够助力用户快速使用到最新的模型能力；另一方面，使用云服务也可以助力用户降低基础设施搭建与运维的时间成本，因此云服务商成为各类玩家构建和部署生成式 AI 应用的首选合作伙伴。执行概要开启云上生成式 AI 之旅：有必要尽快将生成式 AI 融入企业级战略，确定是自建模型还是使用模型定制功能来发挥企业的差异化优势。在参考外部诸如提高生产力、增强用户体验以及优化业务流程成功实践的同时，筛选确定自身应用场景。端到端构建生成式AI 应用，则从为应用场景选择模型开始，参考当前的成功实践，选择适当的模型定制路线进行模型的适配与调整，将经过评估验证的模型集成到企业应用系统，并设立评估指标，对应用进行持续迭代。亚马逊云科技助力释放生成式 AI 潜力：亚马逊云科技致力于不断降低机器学习使用门槛，面向生成式 AI，公司提供丰富的算力选择与高效的加速训练与推理；在海外区域推出 Amazon Bedrock 助力轻松构建并规模化生成式 AI 应用，以及企业级生成式 AI 助手 Amazon Q；高度重视为用户提供负责任的 AI 策略支持。此外，公司也在持续建设端到端的数据基座，以支持生成式 AI 的数据集成需求。至今，超过万家客户利用亚马逊云科技 Amazon Bedrock 进行生成式 AI 创新。生成式 AI 应用：热度高、落地慢.近六成企业开始拥抱生成式 AI.生成式 AI 落地不及预期构建生成式 AI 应用的现实挑战.生成式 AI 三类主要参与者.数据准备耗时，训练成本高昂.数据集成复杂，模型适配难，安全要求高.应用场景筛选难，数据隐私安全顾虑，缺乏成功部署实践云服务助力构建生成式 AI 应用.落地生成式 AI 应用的五大关键要素.具备成本效益和领先 AI 应用的云服务加速构建生成式 AI010203CONTENTS从云端开始构建生成式 AI.制定融入生成式 AI 的人工智能战略.规划生成式 AI 应用场景.端到端构建生成式 AI 应用亚马逊云科技助力企业解锁生成式 AI 潜力.高性价比且丰富的基础设施加速训练与推理.丰富的模型可选，可基于私有数据差异化定制.生成式 AI 驱动的应用程序.亚马逊云科技注重负责任的 AI.端到端数据基座打通壁垒，让所有应用可治理、可管控0504随着生成式 AI 应用快速进入市场，以及越来越多大模型的不断面世，年已经成为生成式 AI 的元年：不同区域、各行各业、不同领域的人们开始尝试在工作和生活中使用生成式 AI，以探索各种可能性。于企业而言，生成式 AI 也已经成为从董事会到基层员工都在探讨热议的话题，一些领先的企业甚至已经利用生成式 AI 技术实现了业绩增长。生成式 AI 应用：热度高、落地慢第一章在年第四季度的生成式 AI 用户调研中，IDC 发现，已经有近六成的企业开始拥抱生成式 AI，超过三成企业开始制定潜在应用场景，仅有%的企业还没有任何举措。%的企业表示已经投资生成式 AI，并且有相应的预算计划。这些预算可能来自年已有的规划，也有些是针对生成式 AI 新增的预算。%的企业表示已经做了一些初步的测试与概念验证，但还没有明确的投资计划。%的企业表示正在制定潜在应用场景，但还没有进入试点阶段。仅有%的企业表示目前还没有任何举措。.近六成企业开始拥抱生成式 AI图 贵组织目前评估或者使用生成式AI的进度如何？来源:IDC,N=我们对生成式AI进行初步测试，但没有固定的支出计划我们正在制定一份潜在用例列表，但尚未开始试点我们已经投资了生成式 AI 且有明确预算我们还没有做任何举措.%.%.%.%.%.%.%.%.%.%.%.%.%.生成式 AI 落地不及预期在已经开始尝试生成式 AI 的企业中，应用场景遍及企业各个业务流程，包括客户服务类应用、支持运营决策类应用、提高员工生产力的应用、辅助产品设计的应用、支持营销的应用等。其中，高管最为关注且最希望从中获取价值的前三大应用为：智能客服类应用、支持财务和运营决策的应用以及专注于提升员工生产力的应用。在实际探索中，预计能优先落地的场景主要是生成式 AI 支持数字化营销领域的应用，支持财务、运营决策类的应用，以及智能客服类应用。综合来看，模型生成结果的准确性、人才技能稀缺、部署的成本等，都影响了生成式 AI 的规模化落地。深入探索企业生成式 AI 的实践，发掘落地前、中、后的全链路问题，让企业能够理性选择技术方案、大胆尝试应用场景，才能真正实现以生成式 AI 带来差异化竞争优势。在落地时间方面，五成以上的企业认为各个领域的应用落地时间都需要在个月以上，这远远长于企业期望的个月的时间。在应用范围方面，即使已经上线的应用，范围也都比较局限，以单点应用为主，如基于大模型升级的智能客服；当前，单个项目的应用可能也就局限于小部分客户群体或者不足百路的坐席中。科技行业正处于开创性时刻，生成式 AI 使预测变得更加容易，甚至可能更加普惠、价格更加亲民。企业将把生成式 AI 应用到更多全新的领域，带来众多商业模式和竞争战略的改变。IDC 预计，生成式 AI 将在未来年内为全球 GDP 增加近万亿美元。然而，高关注度、高预期并没有带来相应的落地进展。厘清生成式 AI 应用落地的路径，寻找能够加速应用落地的解决方案，是行业参与者的当务之急。图 企业高管最关注的生成式 AI 应用以及预计落地时间来源:IDC全球生成式AI调研，N=专注在以客户为中心的应用专注于财务/运营决策支持应用专注于员工应用（技能/培训）专注于数字营销工具专注于应用开发工具专注于 PLM 以及产品设计应用专注于 RFP/合同流程应用%集成生成式 AI 的热门领域热门领域生成式 AI 应用预计落地时间专注在面向客户的应用已经开始整合小于个月平均时间（月）到个月到个月个月以上专注于财务/运营应用专注在数字营销应用.%.%.%相比上一代 AI，生成式 AI 应用的开发需要重新在各种大模型之间进行选型适配，对于用于模型训练的数据的安全性要求更高，在模型定制环节的工作有更加多样性的选择，也因此形成了全新的生成式 AI 应用产业生态。而生态上的所有参与者，今天也面临着诸如数据、算力、成本、模型适配、安全隐私等挑战。构建生成式 AI 应用的现实挑战第二章.生成式AI三类主要参与者从基础模型到集成到企业系统中的生成式 AI 应用，简单说就是对基础模型进行定制、调整，再进行推理的过程。其中，基础模型的训练，对于数据、算力以及技能、人才的要求都很高，因此只有少部分企业专注于模型的训练，即模型提供商。更多的企业选择依托基础模型，使用自有数据进行调优、采用提示词工程（Prompt Engineering）的方法，以提升模型生成内容的准确性；或者使用检索增强生成（下文简称：RAG）的方法以充分利用企业自有知识使模型更好地理解上下文的语境，给出更相关的答案这两类群体为生成式AI应用开发者。行业应用解决方案商则是将生成式AI应用集成到现有的系统中，开发出 AI 赋能的行业应用；大部分行业用户也更倾向于采用融入生成式 AI 能力的行业应用，来实现智能化升级。图 大模型驱动的生成式AI价值链生成式AI应用使用方生成式AI应用开发者基础模型提供商基于大模型的生成式AI应用对基础模型使用自有或行业数据集进行微调从到构建基础模型提示词工程（Prompt Engineering）检索增强生成（RAG）通用生成式AI应用生成式AI驱动的数字人智能客服AI辅助代码设计知识管理.制造行业生成式AI应用产品设计供应链管理质量控制自动化预测性维护.互联网行业生成式AI应用生成式AI辅助NPC设计智能推荐自适应教育AI辅助艺术设计.生命科学/医疗生成式AI应用新药研发临床决策助手AI辅助诊断.出海场景生成式AI应用机器翻译智能推荐AI生成内容对话式AI.更多生成式AI应用.来源：IDC，大模型提供商基础模型训练大模型提供商从零开始构建基础模型，参数量达到百万、千万甚至亿级别，典型厂商如 Anthropic、Al Labs、Meta、cohere、OpenAI、Stability.ai、智谱华章、百川智能等。当前阶段，通常只有科技巨头、头部创企才有能力自主进行大模型训练，这些大模型也是生成式AI应用创新的重要源头。从模型的供给侧来看，随着大模型提供商的逐渐发展和壮大，参数量的不断增加，这些模型应用到生产环境中的准确性也相应的越来越高，过去不可能达到的预测准确度也开始成为可能。生成式 AI 应用开发者从基础模型得到最终应用，需要将特定领域数据引入基础模型进行再次训练/调优，才能获得理想的效果。如前所述，当下有三种方式可以实现模型的定制：调优，提示词工程，检索增强生成（RAG）。生成式AI应用开发者可以基于市场上的商业化或者开源模型，采用专有数据对模型进行调整，来构建特定场景下的生成式 AI 应用。各行业的解决方案商可以采用基础模型基于领域数据训练领域大模型，行业企业则可以使用模型定制功能开发企业专属应用，市场上也涌现出越来越多的AI原生企业采用大模型开发出各种创新的应用。图 生成式AI应用开发者来源:IDC,生成式 AI 应用开发者提示词工程（Prompt Engineering)检索知识增强（RAG)微调（Fine-tuning)通过设计和调整输入的提示词（Prompt）,来引导这些模型生成更准确、更有针对性的输出文本在模型运行时动态地从外部知识库中检索信息，并将其与模型当前处理的内容结合起来，以增强模型的知识理解和回答能力对预训练的大模型在特定的数据集上进一步训练，优化其在特定任务上的性能生成式 AI 应用使用方将大模型驱动的生成式 AI 应用程序，部署到企业现有的系统中。采用构建好的生成式 AI 应用，可以将其应用在内部知识问答、自动邮件生成、代码补齐等场景中，也可以集成在诸如新药研发、预测性维护、广告推荐、智能营销等行业垂直应用中。.大模型提供商的挑战：数据准备耗时，训练成本高昂现阶段，作为生成式 AI 应用创新的源头，模型提供商在模型训练环节面临着一系列关键挑战，比如数据准备耗时、计算存储网络需要提升性能、训练成本高昂、生成内容需要减少幻觉且需要符合监管等。数据准备耗时耗力：相比中小模型，用于大模型训练的数据有三个特征数据量大，对数据质量的要求更高，对数据安全的要求更高。在数据准备环节，模型提供商在海量数据清洗、关键数据脱敏等环节需要消耗大量时间精力。为确保建立负责任的 AI，也需要对用于模型训练的数据进行大量的审核工作。因此，缩短数据清洗时间，提高数据准备工作效率，是当前的迫切需求。基础架构管理与优化门槛高：大模型参数量往往达到千亿、万亿级别，用于模型训练的数据会达到千百万个数据点。训练过程中，无论大小文件的存储、海量小文件的读取，还是算力集群的稳定性、数据的高速写入写出，都要求团队具备专业的基础架构相关技能。用于训练的基础设施成本高昂：大模型的单次训练通常会用到千卡甚至万卡级别，因此计算所需要的算力相比以往中小模型时代大幅提升。如何在保证计算性能、稳定性的前提下，降低整体成本，是大模型提供商的迫切需求。确保模型效果不断提升：能够确保大模型走向市场的前提在于模型生成内容的准确性，以及怎样确保模型少一些幻觉，实现“所答即所问”，这也是模型提供商重点投入的方向。此外，未来 年，如何能够确保大模型效果持续提升，也是大模型提供商的当务之急。.生成式 AI 应用开发者的挑战：数据集成复杂，模型适配难，安全要求高生成式 AI 应用开发者是打通最后一公里、实现技术规模化复制的重要环节，然而当前生成式 AI 的应用开发，也面临着诸多挑战。模型选择与评估耗时且无参考依据：一方面，今天的大模型应用仍然处于早期，企业中的应用场景纷繁复杂，开发人员需要花时间去尝试，以便为应用场景选择效果最优的模型；另一方面，在同一个应用中可能会用到多个模型，而不同模型的 API 也存在较大差异。如何能在模型选择与评估环节提高效率，是生成式AI应用开发的首要挑战。模型适配与调整门槛较高：从基础模型到能上线的生成式 AI 应用，离不开对于模型的调优，或者其他模型定制功能来发挥大模型的差异化优势。而大部分企业在这方面并没有任何储备。对于采用 RAG 的用户，在将来自企业内外部数据做成外挂知识库的过程中，需要选择专门的数据库来存储知识，这一数据库既可能是全新的向量数据库，也可能是具备向量引擎能力的传统数据库。对于微调模型的用户，模型调优环节需要对模型结构有基础的了解，调优也会带来一定的算力要求。即使只是采用提示词工程的方式来使用大模型，也需要有专业的提示词工程师。上述这三种方式，当前市场上的成功实践均比较少，企业内部也没有相关的积累，入门的门槛较高。推理部署成本高昂：未来，将有越来越多的生成式 AI 实践开始走向推理阶段，也将有越来越多的用户开始使用生成式 AI。如何提升推理性能，同时大幅降低推理成本，是整个行业的迫切需求。缺乏数据/知识集成的经验：在生成式 AI 时代，无论是模型定制环节还是模型推理环节，都会涉及到大量的数据交互工作。这些领域的专有数据将造就一家企业的不同。例如，对于一家数据储备完善、拥有高质量数据集的企业，若能基于自有数据对模型进行微调，或者以插件的形式结合自有数据来生成内容，则大模型生成的结果将得到显著提高。而今天，大部分企业还是存在不同程度的数据烟囱现象，数据分散、数据归集难、数据管理复杂是用户普遍会遇到的问题。建立端到端的自动化数据集成管道，减少跨数据存储库的数据集成工作，能够加快应用的上线。工程化落地复杂：在落地过程中，大模型本身只能解决%的问题，从大模型到落地的应用，基础设施的搭建与优化，模型的部署与运维，数据工程等，这些周边的工程能力要解决剩下的%。这其中每一个环节都需要优化，很多企业恰恰缺乏这方面的经验和能力。安全要求高：生成式 AI 应用开发者，既需要保证用户用于模型定制的数据不被基础模型所吸收，自身优势不被友商所利用；又需要确保模型输出内容的合规，避免答非所问等幻觉问题。这意味着，生成式 AI 应用的开发和使用将对安全提出更高的要求。图 生成式AI应用开发环节的挑战来源:IDC,端到端数据与知识的集成为用例选择模型保证模型生成内容安全合规生成式 AI 应用开发人才技能缺失确保模型所问即所答构建 AI 应用的整体成本.生成式 AI 应用使用方的挑战：应用场景筛选难，数据隐私安全顾虑，缺乏成功部署实践难以确定应用场景：企业对生成式 AI 的期待很高，然而从哪些应用场景着手，如何筛选、判定应用场景，以及如何寻求一些可参考的成功案例，是企业着手生成式 AI 项目面临的首批挑战。对于安全、隐私的担忧：成熟地运用生成式 AI 工具可以显著提升员工工作效率，提升创造力，然而用户也会担忧将自有数据、文件上传到大模型，是否会泄露私有数据与知识。这也是很多具备海量数据的企业的首要担忧，一定程度上也影响了生成式 AI 的落地进程。缺乏成功的部署实践：训练好的模型需要在保留数据集的基础上进行性能、准确性等方面的测试。部署上线推理过程中，也需要注意可能的数据漂移。而在应用不断迭代的过程中，当前也缺乏成熟的模型效果监测机制。成本高企：生成式 AI 应用上线后，一方面用户使用频率增加，与模型的每一次交互，都会伴随推理成本的增加；另一方面，并发量、吞吐量、时延要求的不断提高，对算力的要求也会不断提高。只有不断降低使用成本，才有可能真正促进AI的普惠。人才/技能不足：今天，几乎所有参与生成式 AI 产业的企业，都面临着严重的人才短缺问题。大模型相关人才稀缺且成本高昂，导致企业相关技能的不足；具备模型调优等定制能力的人才尤为短缺。模型选择与适配难；如何充分发挥自有数据优势；面向AI的基础设施的优化；如何确保负责任的 AI；以及推进企业应用程序的AI规模化。要克服这些挑战，既需要产业上下游的生态协作与优势互补，也需要依托能够应对这些挑战的技术栈，在此基础上，才能加速生成式AI应用的落地。要加速生成式 AI 应用的构建与落地，从应用场景识别到模型选择，模型适配与定制，模型部署，各个环节都需要助力，以下五大关键挑战是当前企业拥抱生成式 AI 时面临的现实问题：企业落地生成式 AI 应用的现实挑战整体来看图 企业落地生成式 AI 应用的现实挑战模型选择与适配相关自有数据优势相关AI 应用程序规模化有关确保负责任 AI 有关AI 基础设施相关在众多大模型中选择试错成本高模型选择评估与迭代生成式AI技术基本认知低应用场景难以定位无处着手确定应用场景准备数据耗时长清洗数据耗时长 数据准备复杂的跨系统的集成多数据源、多步骤应用集成缺乏提示词工程师和调优人才数据安全与隐私问题跨系统集成数据/知识难模型定制生成式结果的不确定性：答非所问、幻觉部署AI应用需要从Iaas/Paas层开始搭建模型部署异构基础设施管理与优化技术门槛高模型训练运行推理的算力成本高昂边缘侧、端侧推理优化模型推理尽管现阶段使用大模型的挑战、担忧居多，展望其潜在的商业价值，用户的期待仍大过今天的担忧。截至 年第四季度，已经有越来越多的企业开始从观望转向试点阶段。当然，大部分应用场景目前仍处于探索创新、试点阶段。企业希望寻求广泛的外部合作以快速获取生成式 AI 相关能力；同时，从技术的角度，也希望寻找可轻松入门的生成式 AI 开发技术栈。云服务助力构建生成式 AI 应用第三章高性价比的基础设施：无论是面向大模型的训练还是调优推理，低成本、高性能、高度优化的云基础设施，是试点以及真正部署生成式 AI 应用的首要条件。如下图所示，能够提供包含整体AI技术栈而无需用户做硬软件的适配，面向 AI工作负载管理并优化计算、存储与网络设施，为 AI 应用开发提供从部署到上线的全面支持，是生成式 AI 解决方案必须具备的能力。此外，与云服务成本管理系统无缝集成，以帮助用户实时监测生成式 AI 基础设施的用量以及成本，提供灵活的定价模式以更好地管理生成式 AI 应用的整体成本，也是基础设施层需要具备的重要能力。.落地生成式 AI 应用的五大关键要素从基础模型到成功构建生成式 AI 应用，每一个环节的行业参与者都需要应对基础架构、端到端数据、保护数据隐私等挑战。助力生成式AI应用的落地，必须具备如下因素：来源:IDC,负责任的 AI 策略原生生成式 AI 应用程序、以 AI 为中心应用、包含AI的应用（水平跨行业应用/行业专属应用）模型调优基础架构云平台/本地部署/混合部署计算、存储、网络和中间件用于训练和推理的芯片GPU、TPU、FPGA等安全数据安全云安全AI基础设施软件管理并优化计算、存储、网络通用模型：文本、图像、音频、视频、代码、多模态模型 行业专属模型提示词工程检索增强生成（RAG）差异化定制、生成式AI驱动模型选择多样性与灵活性云、安全、低成本高性能发挥数据差异化优势简单易用公平 可解释性 隐私与安全性 稳健性 治理 透明度生成式 AI 驱动的应用差异化定制基础模型基础模型、行业模型基础设施(开源/商业化，通用模型/行业模型)数据基座全面集成可治理图 构建生成式AI应用的关键能力丰富的基础模型：现阶段市场上还在涌现新的大模型，针对原有的大模型也不断有新的版本发布。然而，单一的大模型无法做到满足用户在不同业务场景的全部需求，因此，构建生成式 AI 应用需要供应商做到能够提供丰富、灵活的模型选择，并为用户提供模型评估、验证、适配的工具，以帮助用户减少试错时间，加快入门速度。差异化定制生成式 AI 应用：要构建适配企业自身业务场景和个性化需求的生成式 AI 应用，必须要具备成熟完善的模型定制功能，现阶段即提供微调、提示词工程以及知识库增强的功能。此外，开发人员都需要连接来自数据库、数仓、数据湖的数据，需要从企业现有的应用中抽取数据，最终也需将模型集成到应用系统中。因此，预训练的行业应用场景模型与 API，预置的数据连接与数据管理功能，对开发人员的培训和协助、定制化开发工具，都是企业构建和部署生成式 AI 的需求。来源:IDC中国，生成式AI市场调研，N=,图 您的组织在未来 个月内在生成式 AI 基础架构提供商中寻找哪些重要特征？.%.%.%.%.%.%.%.%.%包含整体AI技术栈为AI开发环境提供广泛的支持提供面向AI工作负载优化的基础架构跨多个数据存储库轻松集成数据与云服务成本管理系统紧密集成基于用量灵活计价最为重要 第二重要开箱即用的生成式 AI 驱动的应用：基于生成式 AI，用户既可以构建原生的AI应用，也会涉及到将原有的应用系统进行逐步、持续的 AI 升级。采用生成式 AI 驱动的应用程序，更可以帮助用户提高开发效率，加速应用上线。一方面，用户需要将生成式 AI 应用由单点扩展到推进企业所有应用程序的 AI 化。另一方面，构建生成式 AI 应用程序的过程，也需要自动化的、生成式 AI 驱动的工具来加速。负责任的 AI 策略：在数据安全、云服务安全以外，开发与部署生成式AI应用尤其要强调建立负责任的 AI 策略，这就要求确保输入到模型的数据合规，输出的内容符合“所问即所答”，且符合监管要求。一方面，在生成式AI领域，数据与知识对于塑造企业差异化竞争优势至关重要。企业尤其不希望自己的优势被外部所利用，故构建与部署生成式 AI 应用过程中保证数据与知识“不出私域”十分重要。另一方面，对于生成的内容，如何减少负面/有害内容，确保合规，也是应用上线的前提。另外，当今社会的监管合规要求日益严格，如何保证生成式AI应用符合当地的监管政策，也是生成式 AI 工具需要具备的能力。来源:IDC中国，生成式AI市场调研,N=,图 根据您当前或近期使用软件平台和工具提供商开发生成式人工智能能力的计划，您的组织在未来个月内对于软件供应商有哪些需求？.%.%.%.%.%.%.%.%.%.%.%.%.%.%.%强大的数据安全性丰富且直观的 AI 模型选择灵活的计费方式支持多模态模型预构建的行业用例模型与 API开发人员培训和协助定制化/开发工具预构建的数据连接与管理功能以上都不适用在五大要素之外，更需要注意的一点是企业也需要全面、集成、可治理的端到端数据底座：构建生成式 AI 应用的完整流程上涉及的数据来源更广泛不仅是训练环节要读取数据，推理环节也要读取来自内外部不同系统的知识。当下，企业的 IT 系统可能有成百上千个，海量数据存储在不同架构的存储库中。支持生成式 AI应用开发的解决方案必须要能够端到端集成数据，以支持模型的调优与推理。.具备成本效益和领先 AI 应用的云服务加速构建生成式 AI当前，生成式 AI 领域日益繁荣，既有全新的大模型初创企业、创新的生成式 AI应用厂商，也有传统的解决方案商、云服务商。而在企业启动生成式 AI 应用时，根据 IDC 调研，无论在全球还是中国，云提供商都是企业用户在选择生成式 AI 战略合作伙伴时的首选。一方面，云服务既能够帮助用户降低基础设施搭建门槛、节省基础设施维护时间，又能够实现 PaaS 层产品的快速更新；另一方面，在生成式 AI 这一前沿领域，尤其会面临模型与应用快速迭代的情形。在云端构建生成式 AI 应用，可以让用户专注于使用新的能力快速构建应用，也因此成为构建生成式 AI 应用的首选合作伙伴。对企业而言，如何搭建面向生成式 AI 的架构，从何处开始着手，甚至如何获得对生成式 AI 的基础认知，也都需要外部咨询合作伙伴提供建议。此外，生成式 AI 工具提供商、企业级应用软件提供商、初创企业等，也是建设生成式 AI 重点考虑的合作伙伴。IDC 预测，生成式 AI 将重塑传统应用程序，到年，企业将利用生成式 AI 工具和云服务提供商平台启动并执行%的代码转换和开发任务。IDC FutureScape：全球开发者和 DevOps 年预测亚太区（不含日本）启示图 企业对于生成式 AI 合作伙伴的选择偏好Q:在未来个月，您更可能选择哪类厂商作为最重要的生成式 AI 战略合作伙伴？来源:IDC,，N=,China N=公有云提供商IT 咨询伙伴数字基础设施提供商生成式 AI 工具提供商企业级应用软件提供商生成式 AI 创业公司业务咨询伙伴半导体厂商全球中国%生成式 AI 的真正价值和投资回报率取决于企业本身如何推动生成式 AI 的落地，也取决于生成式 AI 技术的应用如何为企业带来业务层面的改变。企业应该尽快评估准备情况，制定人工智能战略与落地路线图，为生成式 AI 的应用奠定必要的基础，从而在中长期内通过差异化和重点战略来建立竞争优势。从云端开始构建生成式 AI第四章.制定融入生成式 AI 的人工智能战略.将生成式 AI 融入企业战略评估生成式 AI 的准备情况，需要关注智能化架构的基础、人才技能的储备和数据基础，制定融入生成式 AI 的人工智能战略和路线图，并在人才、技能、流程方面进行保障式的资源适配。在生成式 AI 的时代，尤其要建立负责任的 AI 应用机制。大模型通常缺乏透明度（与简单的统计模型不同）来解释它们为什么会产生结果，而这种缺乏信任是在实践中使用生成式 AI 的真正风险。企业在启动生成式 AI 之前，应该首先建立负责任的AI 策略。这要求企业理清组织数据在 AI 模型中的使用和存储方式，确保数据受到保护；要求企业对于输入模型的数据以及模型输出的内容实时进行合规审查。同时，在选择外部服务商的产品时，亦应考量其是否提供了相应的功能。图 企业落地生成式AI的战略思考框架来源:IDC,执行-产业化生成式 AI 战略与业务战略保持一致生成式 AI 愿景生成式 AI 应用场景生成式 AI 加速因子以产品/服务为中心的 AI商业模式构思并确定优先顺序价值链布局以流程为中心的 AI结构治理技术+才能文化+合作AI基础设施数据云厂商、解决方案商、初创公司、咨询服务商其他合作伙伴AI 生态系统技术人员组织.根据自身情况确定生成式 AI 构建策略如今，市场上已经提供了丰富的开源模型选择，也有一些相对成熟的API类应用程序。对于有一定开发实力的企业来说，可以考虑基于大模型进行微调，将微调后的模型嵌入到生产环境。直接与模型进行交互开箱即用、成本领先：不对模型做任何开发或训练，将调整好的大模型 API 或者 SDK 直接嵌入应用程序，与该应用程序直接交互。这种“开箱即用”的方式无需任何级别的编程或数据工程即可实现必要的功能，同时还可将基础设施管理及其相关运营支出“外包”给应用程序提供商。模型定制以实现差异化优势：通过微调、知识增强生成或者提示词工程的方式对模型进行调整，以更好地适配自己的应用场景。该情形下，需要企业有一定的技术能力，对模型调整方法有一定的认知，才能充分发挥出差异化优势。自主训练模型：相比于基于基础模型进行调整的方式，企业自主进行模型的预训练，需要搭建基础设施，准备用于模型训练的数据，还需对用于训练的数据进行合规性审核。无论是硬件、软件栈，还是人力投入方面，投入程度均将明显高于前两类。图 根据自身情况确定生成式AI构建策略来源:IDC,构建生成式AI应用的路径无需任何编程、数据工程操作，任何员工可以直接上手使用需一定的数据工程与编程技能需要数据工程以及专业的算法开发技能启动成本低，尤其从云上开始使用该项能力，启动成本更低涉及到模型调优，会产生一定的算力成本。使用提示词工程、RAG方式，不会带来成本显著上升模型训练到部署各个环节都会带来显著的成本上升无法利用到企业专有数据，模型为企业带来的差异化竞争优势低可以利用企业专有数据，能够充分发挥企业的差异化优势可以利用企业专有数据来发挥差异化竞争优势企业没有对生成式 AI 以及大模型的基础认知的情形对应用场景进行早期探索的情形企业正式开始测试生成式AI用例的最佳启动方式主要适用于模型提供商采用开箱即用的解决方案模型定制自主训练模型人才、技能要求整体成本竞争优势适用情景整体来看，采用开箱即用的解决方案可以让企业以较低的成本快速使用模型能力；自主训练模型需要内部有非常专业的大模型领域的人才以及技能，且整体投资成本高昂；而采用模型定制/调整的方法，可以在成本可控范围内充分发挥企业专有数据的优势，因此是现阶段快速启动生成式 AI 应用的较优选择。.规划生成式 AI 应用场景.评估可能的生成式 AI 应用场景评估生成式 AI 的应用场景，需要充分认识到其潜在回报和可能需要的资源、时间投入，以便更好地规划和落地其在各个领域的具体应用。如下图所示，在具体的场景选择上，优先从有一定数据基础、生成式 AI 能带来一定的投资回报、以及能够获得业务部门支持的场景开始，也可以考虑从价值高、实施复杂性低的场景入手，同时避免一些可能带来高风险的应用场景。从价值的角度，企业应该重点考虑具备经济价值的场景，如 ROI 可衡量的场景；同时也应该从战略统一的角度来选择更具战略意义的场景。从实施复杂性的角度，综合考虑企业自身的数据基础、评估是否有参考的算法模型、企业相关的流程支持以及自身具备一定技能的场景。考虑从低风险的应用场景开始，首先要解决具体的现有业务问题，避免华而不实的应用场景，以简单方法让员工更有效地利用生成式 AI 提高生产力、拓宽员工创新和决策的空间。来源:IDC,图 生成式AI应用场景评估框架优先考虑能够快速看到投资回报的场景。例：生成式AI驱动的数字员工可以代替人类员工服务更多的客户；生成式AI驱动的个性化推荐，助力获客等。考虑与企业战略目标一致，能助力发挥出企业竞争优势的场景。寻找企业有数据积累的场景；同时也应考虑有迫切需求但没有数据积累的场景，流程上应该如何促进业务数字化/数据化。选择有成熟算法支持的场景。优选内部可轻松获取该领域技能的场景。如内部不具备该技能，则需要考虑外部合作伙伴是否具备该技能。高风险的场景可能包括：合规风险高，实施过于复杂（涉及部门众多、流程繁琐）经济价值战略一致数据算法专业技能使用风险/实施风险说明维度复杂性风险价值来源:IDC中国，生成式AI市场调研，N=,图 在将生成式人工智能集成到现有应用或业务流程中时，贵公司高层最关注的应用领域是什么？面向客户的应用（聊天机器人、在线问答页面等）产品生命周期管理和产品设计财务和运营应用应用开发工具数字化营销工具招标书/合同流程应用内部人才培养（技能/才能/培训）%.参考外部实践选择应用场景目前，不少行业已经在开展生成式AI应用的探索。IDC 调研显示，%的企业未来一年内将增加用于生成式AI的投资，其中.%的企业表示相比于去年将增加%以上。对话式营销成为主流:到年，普遍存在的情绪和意图人工智能将推动%的A企业以实时、双向对话的方式进行所有营销旅程，从而将购买转化率提高%。IDC FutureScape：全球首席市场营销官年预测亚太区（不含日本）启示五月 六月来源:IDC，图 企业生成式AI应用场景及其投入的变化情况设计应用市场营销应用代码生成应用对话式应用知识管理应用.%.%.%.%.%.%.%.%.%.%与当前的投入持平 增加-%的投入增加%以上的投入.%.%.%Q：您预计您的组织最有希望投资哪些生成式 AI 应用场景?Q：在未来的 个月里，您所在组织在生成式 AI 应用上的投资将会有多大的变化?落地的典型应用场景主要围绕增强客户体验、提升员工生产力与创造力以及优化业务流程等，典型应用场景如下图所示。增强客户体验主要用于客户服务环节。典型的场景包括聊天机器人、联络中心呼叫分析、智能导购、数字人导购等。使用生成式 AI，可以更好地判断客户的情感、预测客户的需求，为客户提供更精准的服务。提升员工生产力与创造力生成式AI可以为企业内全体员工提供对话式搜索能力，以对话的方式快速获取企业当前运营情况的洞察；对于 IT 人员，生成式 AI 可以赋能自动生成代码、代码补全、不同开发语言的转换等业务；在具体的产品设计环节，生成式 AI 还可以辅助进行产品的设计，例如工业产品参数设计、服装图案设计等。优化业务流程生成式 AI 可以应用在文档处理场景中，用于自动提取、分析文档内容，以及生成内容摘要，也可以基于已有内容自动补全、生成新的内容。图 生成式AI典型应用场景分类与示例聊天机器人虚拟助手联络中心呼叫分析智能导购&个性化推荐智慧数字人.对话式搜索代码生成文字、图片、视频生成产品设计从数据到洞察.智能文档处理内容审核数据增强安全流程优化.增强客户体验提升员工生产力和创造力优化业务流程来源:IDC,案例背景西门子股份公司（以下简称“西门子”）是一家专注于工业、基础设施、交通和医疗领域的科技公司。在知识的查询和回复这一日常场景中，由于西门子内部的数据横跨多个不同领域、涉及多个不同业务单元，长期以来，员工在进行内部资源的检索和调用时遇到诸如结构散乱、检索速度慢、交互不便等问题，知识的查询、回复生成速度慢、搜索关键词的命中率低，造成员工的使用体验不佳。解决方案亚马逊云科技提供的智能知识库暨智能会话机器人的解决方案指南；解决方案指南中包括预训练的大语言模型、Amazon OpenSearch Service 的向量数据服务，以及相关系统集成等；采用了检索增强生成（RAG）方式来增强模型；通过应用大数据库和生成式 AI，有助于提高“智能知识库”的可用性。生成式 AI 对话机器人“小禹”上线首周+名员工体验快速、精准的查询与回复案 例增强客户体验业务价值西门子在个月内构建了基于自有模型的智能知识库暨会话机器人小禹；首周有+员工使用，解答了+问题；小禹避免了重复开发，提升了员工的信息获取效率，优化体验；基于云的弹性资源和托管服务进一步降低了成本。“在亚马逊云科技的帮助下，我们仅仅用了三个月时间就上线了生成式 AI 对话机器人 小禹。通过定制增强亚马逊云科技所提供的以向量数据库服务和大语言模型为基础的知识库原型，在短期内实现了快速、精准的查询和回复。”西门子，IT经理，李朝明首周服务的用户数首周回答的问题个月灵活构建基于自有模型的AI 对话机器人案例背景中科创达是一家智能操作系统、AI 技术与产品的提供商，公司的操作系统产品和技术已经全面赋能智能手机、智能汽车、智能硬件等多个智能产品和场景。中科创达紧跟前沿技术趋势，启动全新的“Smart to Intelligent”，旨在自主研发大模型以赋能各行各业的客户转型，但由于算力不足、模型部署耗时耗力、模型训练速度慢、集群管理受阻、缺乏模型训练的实战经验等诸多挑战，自主大模型的研发遇到困难。解决方案中科创达使用 Amazon SageMaker 更专注于大模型训练，无需管理计算资源；Amazon SageMaker 提供技术支持，确保训练过程稳定，避免训练中断。其故障重试和自动更新实例机制，提高了训练的稳定性；利用 Amazon SageMaker、Amazon Lambda、Amazon API Gateway创建无服务器解决方案，进行模型推理；将 Amazon Lambda 函数与 API 关联起来，外部应用程序快速调用大模型；专注大模型训练加速模型调试开发效率提升 倍提升员工生产力与创造力案 例通过 Amazon FSx for Lustre 对机器学习、分析和高性能计算进行工作负载优化，加速训练作业；中科创达使用 Amazon CloudWatch 来监控 Am