2024生成式AI产业落地路径研究报告.pdf

生成式AI产业落地路径研究报告引言 在当下新一轮科技革命和产业变革加速发展的背景下，数据已成为新的生产要素，算力成为新的基础能源，而人工智能则成为新质生产力。2024年的政府工作报告中，明确指出要深化人工智能应用，并首次提出开展“人工智能+”行动。该行动打开了新质生产力的大门，人工智能正在成为产业创新的关键抓手。尤其是以大模型为代表的生成式AI技术，已成为推动新一代产业变革的核心动力。为抓住此次技术机遇，企业开始积极尝试将生成式AI融入工作流程，以探索各种创新可能性。生成式AI已经成为企业各个层面关注的焦点，CEO寄望于新技术成为公司业绩增长的引擎,而员工则期待新技术成为他们创意性工作的源泉。在这个变革的时代，企业不断努力将技术机遇转化为竞争优势，不断拓展业务领域，迎接未来的挑战。对于企业而言，探索生成式AI应用落地是一项具有挑战性的任务。本报告提出了生成式AI应用场景矩阵，用以协助企业完善自身可落地应用场景。同时，报告还基于落地实践经验总结出生成式AI应用落地路线，指导企业遴选适合自身情况的落地方式。结合Gartner的产业技术研究，本报告力图为企业带来腾讯云的思考、实践经验与建议，希望帮助企业捕捉这一历史性新机遇，谱写第二增长曲线。CONTENTS目录01生成式AI勾勒企业智慧未来02生成式AI产业落地路径，指引企业找到适合的落地场景和技术路线03腾讯云为客户提供生成式AI驱动的新一代产品方案一、大模型技术发展迅速，激发企业生成式AI应用需求/02二、生成式AI应用落地处在探索阶段/03三、企业落地生成式AI应用面临两大挑战/03一、生成式AI应用场景盘点梳理/06二、腾讯云、Gartner联合推出生成式AI应用落地路线图/12三、落地路线解读/16一、基于生成式AI的腾讯云产品架构升级/22二、腾讯云完善的产品矩阵，满足不同路线客户需求/2204生成式AI产业最佳落地实践05生成式AI发展展望一、路线一-标准软件/46二、路线二-标准模型能力增强/48三、路线三-定制化模型精调训练/56第一章生成式AI勾勒企业智慧未来(一)大模型技术发展迅速，激发企业生成式AI应用需求 伴随2022年末ChatGPT的问世，以大模型为代表的生成式AI技术得到各行各业的高度关注和热议。最早由谷歌提出了Transformer架构，随后，谷歌相继发布了基于Transformer架构的Bert、T5等预训练模型，同时OpenAI也推出了GPT预训练模型。模型的参数量迅速提升至千亿甚至万亿级别，成为超大规模参数模型，同时通过对丰富知识数据的学习，大模型技术在泛化能力、多模态能力、开放域交互和模型可解释性等方面均有巨大提升。2020年，GPT3.0发布，在文本生成方面的能力表现优异。其生成的文本准确、连贯，并且更加贴近人类的表达方式，这使得大模型在内容创作、对话交互等场景具备实用性。2022年，Midjourney发布，大模型的图像生成能力得到广泛认可，应用于广告、游戏等创意设计场景。2024年，Sora发布，可以根据文本、图像生成逼真且具有想象力的视频。教育和娱乐等行业正在积极应用Sora制作视频。大模型技术发展带来的生成式AI效果提升催生出了新的场景和产业模式，企业探索生成式AI的需求迅速增长。根据 Gartner 对 822 位企业领导者进行的 2024 年新一代人工智能规划 调查显示，绝大多数正在实施或积极计划实施生成式AI的企业高管已经预期或实现了实施收益。平均而言，受访者调查报告：收入增加 15.8%，成本节约 15.2%，员工人数减少 4.6%，生产率提高 22.6%。11Gartner Inc.,How to Calculate Business Value and Cost for Generative AI Use Cases,G00805323生成式AI产业落地路径研究报告 02(二)生成式AI应用落地处在探索阶段 生成式AI技术在极短时间内快速渗透到各个工作场景之中，并在改变以往的工作方式。这种新技术的普及将不可避免地诞生新的商业模式和产业生态，并带来全新的机遇。在这个变革的过程中，企业都在积极融入新技术的潮流，并期望在竞争中脱颖而出。根据Gartner调研数据，44%企业CIO表示已经落地或将在未来12个月落地生成式AI，68%企业CIO表示已经落地或将在未来24个月内落地生成式AI。目前，经过初步对生成式AI技术的观望学习，企业认为抓住这一变革性新技术将改变行业竞争格局。大量企业开始转向尝试探索将生成式AI技术应用在自己的业务流程中。首先，生成式AI有望大幅实现降本增效，从而彻底改变行业成本结构。生成式AI打造的智能助手使得企业为每位员工配备了“专家智囊”，员工个人产能得以倍数级提升，重塑了企业人力资源成本结构。其次，生成式AI有望实现客户交互方式的变革，使得企业在客户争夺战中抢得先机。一方面，生成式AI的交互体验与真人无差，且个性化更强，年轻客户更青睐新一代的交互方式。另一方面，全新的交互方式之上有可能孕育全新的消费模式。(三)企业落地生成式AI应用面临两大挑战 生成式AI为企业描绘了美好的未来前景，然而，要将其真正应用于实际业务中，企业仍然面临着场景价值、落地可行性等诸多挑战。在场景价值方面，企业担心新技术应用价值不及预期，面临如何规划应用落地场景的挑战。企业需要确定生成式AI在特定业务场景下的实际应用和价值，这涉及到对业务需求、用户体验的全面分析和评估。但面对场景价值如何分类与遴选、生成式AI能够解决到何种程度等问题时，企业仍缺少成熟的方法支撑。22Gartner Inc.,2024 CIO and Technology Executive Agenda:A China Perspective,G00807509生成式AI产业落地路径研究报告 03 在落地可行性方面，企业担心生成式AI技术人才储备不足、数据基础设施不成熟等问题，面临如何选择适合自身情况落地技术路线的挑战。尽管生成式AI技术非常先进，但要在企业内部或产品中实际落地应用，需要充分考虑哪些评估维度，以及可以选择哪些落地路线，企业亟待解决。针对以上两大挑战，企业需要梳理落地场景，从中优选适合自身的应用落地。并且，企业需要审慎评估技术、预算、风险等维度，寻找合理的落地方式。为此，基于Gartner的研究方法，腾讯云结合自身的大模型应用落地实践经验，为企业提供生成式AI应用场景矩阵和生成式AI应用落地路线图，帮助企业解决场景价值、落地可行性等挑战。生成式AI产业落地路径研究报告 04第二章生成式AI产业落地路径，指引企业找到适合的落地场景和技术路线 生成式AI技术有助于企业构建行业竞争壁垒，提升市场竞争力，改善客户体验。然而，企业在落地生成式AI应用时，缺少落地场景规划和落地路线选择的方法指导。本章旨在帮助企业全面规划落地场景，遴选最适合自身情况的落地技术路线，实现生成式AI应用的快速落地。同时，本章节还为企业用户落地生成式AI匹配了相应的腾讯云产品方案，使企业能够更加高效地利用生成式AI技术，实现场景价值。（一）生成式AI应用场景盘点梳理 1.生成式AI应用场景矩阵 生成式AI在各行业、各企业职能中的落地应用场景不断增多。然而，在进行生成式AI应用建设之前，企业往往缺乏明确的可落地场景参考，并且对于如何优选试点应用进行落地缺少经验和方法参考。为此，腾讯云推出生成式AI应用场景矩阵，通过对场景价值分类，并对场景技术成熟度进行评估，协助企业系统梳理适合自身情况的落地场景。（落地场景图由横纵2个坐标轴，4个场景价值象限，以及分布在象限中的场景点构成。）生成式AI产业落地路径研究报告 06 在生成式AI应用场景矩阵中，横轴是指落地场景面向的企业业务流程分类。横轴正方向，是生成式AI应用到与外部用户体验相关的业务流程，涵盖直接与用户交互或者将生成式AI应用内置于销售给用户的产品服务中等方式。横轴负方向，是生成式AI应用到企业日常运营相关的企业内部流程，生成式AI技术服务于企业员工或企业内部核心业务流程。纵轴是指落地场景对于业务的改造程度分类。纵轴正方向，是指生成式AI具备颠覆既有业务的创新能力，通过变革产品/业务模式创新，实现业务价值革新。纵轴负方向，是指生成式AI可以改善既有的业务和运营模式，实现业务流程增强。通过横纵2个坐标轴，生成式AI落地场景被划分至4个场景价值象限中，分别为运营效率提升、客户体验提升、产品价值创新和业务流程重塑。运营效率提升象限，指面向企业内部用户，改善了现有业务流程的场景；通过生成式AI应用帮助企业IT、办公、营销、人财税法职能运营等部门实现降本增效的价值。客户体验提升象限，指面向企业外部用户，增强业务服务流程的场景。通过生成式AI应用提升了企业售前、售中、售后的全流程客户体验,。产品价值创新象限，指面向企业外部用户，颠覆了传统业务价值的场景，此类场景通过生成式AI重新定义企业服务客户的产品与服务模式。业务流程重塑象限，指面向企业内部用户，革新业务价值的场景。通过生成式AI应用彻底改造了企业研发、供应链、生产等核心价值链。生成式AI产业落地路径研究报告 07 2.四大场景象限 生成式AI将在各个行业、各个业务流程释放价值，这既包括现有业务流程增强所带来的收入增长或成本下降，也包含推动行业进化过程中带来的全新经济价值。以下，我们将对运营效率提升、客户体验提升、业务流程重塑、产品价值创新4大场景价值进行解析。3.运营效率提升 高效的执行力是企业核心竞争壁垒之一。生成式AI既是通用知识的百科专家，在学习行业和企业专有知识之后，也可以成为特定领域的专家。生成式AI的专家能力，通过智能助手辅助员工或者智能化自动执行业务流程完成落地，从而实现运营效率提升。首先，企业员工日常有大量文档撰写、图片素材制作、代码注释补齐等执行性工作。通过与模型的问答交互，员工可以获得文档、图像、代码等基础成果，在此之上进行调优可以提高工作效率。企业可以参考生成式AI应用场景矩阵，结合内部与外部业务流程，梳理与企业自身情况相关的生成式AI应用场景；我们也梳理了生成式AI在金融、教育、医学、出行等13个行业的百大落地应用场景图，供企业参考，挖掘更多可落地场景。完成场景梳理之后，企业可以从中遴选合适的场景优先试点落地。详见附录1文旅零售能源教育泛互地产物业运营商传媒政务出行医药金融生成式AI应用场景盘点运营效率提升运营效率提升产品价值创新运营效率提升客户体验提升业务流程重塑产品价值创新运营效率提升运营效率提升客户体验提升业务流程重塑产品价值创新运营效率提升业务流程重塑产品价值创新客户体验提升产品价值创新客户体验提升客户体验提升业务流程重塑金融APP开发运维管理产品需求挖掘智能投研智能尽调海报素材生成营销文案生成舆情监控个性化营销客群分析数据分析智能外呼智能推荐智能理财助手代码助手办公助手会议纪要（类似腾会）技术方案生成、测试用例生成营销文案生成经营数据分析企业内部知识平台数字人视频彩铃智能投顾智能投教智能客服金融产品创新设计交易策略优化持仓诊断分析宏观行情解读运营效率提升客户体验提升业务流程重塑智能调度销售助手代码助手员工培训助手虚拟展厅智能客服智能客服与产品咨询库存管理车辆制造优化智能用车助手智能行程规划政策咨询政策解读智能客服在线办事引导与辅助政务服务满意度调查数据分析与决策支持公共安全与应急响应营销海报生成营销文案生成客流数据分析文创产品设计数字导览员智能展品介绍景区服务咨询智能点位介绍旅行行程规划景区路线规划文创产品销售沉浸式文化体验数字人与大模型交互智能预问诊智能导诊助手医学知识问答助手用药/检查推荐心理疏导服务检查检验单解读用药助手随访科室推荐疾病诊断助手病例生成助手出院小结生成处方质量控制虚拟医药代表医药/医疗器械销售助手院务助手医学考试培训助手AI药物研发病例分析与辅助诊断药物安全性监测与预警文章摘要生成图片素材生成多模态内容检索内容合规审查稿件生成视频生成读书助手虚拟员工智能剪辑与合成虚拟角色与互动体验包装设计图生成营销海报素材生成营销文案生成商品运营数据分析客户洞察分析业务代表产品培训运营效率提升数字人解说数字人直播虚拟试衣间与个性化搭配建议智能库存管理物流供应链优化产品价值创新业务流程重塑制造业务流程重塑电力负荷预测智能材料设计产品价值创新能源设施故障预测与维护产品咨询客服个性化产品推荐系统智能售后服务与意见反馈处理客户体验提升社交角色扮演业务流程重塑沉浸式互动体验设计产品价值创新销售助手大模型物业管家智能前台智能客服供应链优化管理库存管理预测建筑运维决策客户体验提升客户体验提升销售助手IT运维、网络判障上屏推荐导购产品自动介绍产品自助使用助手智能售后与意见处理客户体验提升运营效率提升教学计划生成教案生成助手作业出题作业批改辅助编程文献阅读助手试题库标签分类招生营销助手数据分析心理咨询引导客户体验提升招生咨询助手校园行政问答教务助手学工助手就业/升学助手产品价值创新口语对话虚拟老师个性化学习路径规划虚拟实验室与模拟训练运营效率提升设备巡检维修知识助理产品设计助手智能排产智能需求分析与产品迭代生产数据分析知识管理平台客户体验提升产品咨询助手智能订单处理与跟踪智能故障诊断与预防业务流程重塑数智人直播新材料发现智能采购与库存管理物流路径优化AI审图建筑图纸生成数据分析知识管理员工行政助手房产经纪助手虚拟楼盘展示与体验产品价值创新业务流程重塑运营效率提升游戏建模（背景/道具等）音视频摘要代码辅助生成智能推荐自动化客户服务数据分析与预测用户行为分析运营效率提升运营效率提升检修助手电力调度知识库AI审图场站巡检煤矿安全预警内部知识学习平台客户体验提升营业厅数智人智能客服电网智能客服设备自动报修智能订单处理与跟踪智能故障诊断与预防公文撰写政策分析舆情分析政务信息自动化处理生成式AI百大应用场景生成式AI产业落地路径研究报告 08 其次，企业业务流程和产品往往会积累大量知识文档，但是这类知识数据往往十分冗杂，企业无法高效使用。基于企业积累的知识文档、知识库等非结构化数据，生成式AI可以实现自然语言交互的知识问答智能助手。员工可以通过问答形式迅速在知识数据中获取自己需要的信息，释放企业数据价值，从而提升运营效率。最后，企业运营流程涉及多个部门与岗位，流程节点数量众多。任何一个节点执行效率低下，都会导致整个流程延迟。生成式AI的Agent能力可以基于目标自动拆解工作任务、并自动完成，从而使得业务流程无需依托流程节点的人工执行，以实现效率提升。随着生成式AI渗透到企业端到端业务流程之后，甚至将系统性实现运营效率的跃迁。以下，我们以生成式AI在金融行业的落地场景为例进行说明。在IT业务流程中，金融机构信息化程度较高，研发实力雄厚，面向客户的APP应用以IT自研为主。生成式AI可以辅助IT技术人员自动完成代码补全工作，从而提高了金融机构对客APP的研发迭代速度。在办公业务流程中，生成式AI打造的办公助手可以在会议结束之后自动生成会议纪要。金融行业的专业术语众多，基于行业大模型的生成式AI均可以理解并准确生成会议纪要，将员工从繁杂的流程化工作中释放出来，提升会议待办工作执行的效率。（生成式AI应用场景渗透金融业务流程）生成式AI应用场景渗透金融业务流程生成式AI应用场景代码助手办公管理个性化营销数据分析企业内部流程IT办公营销运营(法务&人事&财务&行政)生成式AI产业落地路径研究报告 09 4.客户体验提升 客户体验是企业持续抢占市场份额的重要抓手，生成式AI在客户服务应用场景拥有回复个性化、支持文本图像交互等优势。生成式AI贯穿售前、售中、售后的客户交互服务全流程，全面提升客户体验。首先，生成式AI大幅改善了客服机器人的回复效果。生成式AI具备通识能力，与客户交互的边界逐步向开放域扩展，而且可以基于不同客户的上下文生成个性化回复，打破了模式化固定回复的限制。而且生成式AI具备文本、图像、视频等多模态能力，可以支持客户上传照片等方式进行交互。其次，生成式AI打造的机器人不光适用于售后客服场景，在客户旅程中还可以参与至顾问咨询、销售等多个客户交互流程中。生成式AI通过学习产品说明书、金牌销售话术等文档，在产品咨询、产品选型建议等售前和售中场景也在渗透。随着生成式AI在客户交互流程中渗透的增强，企业不仅改善了单一客户体验，也实现了全渠道客户体验一致。以下，我们以生成式AI在医疗行业的落地场景为例进行说明。在营销业务流程中，客户经理面对的金融产品数量众多，每款产品的介绍方案也很复杂，需要消耗大量时间学习理解。生成式AI可以通过知识库问答，迅速解答客户经理对于产品的疑问，并且协助客户经理生成个性化产品介绍方案。在运营业务流程中，金融机构需要定期向监管机构报送经营数据与财务分析报告。生成式AI可以辅助财务人员快速获取所需的分析数据，并自动化生成分析报告。针对异常指标，生成式AI通过对话式交互，可以快速下钻分析定位原因。（生成式AI应用场景渗透医疗服务流程）生成式AI应用场景渗透医疗服务流程生成式AI应用场景智能导诊检查报告自动生成智能随访复诊外部用户体验诊前（售前）诊中（售中）诊后（售后）生成式AI产业落地路径研究报告 10 在诊前环节，患者经常会遇到挂错诊室、医生不匹配、候诊时间长等体验不佳的问题。生成式AI支持的机器人，可以通过意图识别、智能追问等多轮交互协助患者获悉对症的就诊科室，并完成预约挂号。而且，生成式AI还可以基于患者疾病类别与缓急、医生擅长疾病与级别，进行精准医生推荐，方便患者匹配合适的医生。在诊中环节，患者面对检查检验报告往往一头雾水，只能在与医生交流过程中详细垂询。生成式AI可以通过医疗辅助诊断，自动生成辅助诊断报告，在帮助医生提升检查效率的同时，也帮助患者加深病情了解。在诊后环节，患者缺少与医生交互的通路，用药过程中可能存在用法用量、用药禁忌等疑惑。生成式AI可以弥补诊后的医生空缺，随时与患者保持交流，用口语化方式解答用药疑惑、提醒用药，持续关心患者。5.产品价值创新 每一次技术范式的变革，都将涌现出新的产品服务形式，为客户提供全新的产品价值。生成式AI无疑是企业认定的新技术范式。相比传统AI，生成式AI在需要创造力的创新类任务以及需要决策的专家经验类任务中表现大幅提升。因此，通过生成式AI，企业有机会打造新一代应用，创造全新的AI驱动产品与服务。例如在教育行业，个性化教学、因材施教一直是教育领域的追求目标，但受限于师资资源，个性化教学更多是通过学生分组教学的方式实现，并非针对每位学生因材施教。基于生成式AI的交互和创造能力，个性化AI教学助手可以在教学、练习、考试全流程中与学生完成互动，并不断基于学生知识盲点进行有针对性的教学强化。6.业务流程重塑 传统AI技术在研发、生产、供应链等企业核心价值链一直难以渗透发挥价值，主要难点在于传统AI无法理解如此复杂的业务逻辑。生成式AI拥有超强的知识汲取、分析以及生成能力，通过对企业内部数据的海量学习，以及业务流程运行过程中的持续迭代，有机会创造出超越传统专家经验的新模式。基于生成式AI，企业有望革新传统价值链，创造全新的业务流程。生成式AI产业落地路径研究报告 11 例如在医药研发企业的药物分子筛选场景下，研发人员需要进行大量分子实验，进而筛选出有效的分子。基于生成式AI，研发人员可以构建更为准确的分子筛选标准，从而缩减分子实验规模，缩短药物研发周期。(二)腾讯云、Gartner联合推出生成式AI应用落地路线图 在完成应用场景规划之后，企业下一步将步入生成式AI应用建设实施阶段。但当前市场上缺乏生成式AI应用建设方法论，企业在落地路线选择、落地路线评估维度、模型服务商分工协作等方面亟需方法指引。为此，基于Gartner研究报告，腾讯云推出生成式AI应用落地路线图，以期助力企业遴选到适合自身情况的落地路线，规避建设风险、提高落地成功率。生成式AI应用落地路线分为3条。根据落地复杂程度由简单到复杂依次别为，标准软件路线、标准模型能力增强路线和定制化模型精调训练路线。标准软件路线落地最为简单，企业直接采购开箱即用的软件完成落地。标准模型能力增强路线落地复杂度中等，企业需要参与提示词工程等环节来增强模型能力，优化模型输出结果的。定制化模型精调训练路线落地最复杂，企业需要完成二次模型训练工作。在3条路线中，复杂度越低的路线，企业在落地过程中技术采购（Buy）占比越大；复杂度越高的路线，企业在落地过程中技术自建（Build）比例越高。生成式AI应用落地三大路线生成式AI产业落地路径研究报告 12 为了帮助企业更好的根据自身情况和项目需求选择适合的落地路线，我们从评估维度和分工协作两个方面对每条路线进行解析，并对应提供差异化的腾讯云生成式AI产品方案。1.评估维度 评估维度，是指企业选择生成式AI应用落地路线时应当考量的6个维度，分别为知识数据、开发投入、数据安全、输出内容控制、项目预算和算力资源。知识数据指企业评估应用建设需准备的行业或者企业专属数据。企业面临基础模型对于业务场景理解程度不及预期的问题，因此需要评估场景应用对行业/企业知识数据的要求。在场景落地过程中，基础模型在通用程度高的业务场景下有较好结果，但是往往在垂类行业场景下的效果差强人意；对于企业或者行业属性强的场景，基础模型需要补充专属数据以理解业务逻辑。行业/企业专属知识数据可以通过提示词工程、精调训练等不同方式改善模型输出结果。开发投入，是指企业评估应用建设所需的技术研发人员投入。生成式AI应用建设时，企业面临研发人力资源投入不足以及技术栈短板等问题，因此需要评估场景所需的研发人力资源投入。开发投入分为开发工程师与算法工程师，开发工程师为应用负责，算法工程师为模型负责 数据安全要求，是指企业评估数据隐私与数据合规潜在风险。生成式AI应用存在信息泄露风险，企业需要将数据进行脱敏处理，降低个人身份的可识别性。而且，对于敏感数据，企业还需制定严格的访问控制策略，授权人员方可访问。模型精调过程中也存在训练数据未合规销毁问题，企业需要建立完善的数据治理规范，确保训练过程中数据合规。输出内容质量控制，是指企业评估模型输出的准确性、一致性和合规性要求。生成式AI应用落地过程中，企业需要解决模型幻觉问题，以保证模型输出的准确度。同时，大模型面对同一问题，可能会生成不同的答案，企业面临如何保持问题回复一致性的问题。此外，大模型输出的内容要避免涉及敏感信息、知识产权等法律合规问题。项目预算，是指企业评估场景落地所需资金投入。应用落地时，企业面临投入产出比（ROI）计量的问题，合理的项目预算评估是ROI计算的前提。评估项目预算时，企业需要考虑模型开发、应用开发、应用集成等开发类预算，硬件等基础设施类预算，数据采集与治理等数据类预算，合规类预算以及安全类预算等诸多角度。生成式AI产业落地路径研究报告 13 算力资源，是指企业评估模型训练与推理使用的GPU资源。GPU资源是企业落地生成式AI应用时的一大掣肘。对于GPU资源配置的要求，模型训练与推理两个环节差异明显。训练所需算力资源的配置远高于推理，企业需要进行合理的资源评估。在训练环节，GPU内存需求、批处理大小设置等会影响资源投入。在推理环节，并发量、模型参数规模、延迟要求等会影响资源评估。2.分工协作 落地路线第二部分是分工协作，指应用建设涉及的基础模型构建、模型精调训练、提示工程与检索增强生成、应用开发4个层面职责，在企业与模型服务商之间的工作划分与配合。基础模型构建，是指以无监督机器学习方式，通过海量数据集构建预训练模型的职责。在构建基础模型时，训练数据准备、训练方法、算力储备是3个核心工作。训练数据，需要以海量互联网数据集为基础，包含文本、图像、音频等多模态信息。训练方法，通常采用无监督学习，使得模型自动发现数据中的模式、结构和关联关系。训练方法还会加入基于人类反馈的强化学习（Reinforcement Learning from Human Feedback，RLHF），将人类反馈映射为奖励嵌入模型训练，以持续提高模型输出质量。算力储备，模型每训练升级一次需要投入大量高性能GPU卡时。模型精调训练，是指通过有监督机器学习，将高质量的知识数据训练集注入基础模型的职责。精调可以提升模型在特定任务上的性能，使模型更适应特定领域、任务或应用场景，输出更准确的结果。精调过程中，训练数据的准备与增强、模型参数微调、持续迭代是核心工作职责。精调所需的训练数据，必须经过人工标注，而且可以通过数据增强生成更多训练样本。参数微调涉及模型架构的调整，需要对基础模型进行层级解剖，以确定哪些层需要精调，哪些层保持固定。精调往往是一个长期持续性工作，在不断调整精调策略的过程中逐步改善模型输出质量。提示工程与检索增强生成，是指通过提示词工程（Prompt Engineering）设计和引导模型输入，在不改变基础模型参数的同时，解决模型幻觉、模型知识更新及时性等一系列问题。提示词需要根据特定任务进行设计和迭代。提示词设计可以由多种不同关键词、语法组合形成策略，以适配不同使用场景。检索增强生成（Retrieval Augmented Generation，RAG）是提示词工程的一种重要形式。通过将检索的知识库信息引入到模型输入，模型输出的知识实时性、结果质量均有明显改善。生成式AI产业落地路径研究报告 14 应用开发，是指面向终端用户（End User）的应用建设职责，以解决企业应用的定制化需求，保证应用可以适配企业业务流程。应用建设需要企业的业务需求方深度参与，以更好的确定应用待解决的问题与目标。3.产品方案 落地路线第三部分是产品方案，指腾讯云为不同落地路线所设计的产品组合方案。产品方案由AI Apps、AI Engineering、AI Infra3层及模型、安全构成。AI Apps 暨人工智能应用程序，是指主要使用生成式人工智能模型来执行任务的软件应用程序。这包括聚焦行业和功能的应用程序。AI Engineering 暨人工智能工程，是指使企业能够操作生成式人工智能模型的工具，包括以模型和数据为中心的工具。AI Infra 暨人工智能基础设施，是指可用于构建生成式人工智能应用程序的基础设施组件，如计算、网络和存储组件。模型，既包括生成式人工智能基础模型（如大语言模型），也包括针对特定行业或用例的特定领域的模型。安全，是指企业在建设生成式AI过程中面临的数据隐私保护相关的AI本体安全（AI safety）、开发/运营/部署流程中安全防护相关的AI应用安全（security for AI）和AI内容审核相关的AI衍生安全。企业可以基于自身场景需求，参考评估维度、分工协作对自身需求进行评估分析，明确符合自身特点的落地路线，最终选择腾讯云提供的差异化产品方案来落地生成式AI应用。生成式AI产业落地路径研究报告 15(三)落地路线解读 1.标准软件落地路线 标准软件落地路线，是指企业直接采购基于生成式AI模型能力增强的成熟应用软件。该落地路线下，生成式AI内嵌于应用之中，企业可以开箱即用。比如，在将生成式AI内置于HR SaaS软件，实现以智能问答的交互形式服务员工。在评估标准软件落地路线对应的场景时，场景需求呈现出应用成熟、通用程度高、安全要求高等特点。首先，此落地路线应用成熟度高，采购的是标准软件。因此，开发投入、项目预算、算力资源等评估维度对于企业要求低。其次，标准软件适合的场景可以跨职能部门、跨行业，通用程度高，因此对于组织/垂直知识数据、输出内容质量控制等评估维度要求也属于低。最后，该路线下的应用多搭载于公有云之上，因此企业会非常在意数据与应用本身的安全防护，场景评估时数据安全要求高。选择标准软件落地路线时，企业与模型服务商在分工协作中，以模型服务商为主导。模型服务商以提供开箱即用的应用为导向，全权负责从底层基础模型到上层应用建设的全部职责。该落地路线下，腾讯云提供一系列成熟的AI Apps产品方案。一类AI Apps是生成式AI增强的成熟软件，另一类AI Apps是在成熟软件中增加智能助手入口，用户可以随时唤醒助手辅助工作 标准软件落地路线优势在于，既有系统改造成本低、投入预算低且可以持续升级迭代。由于直接使用成熟应用，企业只需要将应用与相关业务系统接口进行打通即可，现有工作流程、业务系统均无需调整，因此系统改造成本低。同时，公有云上的应用无需部署成本，软件采购或基于用量或基于账号量，预算投入低。另一个采购公有云应用的优势在于，应用可以即时更新，企业可以随时享受到最新的技术红利。标准软件落地路线的劣势在于，模型能力不全面和无法定制化扩展功能。第一，该路线使用的模型由公开数据训练，没有针对垂直行业/企业专属业务需求定制化调优，在面对部分垂类业务问题时可能性能与预期有一定差距。第二，标准软件不支持定制化开发，面对企业内部复杂的业务流程时，无法与业务深度融合。这导致企业难以将标准软件与内部流程无缝整合，限制了在应对特定业务需求时的灵活性。生成式AI产业落地路径研究报告 16 针对标准软件落地路线，建议企业在代码生成、会议纪要等通用程度高的场景采用该路线。这此类场景在各行业的需求通用度较高，一般不具有行业差异性，使用标准软件即可满足用户需求。标准软件通常具有较好的稳定性和可靠性，无需进行定制化开发，支持开箱即用快速落地，可以帮助企业高性价比快速落地生成式AI应用。2.标准模型能力增强落地路线 标准模型能力增强路线，是指通过提示词设计、检索增强生成等提示词工程，增强基础模型输出的准确性、知识实时性。检索增强生成可以通过加载组织/垂直知识数据，改善模型输入的提示词准确性。值得一提的是，该路线实施时，会将生成式AI模型能力封装为API服务接口，企业将API嵌入自研应用软件增强智能化水平，或是基于API创建定制化的全新智能应用。该落地路线对应的场景进行评估时，场景需求具有私域知识引入、研发资源与预算投入适中、算力资源投入低、数据安全要求高等特点。首先，基础模型无法充分理解企业内部业务场景、且无法回答实时更新的业务知识，需要引入行业或者企业私域知识以弥补基础模型能力欠缺。因此，输出内容质量控制和组织/垂直知识数据两个评估维度属于中等要求。其次，该落地路线下企业既需要建设API服务接口，也需要定制化开发应用软件，因此开发投入和项目预算两个评估维度较标准软件落地路线有所提高，属于中等要求。再次，该落地路线中的检索增强与提示工程不涉及模型参数的调整，无需模型训练算力投入，只需企业为模型推理提供算力支持，因此算力资源要求依然低。最后，由于引入企业私域数据，在提示词使用过程中有隐私数据泄露风险，数据安全评估维度保持在高要求水准。选择标准模型能力增强落地路线，企业和模型服务商分工协作各有侧重点。模型服务商参与所有4个环节工作，由于模型参数无需调整，模型服务商的工作职责重点在于基础模型和模型精调。企业深度参与至数据检索与提示工程、应用建设两个环节，以解决API服务接口和应用软件的定制化需求。根据企业在数据检索与提示工程环节的参与程度，标准模型能力增强落地路线可以继续细分为三条子路线。第一条子路线，企业可以使用腾讯云封装好的标准模型API，或者使用腾讯云的aPaaS平台，加入企业专属数据，通过RAG（检索增强生产）等提示工程技术形成经过能力增强的专属API。此路线中模型能力增强的工作由腾讯云主导完成，企业直接使用API即可。生成式AI产业落地路径研究报告 17 第二条子路线，企业使用腾讯云机器学习平台和向量数据库产品，自行构建API服务接口的检索增强。企业使用腾讯云提供向量数据库构建企业专属向量知识库，实现对数据检索速度和效率的哟花，并使用腾讯云机器学习平台完成模型推理服务部署。第三条子路线，企业独立建设机器学习平台和向量数据库的框架，并完成API服务接口的检索增强。相比第二条子路线，企业需要自行使用函数、容器等服务自行完成模型推理环境的搭建，此子路线更适合IT开发能力强、有自主构建开发中台需求的企业。企业可以基于开发投入这一评估维度，进一步选择适合自身情况的子路线。企业算法工程师团队尚在建立早期时，检索增强等工程能力可能存在技术短板，建议选择第一条子路线。企业算法工程师团队完善，但云原生技术团队存在技术短板时，建议选择第二条子路线。企业自研实力强，算法和云原生技术资源储备完善时，建议选择第三条子路线。在标准模型能力增强落地路线下，腾讯云提供AI Apps和AI Engineering组合形成的产品方案。AI Apps主要以模型服务的方式提供。AI Engineering分为云原生平台（如容器）、数据平台（如向量数据库）、AI开发平台（如机器学习平台）和应用开发平台（如DevOps）。标准模型能力增强落地路线优势在于，低成本改善模型输出效果，以及生成式AI应用定制化能力增强。在改善模型输出层面，企业无需支付高昂的算力资源和预算改造基础模型，通过较低成本的提示工程和检索增强，就可以实现知识输出实时性和模型准确率提高，一定程度缓解了模型幻觉带来的困扰。在定制化能力增强方面，企业可以将生成式AI封装的API服务接口嵌入自研应用，使得符合企业定制化需求的自研应用得以增强；企业也可以基于API服务接口创建全新的自定义应用，同样使得定制化需求得以满足。标准模型能力增强落地路线劣势在于场景适应性受限和响应延迟。首先，该路线并没有改进模型本身的能力结构，只是通过提示词工程补充了知识、调优了输出。因此，场景发生变化时，需要重新启动提示词工程，使用场景有局限性。其次，检索增强是模型输出前额外增加的执行步骤，可能会导致模型输出的响应时间增加，进而影响终端用户的使用体验。针对标准模型能力增强落地路线，建议企业在知识助手类场景采纳。生成式AI为各个岗位带来了人效提升的机会，知识助手通过问答形式为每位员工提供赋能。而且，检索增强加载的生成式AI产业落地路径研究报告 18知识库可以实现每位员工的个性化，员工的个人经验可以持续沉淀在知识助手上，进而为公司整体经验提升奠定基础。3.定制化模型精调训练落地路线 定制化模型精调训练落地路线，是指基于基础模型，企业通过私域数据集进行模型训练，以实现企业专属大模型的建设。企业专属大模型改变了基础模型参数，并且在特定任务上表现出来的性能和在企业知识的深度理解两方面得以增强。该落地路线对应的场景进行评估时，需求呈现出需求高度定制化、资源和预算投入高等特点。首先，企业精调模型是因为基础模型在特定任务能力上存在短板，需要在模型底层进行改变以大幅改善输出结果。对应的企业需要有针对性的进行专属训练数据集准备和遴选，输出结果的控制也完全以企业自身需求为准绳。因此，输出内容质量控制、组织/垂直知识数据、数据安全要求等评估维度要求很高。其次，企业精调模型需要整建制的算法工程师团队、完全定制化的模型训练和应用开发，因此开发投入和项目预算也很高。同时，模型精调需要投入GPU资源完成训练任务，消耗的算力资源同样很高。该落地路线在分工协作层面，以企业为主导角色，模型服务商扮演辅助角色。除了基础模型由服务商提供，模型精调、数据检索与提示工程、应用建设等环节企业均处于核心主导地位。在此过程中，企业生成式AI技术自研能力得以大幅提升。模型服务商聚焦于基础模型的迭代升级，重点为企业进行模型精调训练提供算力和工具服务。相应的，该落地路线下，腾讯云提供AI Infra与AI Engineering产品组合方案。AI Infra涵盖计算资源、软件加速、硬件创新等产品集合。基础模型精调耗费大量算力资源，因此内置硬件和软件加速产品的异构计算平台，可以协助企业提高GPU资源使用率、加快模型精调速度。AI Engineering包括AI训练工具平台和数据检索与提示工程开发工具链。基础模型精调需要持续迭代，因此操作简单的训练工具平台至关重要。定制化模型精调训练落地路线优势在于，模型输出准确度有保障，以及提高了企业在行业中的竞争壁垒。由于模型精调完全针对企业个性化需求，输入的训练集准确度高，使得模型输出的准确性也极高。而且，企业在该落地路线中处于主导地位，对于专属大模型的技术控制力强，为产品创新和业务重塑带来无限可能。企业专属大模型可能成为超越对手的有力竞争武器。生成式AI产业落地路径研究报告 19 定制化模型精调训练落地路线