工业大模型技术应用与发展报告.pdf

工业大模型技术应用与发展报告1.02023.12编写单位（排名不分先后）牵头编写单位：中国信息通信研究院参与编写单位：中科云谷科技有限公司浪潮集团有限公司中科视语科技有限公司苏州海赛人工智能有限公司北京通用AI研究院树根互联股份有限公司华为技术有限公司IBM（国际商业机器（中国）有限公司）美云智数科技有限公司中科斯欧(合肥)科技股份有限公司百度在线网络技术（北京）有限公司羚羊工业互联网股份有限公司创新奇智科技集团股份有限公司智昌科技集团股份有限公司中国科学院自动化研究所中工互联北京科技集团有限公司西门子股份公司航天云网科技发展有限责任公司威派格智慧水务股份有限公司卡奥斯COSMOPlat阿里云计算有限公司腾讯计算机系统有限公司人工智能的几个相关概念人工智能机器学习深度学习通用人工智能（AGI）生成式AI：能够生成文本、图片、视频等内容的智能技术，大模型为其提供了新的技术手段早期GAN用于内容生成效果有限，如NLP逐词生成大模型拓展了生成能力，如实现多领域多风格图像/文本生成通用人工智能：AI终极发展目标，具备认知、理解、推理、学习、创造和社会协作等能力大模型具备学习、生成等能力，但还缺少完备的推理、认知能力大模型：即基础模型，在海量数据和计算资源的基础上通过预先训练出来的，具有大参数规模的深度学习模型狭义多指大语言模型，广义还包括CV、多模态等各种模型类型技术场景模型结构目标使命大规模预训练模型生成式AI（AIGC）GPTGPT：生成式预训练模型，大模型的一种类型，可生成内容ChatGPT是GPT的一个典型产品细分模型1.1 大模型成为通用AI新范式，引发工业应用变革讨论干亿参数基础模型GPT-1:1.17亿GPT-2:15亿GPT-3:1750亿GPT=4：1.48万亿.TB级数据超3000亿单词830GB代码数据1000个外包团队标注E级智能超算总算力超195PFlops我国最快超算“神威太湖之光”1.7倍AI产品渗透速度全球排名第2引发产业领域应用的热烈讨论与憧憬大模型+大数据+大算力成为发展主旋律(ChatGPT)热门应用用户破亿所需时间ChatGPTTikTok微信App Store短视频社交即时通讯应用程序商店2年1.2年9个月2个月Threads5天产业应用场景成为大模型最佳“练兵场”科技日报AI大模型落地背后，正带来一场智能制造的系统重构百度工业大模型将会带来一场新的工业革命，它将来会成为工业领域的基础设施中工互联制造业是AI大模型的重要战场，未来10年最大的机会阿里1.2 工业大模型与专用小模型成为工业AI发展的两条协同路径 Transformer为基础框架 在大量通用数据上进行预先训练，以实现良好的通用性 模型参数一般达十亿以上（最大模型参数已达万亿级）1满足大模型技术基本特征2具备在工业各环节进行应用的能力，或与工业装备软件等融合赋能工业大模型=工业+大模型工业大模型Transformer结构工业专用小模型传统模型结构 模型更新快：参数量少，可进行快速迭代 轻量化部署：所需存储空间和算力更小 新场景：代码生成、CAD生成等新应用 泛化性强：单模型应对多任务，更适合长尾落地 低成本运维：低成本开发+维护应用层面工程层面 特定任务：点状场景应用效果更好1.3 大模型初步形成赋能工业的核心方式与产品形态3类主要赋能方式当前(可用于)工业领域大模型超30个4类模型产品形态基于通用底座直接赋能行业ChatGPTYonGPT制造、矿山等行业大模型航天、能源等行业大模型式说大模型星火大模型3D打印GPTPLC编程基于通用底座进行场景化适配调优或形成外挂插件工具大模型API调用或软件方案成熟工业产品叠加基础模型能力外挂插件工具用于私有化部署的一体机工业管理软件企业Authentise推出插件，用户可查询最大的增材制造知识库浙大开发用于表格处理的TableGPT倍福将大模型融入 TwinCAT XAE客户端，实现基于对话辅助编程基于ChatGPT直接开展智能客服等应用科大讯飞推出星火一体机Einstein GPT面向工业或具体任务针对性开发科学大模型ESMFoldUni-MolAlphaFold22.1 大模型赋能工业领域的适用边界与核心能力 语言理解 生成创作 识别/模拟/预测 多模态核心能力工业领域应用变革规则式生成 工业代码/图文内容的”涌现式”生成局部建模预测 基于全局信息高效高精度预测优化预置型对话 与设备/工业系统的自然交互与推理适用问题：大模型并非万金油大场景大语料 工业场景具备一定通用性 涉及关联复杂的智能任务 数据边界对决策效果有直接影响 工业场景的基础数据/语料/规则约束充足 结果存在于封闭信息环境，不依赖语料外的信息单一格式工业数据处理 多格式数据综合转换分析问题边界清晰2.2 应用总体视图：4类核心模型、15+应用场景，目前处于初步探索阶段 工业各环节围绕语言、专用、多模态和视觉四类大模型开展探索 当前以大语言模型为主，4类模型应用占比：75%、15%、8%和2%通用模型的场景化适配调优是主要部署方式，问答交互为主要应用模式最具变革潜力率先切入率先切入*信通院统计的全球79个大模型工业应用案例部署方式应用模式75%8%15%2%语言大模型视觉大模型多模态大模型专用大模型2.2（1）大语言模型：主要应用于工业问答交互、内容生成，以提升任务处理效率为主，暂未触及工业核心环节工业代码西门子：与微软合作，基于GPT开发代码生成工具，可通过NLP输入生成PLC代码C3：通过自然语言对话，以文字+统计图完成业务指标的分析和洞察BACANCY：基于RPA+GPT实现自动邮件回复等功能有望形成具有认知智能的数字员工及超级自动化链路，实现从需求理解到规划、自动化执行及结果交付的全链条能力工业代码生成：基于输入文本实现PLC代码生成与辅助编程研发生产设备设备控制与维保助手：从基于对话实现设备指令识别与维保知识获取工业相关性高低管理通用文档生成：基于输入文本实现设计方案、报告与邮件编写工业文档外挂与快速检索：实现设备诊断、知识查询、员工培训、设计合规检查工业管理助手：实现BI数据查询与图表绘制内容生成问答交互问答交互:应用相对广泛，行业与设备的(半)开放数据是主要语料内容生成：已能实现通用内容和PLC基本控制逻辑代码的生成通用内容管理助手检索助手中工互联：基于智工大模型实现跨行业、跨领域和跨岗位工业专用知识检索罗克韦尔：将数字孪生与AIGC相结合，实现设备状态以及设备故障原因咨询运维助手8%68%24%3%74%2%21%2.2（2）专业任务大模型：围绕研发形成辅助设计、药物研发两个重点方向，进一步增强研发模式的创新能力DeepMind：基于图像或文本进行2D-CAD草图构建，受样本数量+生成规范的限制，仅个别企业开展验证性探索需求导向的辅助设计药物/材料研发突破研发设备、生产、管理智能辅助设计：自动生成大量符合需求的设计，并与既有零组件及加工能力结合优化高效研发：整合基因库/结构库，加速材料发现、药物分子结构发现、性能预测效率工业相关性高低面向工业设计、蛋白质结构预测及药物研发创新等场景，扩展创新边界、降低创新成本与时间格式转换知识发现智能辅助设计:基于图像或文本进行2D-CAD草图构建药物材料研发:聚焦蛋白质/药物的性质、结构与匹配能力的预测优化基于470万CAD草图数据训练每个CAD草图对应构建草图生成规范29%13%10%77%71%Meta：ESMFold模型能够基于序列输入，实现蛋白质结构和序列的预测，模型参数已达150亿，仅2周完成包含罕见物质的6亿+蛋白结构预测华为华为：盘古药物分子大模型，能够基于图结构药物分子输入，实现高效的药物分子生成和药物分子定向优化，生成1亿药物分子，新颖性达99.68%2.2（3）多模态大模型与视觉大模型：在装备智能化和视觉识别领域应用获得初步尝试谷歌：RT-2基于视觉-动作-语言大模型，利用网络图片文字数据训练，在陌生情景执行率达到 62%设备诊断：多模态大模型+外挂知识库，对异常图像、故障机理等进行融合分析，提升复杂异常识别精度研发设备管理具身智能复杂环境虚拟训练与交互：基于视觉-语言-动作大模型识别当前环境自动生成控制指令，增强机器人复杂任务执行能力工业相关性高低问答交互综合应用设备诊断:基于对话，实现颜色、形状、数量等复杂异常的详细描述具身智能:指令理解+感知环境信息+虚拟化方式训练，自动生成机器人动作规划路径哈工大：利用语言视觉大模型根据图像进行工业异常检测，并输出高质量特征描述斯坦福：基于视觉语言模型，驱动机器人在虚拟空间生成规划路线生产缺陷检测/设备巡检：基于视觉大模型替代原有小模型，实现单模型多视觉任务多场景赋能通用识别多模态大模型视觉大模型国家电网：电力大模型每分钟处理100张异常图像、同时识别20类缺陷，识别效率是传统AI算法的10倍10%17%73%14%7%38%41%视觉大模型：在有限数据前提下增强单个AI质检/巡检模型的能力，降低开发门槛与成本多模态大模型：工业异常检测与机器人领域实现初步应用，通过多类型数据处理强化综合认知水平视觉大模型多模态大模型结合视频、语义、执行等多类型数据综合分析，有望构建认知能力的装备、系统方案及智能工厂3 技术体系：大模型是工业AI深度学习路径的深化与拓展算法技术工业适配应用技术基础支撑数据科学机器学习 深度网络探索技术人机&类脑工业场景与应用适配技术数据可用（小样本）、可解释性、模型效率知识工程专家系统 知识图谱其他学习方式机器视觉、NLP、语音识别AI应用技术的工业领域迁移大模型部署工业数据/语料算力(工业)大模型通用AI框架平台基础模型核心理论TransformerCV、语言、专用大模型.12456硬件、数据定义大模型能力极限，高质量工业数据成为大模型从能用到好用的有效途径专用大模型有望成为赋能行业主力军大模型与知识工程等固有技术融合成为工业应用探索方向通过场景适配和多种形式部署调用，实现工业大模型落地赋能33.1 算力：端/边缘侧推理的大模型专用计算有望成为未来趋势工业边端侧推理需满足工业应用及峰值QPS等需求大模型训练推理算力需求相对可控12工业算力智能分配可能成为关键3爱 芯 元 智-AX650N芯片，可达361 FPS 百亿参数大模型，使用1张英伟达A100GPU进行推理，每秒生成的token数大约为60 已有大模型一体机及端侧优化芯片，实现推理加速 云端大算力和终端小算力的平衡使算力分配和性能达到最优二次训练联合华为发布星火一体机，提供2.5P算力模型精度训练显存微调显存（LORA）推理显存float32(全)14G5G4GFP167G2.4G2Gint83.5G1.2G1Gint41.8G0.6G0.5G大模型每10亿参数（1G模型文件）所需最低显存需求西工大：基于大模型的多设备协同，采用云端统一控制，需求为单卡4090专业任务/多模态语言大模型视觉大模型3.2 数据：海量高质工业数据/语料库将成为落地部署的关键要素预训练（行业级）基础数据微调（场景级）任务数据应用Prompt语料某模型A：100W+工业图像某模型A：1000-10000，部分简单场景数百张某模型A：40TB 中文文本RT-2：13 个机器人在办公室等环境中收集的17 个月数据盘古科学计算大模型：17亿个化合物分子的类药化学空间Meta-ESMFold：1.25亿蛋白质分子结构数据十万级某模型B：2000个左右工业问答对千张级千级问答对语料模型效果与数据量强相关，通常需亿级以上规模数据集几类核心提示语料库二次训练任务数据工业数据在所有数据的占比约10-15%对数据配比要求较高工业问答检索提示词工业内容/规划生成提示词控制指令提示词设备控制场景：通过function+prompt将语言指令和action映射问答场景：X查询内容-X回复格式分析规划场景：X目标-X语言-X生成格式3.3 工具链+模型：低门槛开发和轻量化部署成为工业大模型探索重点各主体围绕大模型开发到部署全流程工具链，多推理后端兼容、半自动微调成为重点知识蒸馏成为模型层面降低工业部署应用成本的探索途径知识传递小模型-1小模型-2大模型需兼顾减轻模型体量、维持性能衰减，较具数学挑战性2个主流路径，工业领域以跟随应用为主模型压缩模型增强在相同的带标签数据集上指导子模型训练，形成高效小规模网络利用其它数据资源或优化策略(相互学习等)提高子模型性能对开源大模型进行蒸馏+预训练+指令微调，形成工业大模型AInno-15B（150亿参数）数据、算法要求较高，尚无工业实例 与多推理后端兼容，实现工业低成本迁移飞桨通过标准化部署接口，实现不同推理后端的零成本迁移兼容20余家芯片厂商硬件设备，实现云边端全场景协同 模型微调由手动向半自动化演进手动调参半自动化调参可视化界面参数设置模型性能观测人工调参模型性能观测无默认参数企业调参方式MakerSuite工具迭代prompt自动合成数据扩充数据集基于信息抽取能力，简化训练数据获取集成AIGC能力，基于自然语言实现调参3.4 基础模型：通用大模型的快速演进和专用大模型的能力升级专业任务大模型的数字支撑能力提升是主要方向，在药物创新发现与产品设计形成初步成果2、由一维序列、二维拓扑图转向三维表征的先进表征技术是探索方向深势科技发布Uni-Mol，直接将分子三维结构坐标信息作为模型输入输出1、依托大规模结构化专业数据嵌入表示能力，训练数据样本的全面性是提升模型性能核心基于序列数据开展优化，为现阶段主流基于分子特性开展探索，在领域93%数据集中表现最优机构细分方向大模型数据集大小Meta蛋白质结构预测等ESMFold UR50/D 1.25亿（1维）华为药物分子生成优化Pangu药物分子17亿（2维）深势科技分子性质预测等Uni-Mol多数据集混合2.09亿（3维）面向更多样数据类型、更强综合能力的大模型技术迭代创新，为工业领域应用创造更大前景1、时序数据大模型有望最大化利用海量工业设备与过程数据，赋能流程优化、设备诊断和异常识别2、多模态能力持续创新，加速实现工业图像几何、机理、文档等各类数据模型的综合感知和认知推理TimeGPT训练：超1000亿个时序数据点测试：超30万个时序数据集，开展时、日、周、月的预测评估GPT-4.5融合了处理3D模型和视频的能力3.5 大模型+工业知识图谱：大模型可能对通用知识图谱产生一定冲击，融合共生是发展趋势增强大模型事实验证能力，扩展专业知识范畴，提升可解释性知识图谱大模型赋能图谱赋能大模型训练前训练中训练后加速图谱构建到应用过程本体构建数据增强知识抽取与应用 使用大模型Prompt生成事件的本体 利用GPT生成标注数据/数据清洗，降低知识图谱标注端成本 基于GPT做信息抽取、图谱补全知识图谱直接文本化，作为预训练语料将知识图谱隐式地加入到模型训练，即将图谱中的结构化信息(三元组)融入预训练模型将知识图谱作为大模型训练评估知识图谱注入prompt/知识库外挂，增强结果可用性对大模型生成结果进行知识校验，增强事实性3.6 应用部署：三类核心部署方式，当前以通用模型场景化应用为主通用模型应用（公）通用模型场景化应用特定领域专用模型（私）无参数更新-Prompt设计参数更新微调（公/私）数据充足、专有性隐私性强，全部依赖领域语料1.通用场景2.场景公开语料充足药物研发、高性能材料研制适用领域典型场景应用案例 脸书-ESMFold：蛋白质结构预测，150亿参数 谷歌-PALM-E：基于机器人17个月数据的VLA模型 Salesforce-Einstein GPT：基于ChatGPT与自有数据，提高效率 华为-盘古行业大模型领域数据库领域大模型部署原理通用大模型工业大模型通用大模型API接口/插件微调/量化/蒸馏/增强.私有数据库研发辅助、生产优化数据相对充足，任务工业语料依赖性强通用大模型工业应用外挂知识库基于模式通用能力，结合工业领域知识信息代码生成、故障缺陷提取分析、企业培训设备控制、文档处理、邮件回复工业应用 百度-文心：上传设备故障文档，分析故障原因 SymphonyAI：外挂工业数据集，实现机器诊断 ChatGPT：可直接生成简单功能的西门子PLC程序外挂知识库（公/私）Prompt设计Prompt设计匹配/检索上下文学习/知识梳理训练模型结构设计4 产业体系：不同主体布局以及技术产品升级将大模型融入已有工业技术产品面向特定任务/领域的模型与轻量化工具模型技术和产品等前沿方向创新的引领者打通“通用底座+一站式开发+行业赋能”全链条打补丁能力推广前沿探索工具创新AI厂商工业技术服务商初创企业科研机构/科技巨头工业大模型产品方案工业产品融合行业/领域大模型基础大模型框架平台计算设施主体体系工业大模型部署一体机供应链物流、异物检测等场景大模型+药物分子、矿山等行业大模型语言、CV等基础大模型大模型全链路工具链与AI昇腾支撑内置大模型工业机器人奇智孔明工业大模型BI生成图表、知识问答等应用产品多模态机器人模型PALM-E、RT-2、RT-X大模型异构智能机器人协同大模型PLC代码、HMI生成文件审查、设备监控、操作问答工具大模型代码生成+检查代码4.1 大模型+装备：增强具身智能水平，有望提升工业设备灵活性和协同性原理输入输出控制指令模型视觉模型ViT大语言模型LLM任务信息（文字）机器人控制指令环境信息（图片）控制向量从桌子上拿篮球将桌子上信息表示为向量将任务信息转化为向量根据任务和环境生成指令执行控制指令与环境交互反馈，完成任务1.综合分析能力 综合视觉、语言、空间、理解、决策能力，从被动感知向主动认知跨越3.强泛化能力 对于陌生场景，无需针对性训练或模型微调，通过多步推理和知识迁移控制机器完成任务能力实例 在开放场景、柔性协同、环境恶劣的工业场景极具应用潜力2022.122023.32023.7RT-1首个Transformer机器人基于输入图像和简单文本指令执行动作PALM-E大语言模型+视觉模型将复杂指令任务分解后调用 RT-1执行动作RT-2视觉-语言-动作模型VLA实现大模型对机器人直接控制RT-3、RT-4、RT-5?多类别机器人适配 新任务/技能探索 新环境/对象感知理解 多机器人协同装配分拣、物流运输柔性生产2023.10RT-X通用机器人大模型+数据集RT-1-X+RT-2-X，特定任务效率提升3倍2.任务执行能力 无需控制代码预设，实现模型对机器人直接控制4.2 大模型+自动化：探索极为初步，距离实际应用还相对遥远需求分析与系统设计程序开发参数调整调试与集成 西门子：利用GPT-4开展非线性多因素PID控制算法整定，并完成某行业具体工况下的模拟验证基于大模型的控制参数整定已有实验性探索基于大模型实现简单控制代码生成，但当前语言匹配度和生成准确度仍有待提升包含控制逻辑、接口需求的复杂Prompt设计标准化的工业控制函数库构建大模型接收文档长度与模态限制生成代码工业场景测试与应用生成工业代码逻辑正确率64%，执行成功率39%能够准确生成计数器、定时器等标准算法，交通控制等控制代码，前馈、压力控制等流程代码基于多轮对话能够实现代码优化与错误修正倍福：将大模型融入 TwinCAT XAE客户端，实现基于对话辅助编程 ABB：通用大模型工业代码生成能力验证西门子：联合微软开发工业Copilot工具并将其集成于自身工程框架，通过语言交互实现自动化代码的快速生成、优化和调试 倍福、西门子：将大模型融入客户端，实现辅助编程能力现状面临挑战4.3 大模型+工业软件：从效率精度提升到应用开发模式重构人机交互、执行处理效率提升精度提升研发设计软件生产管控软件经营管理软件开发应用模式变革大模型融合程度数据积累规则行为积累模型能力增强（思维链）零代码开发 端到端执行复杂任务 集成式赋能查找交互效率模型查找、设计与仿真计算效率翻模精度统计分析、业务问答助手代码/图形化界面对话式交互界面3D BIM模型二维图纸匹配、预测、洞察水平精准数据洞察、市场营销人机交互效率基于语言的自动排产自动监控与统计生产数据分析水平质量控制生产数据深度分析自动生成中间步骤，替用户拆分并执行复杂工作工业软件需求到应用零代码化，开发周期由年月提升至天级形成整合所有工业数据知识资源、工具、人的智能交互引擎5 当前挑战应用局限性工业语料匮乏私有化成本高系统集成难机器视觉大模型如何应用于生产或开展模式创新还不清晰，且无法直接判断ROI机器换人，可解问题及ROI十分清晰ChatGPT训练数据集截止到2021年9月，无法回答训练数据以外的问题工业场景复杂，导致高质量工业语料难以收集，制约大模型性能私有化部署大模型的算力成本+人工较高，多数企业难以承担业务系统差异性导致工业大模型难以由统一口径集成系统数据十万级VS百万级国内AI企业私有化设备售价100-200W100张VS10000张+针对具体场景，小模型仅需百张图像即可完成训练，大模型微调可能需万张MESERPCRM工业大模型AI专用小模型成本工程化局限性场景选择难大模型的认知决策取决于历史训练数据，在解决动态工业问题的应用效果较差低时效性具备广博知识，但信息精确度低，制约工业核心环节/直接决策场景应用低可信度VS大模型效率提升收益较难量化计算模型幻觉 VS 工业场景容错率大模型准确率80%工业场景准确率需求99%+甚至100%展望：AI与大模型加速赋能新型工业化AI与工业融合展现强劲产业增长势头*数据来源：coresignal、VC、CB Insights2022-2032工业AI市场规模（亿美元）20.429.8103.7213.8445.1895.302004006008001000202220232026202820302032CAGR 46%AI及工业AI初创企业数量（个）*数据来源：marketresearchfuture、MMR02000400060008000100002020202120222023工业其它工业AI企业增长近五倍，CAGR 62%40178312301834工业人工智能探索日益活跃，存量优化+增量创新并行推进智能升级时间赋能工业程度工业视觉等生产外围应用基于深度优化+创新的知识发现2023产品表面质检安防巡检工控专家系统 工艺流程优化设备预测性维护智能供应链优化调度方案生成核心环节演进+数据初步分析创成式设计智能产品智能增值服务AI驱动药物材料研发具身智能设备面向研发和产品的价值创造存量优化-提效增量创新-增值“数据+机理”深度分析大模型提升交互、生成及研发创新能力，带来产业升级新动能