人工智能大模型工业应用准确性测评.pdf

人工智能大模型工业应用准确性测评 2024年3月版1一、前言2 为贯彻落实党中央国务院关于促进人工智能发展的决策部署，中国工业互联网研究院依托通用人工智能与工业融合创新中心（简称“中心”），联合香港科技大学、中国经济信息社，深入研究人工智能大模型在工业领域的应用性能、技术架构、标准体系，并在此基础上，形成本报告。结合工业企业大模型应用情况调研，本报告在原有工业知识问答准确性测评的基础上，新增数据分析、工程建模、文档生成、代码理解等四大场景，构建测试数据集，对国内外具有代表性的大模型进行测试，发布新一轮的准确性测评报告，供业界进行参考。本报告测评结果虽经中心专家委论证，但因大模型迭代速度快，技术复杂，囿于工作团队专业知识和能力，报告难免存在分析结论不足等问题，且测评结果仅适用于测试期间，欢迎大家批评指正。rQxPnQoMnNmPoRpOsOtQsNbRdNbRsQmMmOsOfQqQtQjMnPrM8OnMnNvPmPmNvPrRoM 2023年初至今，大模型技术发展突飞猛进，已逐步渗透至工业领域诸多环节，涵盖了知识问答、工程建模、数据分析、文档生成、代码理解等场景，正快速成长为工业转型升级和创新发展的重要动力。二、测评内容3依托国家工业互联网大数据中心，聚焦重点工业行业，汇集高质量语料，形成工业语料库，支撑大模型在工业领域应用测评；结合工业企业调研，在原有知识问答基础上，新增四类工业应用测评场景，开展大模型在各应用场景的准确性测评。工业应用准确性测评解 答 计 算 机编 程 问 题，分 析 工 业 设计、控 制 代码 安 全 性、计算复杂性。代 码 理 解面 向 工 业 应用，有逻辑、有 条 理 地 生成 总 结 性、分 析 性 的 文本。文 档 生 成面 向 工 业 场景 基 础 结 构化 数 据，分析 现 象，描述 趋 势，得出结论。数 据 分 析面 向 工 业 问题，选 取 基础数学知识，建 立 数 学 模型进行求解。工 程 建 模结 合 工 业 知识，有 理 有据 解 答 各 领域 专 业 性 问题。知 识 问 答石化化工行业三、测评方法4 测评流程 评分标准为更贴合应用场景实际，进一步评价模型的多维能力，本期测评题型以问答题为主；为保障判分的一致性与准确度，问答题的评分方式由人工判分改为大模型判分，并按步骤赋分。根 据 场 景、难 度、行 业，选 取 有 标 准 答 案 的 题 目，经人工校验后形成测试题。利用GPT4将原有标准答案整理为 评 分 标 准，并 通 过 人 工 校 验提升判分标准科学性。调用待测试大模型API，收集大模型答案。生成判分标准 1 进行判分 2 进行问答利 用 G P T 4，根 据 评分标准，按步骤赋分。筛选题目1.题目类型：每个场景抽取若干题目进行测试，题型以问答题为主。2.题目数量：知识问答：144 道 数据分析：20 道 工程建模：100 道 文本生成：40 道 代码理解：150 道 注：各场景题目数量虽不一致，但考察要点总量保持在同一个数量级。3.题目得分：需要结合具体题目的评分细则，按照步骤进行赋分，赋分后分数进行归一化处理。4.场景得分：场景得分为题目总分百分化处理后的分数。若有细分场景，则场景总分为细分场景的平均成绩。5.综合评分：由各场景算数平均分计算得出。1 对于GPT4，先获取其回答，再用其生成标准答案、进行判分，避免信息泄露；2 GPT4的API承诺不记录数据用于训练，参考业界成熟方案，使用GPT4的API生成标 准答案和判分结果，减少测评误差。0102030405060708090100GPT4文心一言ChatGLM星火3.5通义千问Claude百川3MistralCosmoYi从容大模型360智脑GPT3.5GeminiPro星火3.0MiniMax天工大模型Llama70bLlama13b(中文微调)百川13B准确性四、测评结果-综合排名5 测评成绩综合能力上，GPT4处于领先地位，国内大模型文心一言、ChatGLM紧随其后；对于国内大模型，多个模型综合能力超过GPT3.5，包括文心一言、ChatGLM、星火3.5、通义千问等；对于国外大模型，GPT4领先优势明显，其余模型差距较大。大模型准确性排名Top2011 模型版本号参见附录1。国际平均55国内平均542540557085100工程建模数据分析代码理解工业知识问答文档生成国内国际对比往期测评，2023年下半年国内大模型能力提升明显（以GPT3.5为基准）。四、测评结果-能力对比与变化趋势6 各维度大模型最佳能力对比图1 国内大模型发展趋势2在工业知识问答、文档生成等领域，国内大模型已取得领先，数据分析、代码理解等领域能力接近；在工程建模领域，国内大模型与国际存在一定差距。40%80%120%160%文心一言ChatGLM星火大模型通义千问从容大模型360智脑天工大模型文心一言ChatGLM星火大模型通义千问从容大模型360智脑天工大模型相对GPT3.5成绩23年中国内平均24年初国内平均2023年6月底2024年初2023年6月底相对GPT3.5成绩2024年年初相对GPT3.5成绩1 选取国内外各能力维度性能最佳的大模型进行对比；2 国内大模型发展趋势统计规则见附录2。五、场景测评一:工业知识问答7 大模型可结合自身知识，回答不同工业领域问题，将用于员工培训、故障诊断、客服咨询、市场调研等交互场景，协助企业员工熟悉生产流程，帮助用户了解产品特性。知识快速获取工艺辅助优化数字人售后服务员工自助培训应用场景研判研发设计环节：研发工程师可基于大模型快速、便捷获取高质量知识，提升研发效率；生产制造环节：产线工人可实时向大模型查询生产工艺经验，辅助其进行制造工艺优化；售后服务环节：企业可基于大模型，通过数字人实时向客户提供售后咨询服务；技能培训环节：新员工可通过大模型了解企业信息、学习生产技能。020406080100建材石化化工电力电子制造纺织装备制造钢铁采矿国内国际五、场景测评一:工业知识问答8 测评结果 行业能力对比1 题目样例在知识问答领域国内大模型已具备一定优势，ChatGLM、文心一言等多个大模型实现对GPT4超越；国内大模型在建材、采矿等行业具有显著优势，在装备制造、钢铁等行业与国际水平接近；对比不同行业，国内外大模型在钢铁、电力等行业有较好的知识储备，对于纺织、装备制造等行业仍需加强训练。020406080100ChatGLM文心一言Cosmo星火3.5星火3.0GPT4通义千问Yi百川3从容大模型360智脑GeminiProClaudeMiniMax天工大模型GPT3.5MistralLlama13b(中文微调)Llama70b百川13B工业知识问答国内平均专业知识问答国际平均专业知识问答工业知识问答能力Top20问题：你知道哪些常用逻辑电平?TTL与CMOS电平可以直接互连吗?评分标准：(1)常用逻辑电平包括：12V，5V，3.3V。（1分，给出标准中同样或近似的回答则得1分，否则不得分。）(2)TTL和CMOS电平是否可以直接互连：不可以直接互连。（1分，给出标准中同样或近似的回答则得1分，否则不得分。）(3)TTL和CMOS电平互连的条件：CMOS输出可以直接接到TTL，而TTL接到CMOS需要在输出端口加一上拉电阻接到5V或者12V。（1分）本题共3小项，每个小项1分，满分3分。对于每个小项，如果描述有差距，或者详细程度不足，酌情给0.3或者0.5分或者0.8分。准确性准确性1 图中数据为各行业国内外性能最佳大模型成绩。（分）国内平均52国际平均41（分）五、场景测评二:工程建模9 大模型具备基础建模能力，将帮助工程师和企业管理人员在实际工程设计、生产运维等领域进行数学建模，寻求最佳的解决方案。应用场景研判研发设计环节：基于历史实践，建立成本模型，指导新项目的规划和预算编制，提高项目成功率；生产制造环节：建立时序预测、异常检测模型，基于预测优化生产计划，提高施工效率和安全性；运维管理环节：建立运筹模型，对工厂生产人员进行排版优化，提升人员效能；营销宣传环节：建立营销收益模型，提升营销效率，节约营销成本。工程数学建模预测模型优化生产计划优化员工班次布局提高人效营销收益建模节约销售成本020406080100GPT4文心一言ChatGLM星火3.5通义千问百川3360智脑Claude星火3.0从容大模型GPT3.5MistralGeminiProCosmoMiniMaxLlama13b(中文微调)Yi天工大模型百川13BLlama70b工程建模国内平均工程建模国际平均工程建模五、场景测评二:工程建模10 测评结果 题目样例问题：某公司在2018年年初预订x万产量的目标，2018年6月己完成计划的60%，此后按照上半年月均产量生产，则2018年超出计划产量300万.那么该公司2018年年初预订的产量为多少万元？评分标准：1.如果能正确列出完成计划的60%即为$0.6x$万的关系，得1分；2.如果能正确列出下半年产量也为$0.6x$万的关系，得1分；3.如果能正确列出并解方程$0.6x+0.6x-x=300$，得1分；4.如果能正确解出$x=1500$，得1分；本题共四个得分点，满分为4分，得分情况为（得分/满分）。在工程建模领域，GPT4、文心一言处于领先地位，对比其它模型具有显著优势；国内外平均成绩均为43分，大模型建模能力整体处于较低水平，可收集数学建模专业语料进行强化训练，也可以使用代码解释器等增强工具提升大模型建模能力。工程建模能力Top20国内平均43国际平均43准确性（分）五、场景测评三:数据分析11 大模型可将结构化数据提炼为核心结论，对复杂业务数据进行自动分析，更全面、及时地帮助企业管理者运营和决策，提升工作效率和运营质量。应用场景研判研发设计环节：在海量产品评价数据中提取共性问题，改进产品设计，提升产品品质；生产制造环节：自动分析工业生产时序数据，发现数据异常或潜在风险，及时预警或报错；运维管理环节：辅助分析库存数据，进行呆滞库存和缺料提醒，提升管理效率；人员培训环节：分析事故数据，杜绝生产事故，消除安全隐患。分析用户评价分析生产时序数据分析库存数据分析安全数据electric五、场景测评三:数据分析12问题：您需要撰写一份简短的报告，介绍下面的图表/表格/图形的主要特征。您应该执行以下任务：概括数据，描述过程的各个阶段等等，请使用中文进行撰写。下表为2001-2010年几种型号电话年产量。评分标准:(1).文章对比了2001年至2010年几种电话的年均产量变化。（1分，如果有相关的全局性描述，则得1分，否则不得分。)(2).在这10年期间，B电话稳步下降，而A电话支出迅速增长。（1分必须有B稳步下降的描述，且有A电话迅速增长的描述性语言，只给出数据不进行对比描述不得分。）(3).2007年是A产量超过B电话产量的转折点。（1分,必须指出2007年A电话超过B的关键节点，只给数据出数据不描述不得分。）(4).(5).本题共5小项，对于每个小项，如果学生的回答中有和该项一致的语句，则得1分，如果描述有差距，或者详细程度不足，酌情给0.3或者0.5分或者0.8分。测评结果 题目样例在数据分析领域，文心一言能力最佳，与GPT4、Mistral等构成第一梯队；国内外大模型分数均较低，大模型直接用于数据分析可能造成部分信息遗漏或描述偏差，实际应用中可使用优秀数据分析案例进行微调，或将案例加入到提示词中，利用大模型小样本学习能力提升效果。020406080100文心一言GPT4MistralChatGLMLlama70b从容大模型Cosmo百川3通义千问Claude星火3.5360智脑YiGeminiProGPT3.5MiniMax星火3.0Llama13b(中文微调)天工大模型百川13B数据分析国内平均数据分析国际平均数据分析数据分析能力Top20准确性（分）国内平均53国际平均56YearPhoneAPhone B.2001200700.2010700475.五、场景测评四:文档生成13 大模型将帮助用户快速、高效处理和生成各类文档，如宣传文案、操作手册、技术文档、施工方案等，提高工作效率和质量。应用场景研判研发设计环节：大模型可基于本地知识库，辅助工作人员生成技术方案和设计方案，帮助研发人员提升效率，为设计人员提供灵感；生产制造环节：大模型可基于生产订单和生产计划，自动生成作业指导书，提高生产效率；运维管理环节：大模型可根据设备运行情况，自动编写运行报告；可根据供应链库存情况生成库存管理报告文档，提升运营效率。生成技术文档生成作业指导书生成设备运行状态报告生成库存管理运营文档020406080100通义千问文心一言ChatGLMMistralGPT4GPT3.5YiClaude从容大模型星火3.5MiniMax星火3.0Cosmo天工大模型GeminiPro百川3Llama13b(中文微调)百川13B360智脑Llama70b文档生成（总结）国内平均文档生成（总结）国际平均文档生成（总结）五、场景测评四:文档生成（要点总结）14 测评结果 题目样例在文档生成（要点总结）领域，国内外性能最佳大模型成绩接近满分，基本可成熟应用于该场景；国内外平均成绩相对较高，文档生成（要点总结）场景属于当前大模型较擅长领域。问题：分析以下文字，总结B公司企业创新的启示。B公司专门成立了热效率技术攻关团队，通过大量的仿真和台架试验，经过上千种方案的探索分析，不断尝试与改进，最终把发动机各个方面的功能发挥到极致，实现了热效率突破 50%。思路决定出路，以往一些科技企业遭遇挫败是因为单纯以技术为主导按已有的技术去做产品，再去找销路，结果市场并不认可。.评分标准：1.敢于超前研发。树立首创精神,敢为人先,形成差异化竞争力，抵御风险，赢得优势。（1分，必须有关于超前研发，敢于创新的的近似描述，否则不得分）2.加强技术攻关。成立专门团队,进行大量试验,不解探索分析,不断尝试改进。（1分，必须有关于技术公关，探索尝试的的近似描述，否则不得分）3.市场需求导向。转变技术指导市场的思路,从客户需求出发,确定产品创新方向。（1分，必须有关于市场导向，重视调研，技术指导市场的相关描述，否则不得分）4.5.本题共5要点，对于每个要点，如果学生回答中有和该项一致的语句，则得1分，如果描述有差距，或者详细程度不足，酌情给0.3或者0.5分或者0.8分。文档生成能力Top20准确性（分）国内平均87国际平均85020406080100百川3星火3.5YiGPT4Llama13b(中文微调)Llama70b从容大模型ChatGLMClaude天工大模型GPT3.5Mistral360智脑Cosmo文心一言GeminiProMiniMax星火3.0通义千问百川13B文档生成（观点）国内平均文档生成（观点）国际平均文档生成（观点）五、场景测评四:文档生成（观点分析）15问题：阅读以下观点，回答你是否同意，如果你不同意，请说明哪种情况会削弱下面的观点：过去的一年,QM的工伤事故比邻近的工厂多$30%$,邻近工厂每班工作时间比我们公司短 1 小时。专家称许多工伤事故的主要原因是疲劳和睡眠不足。因此,为减少QM的工伤事故数量,从而提高生产效率,我们需要把 3 个班次的工作时间缩短 1 小时,这样我们的员工可以获得充足的睡眠。评分标准:总结提炼后，评分标准如下：(1)两家公司是否具有可比性,没有给出具体的分析.(2)去年的情况今年是否依然持续.(3)倒班时间缩短一小时，不能保证员工获得充足的睡眠；(4)即便缩短倒班时间能够保证员工获得充足的睡眠，员工的工伤数量也并不一定会下降.对于以上四点，每个分论点在作文中有所体现得1分，共计4分。测评结果 题目样例文档生成能力Top20在文档生成（观点分析）领域，百川3、星火3.5、Yi优势明显，已实现对GPT4的领先；国际大模型平均超出国内较多，国内模型需整理高质量语料进行强化训练，提升观点分析成效。准确性（分）国内平均65国际平均71五、场景测评五:代码理解16代码生成与自动编程代码错误检测与修正代码注释生成工控代码审查应用场景研判研发设计环节：大模型可根据自然语言描述，自动生成工业代码，辅助编写自动化脚本、复杂的业务逻辑代码，提升编码效率；生产制造环节：大模型可对生产设备的控制代码进行安全审查，排查代码中的错误和漏洞，保障生产安全；运维管理环节：大模型可自动生成代码注释，帮助工控运维人员高效理解和维护代码，提升运维效率。大模型将面向工业需求编写代码，回答计算机编程相关问题，辅助代码功能性和安全性检测，提升工程师编码效率，保障程序安全、平稳运行。020406080100GPT4文心一言ClaudeMistralChatGLM通义千问360智脑CosmoYiGeminiProGPT3.5百川3MiniMaxLlama70b从容大模型星火3.5天工大模型百川13BLlama13b(中文微调)星火3.0代码理解国内平均代码理解国际平均代码理解五、场景测评五:代码理解17问题：回答下列选择题，并给出解析。下列代码中存在什么安全问题？public void doPost(HttpServletRequest request,HttpServletResponse response)throws ServletException,IOException javax.servlet.http.Cookie theCookies=request.getCookies();.java.util.Properties benchmarkprops=new java.util.Properties();String algorithm=MD5;java.security.MessageDigest.getInstance(algorithm);byte input=(byte)?;Object inputParam=param;if(inputParam instanceof String)input=(String)inputParam).getBytes();评分标准：代码中使用已知的弱哈希算法MD5，代码如下：String algorithm=MD5;java.security.MessageDigest md=java.security.MessageDigest.getInstance(algorithm);弱哈希算法有MD5、SHA-1 和 SHA-2 等哈希函数。（回答中如果能指出安全问题是弱哈希算法得1分，否则不得分)测评结果 题目样例在代码理解领域，GPT4和文心一言准确度较高，相对其他模型优势明显；国内外平均成绩相对偏低，编程相关知识掌握薄弱，应全面提升模型训练集中代码语料的数量和质量，代码解释器模块可能对理解代码的能力有较大帮助，建议更多大模型引入。代码理解能力Top20准确性（分）国内平均45国际平均51文心一言六、总体评价与后续规划18 各场景第一梯队与点评第一梯队知识问答点评国内大模型已具备一定优势，ChatGLM、文心一言等多个大模型已超越GPT4；工程建模GPT4处于领先地位，大模型整体建模能力处于较低水平，有较大提升空间；数据分析文心一言能力最佳，与GPT4、Mistral构成第一梯队，但整体水平偏弱；文档生成观点分析大模型在观点分析上处于及格水平，还存在明显提升空间；代码理解GPT4和文心一言在代码理解领域较为领先，具有一定优势，其他大模型仍有较大提升空间。ChatGLM文心一言卡奥斯GPT4文心一言ChatGLMGPT4MISTRAL百川3Yi星火3.5GPT4文心一言Claude文档生成要点总结国内大模型保持领先，性能最佳大模型已经能够较完善地完成文本总结任务；通义千问MISTRAL文心一言六、总体评价与后续规划19行业知识掌握场景成熟度 大模型在文档生成领域应用成熟度较高，在工业知识问答、数据分析、工程建模、代码理解场景应用成熟度相对较低；国内外大模型在文档生成、数据分析、代码理解场景准确度差异较大。大模型在钢铁、电力等行业有较好的知识储备，对于纺织、装备制造等行业仍需加强训练；国内大模型在建材、采矿等行业优势显著，在装备制造、化工等行业与国际接近。发展趋势 GPT4仍处于领先地位；近半年国内大模型能力显著提升，与GPT4差距不断缩小，部分场景应用能力已赶超。总体评价 后续计划针对工业应用场景，汇聚整理工业知识语料库，支持大模型预训练或微调；开展大模型多模态能力测评，包括图像识别、视频理解等，挖掘更多大模型工业潜在应用场景；面向大模型当前应用成熟度较低的场景，提供稳定性、准确性等能力优化指导；面向工业应用开展行业大模型测评工作，在重点领域遴选推广一批优秀的行业大模型。2021编号大模型公司版本号1GPT4OpenAIGPT4-Preview-11042GPT3.5OpenAIGPT-3.5-turbo3文心一言百度Ernie-bot-4.04星火大模型科大讯飞spark-V3.5；V35Yi零一万物Yi-34B6GeminiProGoogleGemini-Pro7通义千问阿里巴巴Qwen-Max8360智脑360360GPT_S2_V99ChatGLM智谱华章GLM-410ClaudeAnthropicClaude-2.111llamaMetallama-70B;(开源)llama-13B-中文微调(开源)12MistralMistralMistral-Medium13从容大模型云从科技20240104版14天工大模型昆仑万维20240112版15MiniMaxMiniMaxChatCompletion-abab5.5-chat16Cosmo卡奥斯20240124版17Baichuan百川智能Baichuan-3;Baichuan-13b(开源)注：本研究实测模型包括但不限于上述大模型，此处只列举部分模型版本号。附录1：报告涉及的大模型及其版本号22 提升问答题比例的原因 问答题评分步骤输入问题获取回答生成标准答案按照标准答案和步骤赋分分维度进行分数统计分析 国内大模型发展趋势统计规则1.以GPT3.5为基准，依据在相同测评的相对成绩，计算发展趋势相对GPT3.5成绩=某模型测评分数 GPT3.5测评分数x100%随机给出答案：部分模型随机给出答案，即使选择正确也无法证明模型能够给出准确的解答过程。过程评价缺失：有的大模型选择虽然错误，但能够提供建设性的思路，有一定的参考意义。选择型题目的局限性 优势：问答题更贴近实际，对回答步骤判分更加科学、合理。问题：对比选择判断类题目，传统人工判分的方法效率低。问答型题目优势和问题 评分标准保障一致性：依据标准回答，生成判分标准，提升判分准确度，保障一致性。大模型提升判分效率：用逻辑性好的大模型进行判分，在确保判分准确性前提下提升判分效率。问答型题目判分问题解法附录2：评分规则