资源描述
目录23编印单位:华为技术有限公司出版人:董理斌 李明潇执行主编:张桂林 蒋宁静编辑:欧阳伶星 黄鹏飞 王艳平 胡珊珊 肖雲印刷单位:雅昌文化(集团)有限公司印刷日期:2023年10月23日发送对象:本行业、公司员工印数:3000册封面故事 赋能实体经济 中国大模型走自主创新之路AI终于超越了撩拨舆论的阶段P16P19视界AI重塑千行百业 华为云发布盘古大模型3.0和昇腾AI云服务华为云盘古大模型全布局揭秘 AI for Industries的落地路径P04P10目录3主办:华为云计算技术有限公司电子版请登陆 阅读或下载索阅、投稿、建议和意见反馈,请联系编辑部:Email:编辑部地址:中国深圳市龙岗区坂田华为基地G1华为云热线电话:950808技术创新P61大模型时代 CodeArts定义软件开发新范式盘古大模型 让人人实现数字人自由P57行业重塑P35华为云的云端实战:以大模型加速新药研发,成本降低70%不作诗,只做事探秘华为云盘古大模型行业应用P21P40云上加速 AI大模型帮车企跨越智驾鸿沟P25P45华为云盘古气象大模型登Nature正刊天气预报不准的难题被AI突破了华为云盘古政务大模型:助力广州白云建设新一代智慧城管P31P47盘古的逆向突围:一条有效的工业智能化路径当盘古大模型遇到矿山 华为云让AI走深向实华为云天筹AI求解器荣获世界人工智能大会最高奖“只做事”的大模型成就真英雄P50P54封面故事4AI 重塑千行百业华为云发布盘古大模型 3.0 和昇腾 AI 云服务7 月 7 日,华为开发者大会 2023(Cloud)在中国东莞正式揭开帷幕,并同时在全球 10 余个国家、中国30 多个城市设有分会场,邀请全球开发者共聚一堂,就 AI 浪潮之下的产业新机会和技术新实践开展交流分享。在大会主题演讲中,华为常务董事、华为云 CEO 张平安重磅发布盘古大模型 3.0 和昇腾 AI 云服务。其中,盘古大模型 3.0 围绕“行业重塑”“技术扎根”“开放同飞”三大创新方向,持续打造核心竞争力,为行业客户、伙伴及开发者提供更好的服务。昇腾 AI 云服务单集群提供 2000P Flops 算力,千卡训练 30 天长稳率达到90%,为业界提供稳定可靠的 AI 算力,让大模型触手可及。华为云盘古大模型3.0围绕“行业重塑”“技术扎根”“开放同飞”三大创新方向,持续打造核心竞争力,为行业客户、伙伴及开发者提供更好的服务。目前已在政务、金融、制造、医药研发、煤矿、铁路等诸多行业发挥着巨大价值。华为云封面故事封面故事4封面故事5AI 重塑千行百业 华为云发布盘古大模型 3.0 和昇腾 AI 云服务 张平安表示:“盘古大模型要让每个行业、每个企业、每个人都拥有自己的专家助手,让工作更高效更轻松。我们始终坚持 AI for Industries的战略,在深耕行业的道路上不断前行。我坚信大模型将重塑千行百业,而每一个开发者,都将是改变世界的英雄。”盘古大模型 3.0:重塑千行百业华为云盘古大模型从一开始就聚焦为行业服务,本次大会发布的盘古大模型 3.0 也是一个面向行业的大模型系列,包括“5+N+X”三层架构:L0 层包括自然语言、视觉、多模态、预测、科学计算五个基础大模型,提供满足行业场景中的多种技能需求。盘古 3.0 为客户提供 100 亿参数、380 亿参数、710 亿参数和 1000 亿参数的系列化基础大模型,匹配客户不同场景、不同时延、不同响应速度的行业多样化需求。同时提供全新能力集,包括 NLP 大模型的知识问答、文案生成、代码生成,以及多模态大模型的图像生成、图像理解等能力,这些技能都可以供客户和伙伴企业直接调用。无论多大参数规模的大模型,盘古提供一致的能力集。L1 层是 N 个行业大模型,华为云既可以提供使用行业公开数据训练的行业通用大模型,包括政务,金融,制造,矿山,气象等大模型;也可华为常务董事、华为云 CEO 张平安重磅发布盘古大模型 3.0华为云发布盘古大模型 3.0封面故事封面故事6以基于行业客户的自有数据,在盘古大模型的 L0 和 L1 层上,为客户训练自己的专有大模型。L2 层为客户提供了更多细化场景的模型,更加专注于政务热线、网点助手、先导药物筛选、传送带异物检测、台风路径预测等具体行业应用或特定业务场景,为客户提供“开箱即用”的模型服务。L1行业大模型盘古视觉大模型盘古预测大模型先导药物筛选小分子优化政务热线慧眼识事网点助手财务异常分析供应链物流器件分配传送带异物检测掘进序列检测铁路TFDS检测台风路径预测海浪预测盘古政务大模型盘古金融大模型盘古制造大模型盘古药物分子大模型盘古矿山大模型盘古铁路大模型盘古气象大模型L2场景模型L0基础大模型技术扎根行业重塑开放同飞5NX+盘古大模型3.0:重塑千行百业大模型行业开发套件盘古自然语言大模型盘古多模态大模型Pangu Models 3.0:Reshaping industriesIndustry-specific modelsScenario-specific modelsFoundation modelsHoning technologiesReshaping industriesSharing successPangu CV modelPangu prediction modelPangu scientific computing modelPangu NLP modelPangu multi-modal modelPangu e-government modelPangu finance modelPangu manufacturing modelPangu drug molecule modelPangu mine modelPangu railway modelPangu meteorology modelLead drug screeningSmall-molecule optimizationService hotlineIntelligent event identificationOutlet assistantFinancial exception analysisSupply chain logisticsComponent allocationConveyor belt inspectionExcavation sequence detectionTFDS detectionTyphoon track predictionWave predictionIndustry-specific development kits for models盘古大模型采用完全的分层解耦设计,可以快速适配、快速满足行业的多变需求。客户既可以为自己的大模型加载独立的数据集,也可以单独升级基础模型,也可以单独升级能力集。在 L0 和 L1 大模型的基础上,华为云还为客户提供了大模型行业开发套件,通过对客户自有数据的二次训练,客户就可以拥有自己的专属行业大模型。同时,根据客户不同的数据安全与合规诉求,盘古大模型还提供了公用云、大模型云专区、混合云多样化的部署形态。实现行业大模型的四大关键举措Four Keys to Operationalizing Industry ModelsL0基础大模型10+行业常识对话专业工具L1行业大模型沉淀行业知识淬炼行业技能400+行业场景文档、FAQ、知识图谱、百科知识库、术语库模拟仿真结果、代码编译运行结果、求解器建模结果混合增量式的行业自监督训练知识扩充和领域适配语义向量检索增强的生成模型训练知识增强的行业问答结合专家和行业数字环境反馈的强化学习行业标准的对齐优化打通10+行业插件,解决行业复杂问题丰富的大模型行业插件文字、图像、行业机理等多种AI计算全面的模型类型NLP、CV、多模态、预测、科学计算5类基础大模型数学计算、知识图谱、求解器、企业搜索、SQL、ModernBI、时空数据库保障安全合规数据集全生命周期可管理可溯源数据合规数据和模型训练全生命周期安全数据安全建立应急机制,可监测可管理可溯源运营安全生成式大模型使用边界保障产品安全Knowledge expansion and domain adaptationKnowledge-enhanced industry Q&AAlignment and optimization of industry standards Extensive industry plugins for large modelsComprehensive model typesData complianceFoundation modelsIndustry modelsConnecting professional toolsAccumulating industry knowledgeEmbedding industry skillsSecurity&complianceData securityProduct securityOperations security400+industry scenariosCommonsense knowledgefor 10+industriesSimulation results,code running results,solver modeling resultsDocuments,FAQs,knowledge graphs,encyclopedia knowledge base,glossariesMath calculation,KG,solver,enterprise search,SQL,ModernBI,spatiotemporal DB5 foundation models:NLP,CV,multimodal,prediction,and scientific computingHybrid incremental self-supervised learningReinforcement learning based on feedbackfrom both experts and digital environmentsSemantic vector retrieval-enhancedgenerative model trainingDiverse AI compute for text,image,industry mechanisms,and moreStreamlined 10+industry plugins forcomplex problem solvingDataset lifecycle management,E2E traceabilityLifecycle security managementfor data and model trainingWell-established boundaries on theuse of large generative modelsWell-designed emergency response mechanisms,proper monitoring,management,and traceability“盘古为行业而生,就要为行业着想,更好地服务千行百业的客户”,张平安表示。如今,盘古大模型已在金融、制造、医药研发、煤矿、铁路等诸多行业发挥着巨大价值。在政务领域,华为云携手深圳市福田区政务服务数据管理局,上线了基于盘古政务大模型的福田政务智慧助手小福,能够精准理解民众咨询意图,改变传统的一网通办模式,把老百姓的话语转化为政府办事的语言,让城市更有爱。盘古政务大模型对超过 20 万条政务数据进行精调,包括 12345 热线、政策文件、政务百科等,掌握了丰富的法律法规、办事流程等行业知识。基于盘古政务大模型的小福,在一网通办业务中体现出行业性、专业性、领先性和惠民性。封面故事7在煤矿领域,盘古矿山大模型已经在全国 8 个矿井规模使用,一个大模型可以覆盖煤矿的采、掘、机、运、通、洗选等业务流程下的 1000 多个细分场景,让更多的煤矿工人能够在地面上作业,不仅能让煤矿工人的工作环境更加舒适,而且可以极大地减少安全事故。在铁路领域,盘古铁路大模型能精准识别现网运行的 67 种货车、430 多种故障,无故障图片筛除率高达95%,成为货运列检员身边有力的数字助手,将列检员从每日数百万张的“图海”检测中解放出来。在气象领域,盘古气象大模型是首个精度超过传统数值预报方法的AI预测模型,同时预测速度也有大幅提升。原来预测一个台风未来 10 天的路径,需要在 3000 台服务器的高性能计算机集群上花费 5 小时进行仿真。现在基于预训练的盘古气象大模型,通过 AI 推理的方式,研究者只需单台服务器上单卡配置,10 秒内就可以获得更精确的预测结果。在金融领域,盘古金融大模型可以对银行的各种操作、政策、案例文档进行预训练,能根据客户的问题,为柜台工作人员自动生成流程和操作指导,将原来需要平均 5 次的操作降低为 1 次,办结时间缩短 5 分钟以上。盘古大模型让数十万网点柜员都拥有自己的智慧助手。在制造领域,过去单产线制定器件分配计划,往往要花费 3 个小时以上才能做齐 1 天的生产计划。盘古制造大模型学习了华为产线上各种器件数据、业务流程及规则以后,能够对业务需求进行准确的意图理解,并调用天筹 AI 求解器插件,1 分钟即可做出未来 3 天的生产计划。在药物研发领域,原来一款新药研发平均需要 10 年时间、花费 10 亿美金。盘古药物分子大模型助力西安交通大学第一附属医院刘冰教授团队发现全球 40 年来首个新靶点、新类别的抗生素,并将先导药物研发周期缩短至 1 个月、研发成本降低 70%。AI 重塑千行百业 华为云发布盘古大模型 3.0 和昇腾 AI 云服务华为云 EI 服务产品部部长 尤鹏封面故事封面故事8技术扎根、极致效能,打造世界 AI 另一极大模型的创新不仅仅是模型自身的创新,更依赖于 AI 的各项根技术创新。华为在最底层构建了以鲲鹏和昇腾为基础的 AI 算力云平台,以及异构计算架构 CANN、全场景 AI 框架昇思 MindSpore,AI 开发生产线ModelArts 等,为大模型开发和运行提供分布式并行加速,算子和编译优化、集群级通信优化等关键能力。基于华为的 AI 根技术,大模型训练效能可以调优到业界主流 GPU 的 1.1 倍。算力是训练大模型的基础。在本次大会上,张平安宣布单集群 2000P Flops 算力的昇腾 AI 云服务在华为云的乌兰察布和贵安 AI 算力中心同时上线。昇腾 AI 云服务除了支持华为全场景 AI 框架昇思 MindSpore 外,还支持 Pytorch、Tensorflow 等主流 AI 框架。同时,这些框架中 90%的算子,都可以通过华为端到端的迁移工具平滑迁移到昇腾平台。此外,在大模型训练过程中经常会遇到 GPU 故障,研发人员不得不经常重启训练,时间长,代价大。昇腾AI 云服务可以提供更长稳的 AI 算力服务,千卡训练 30 天长稳率达到 90%,断点恢复时长不超过 10 分钟。例如,美图仅用 30 天就将 70 个模型迁移到了昇腾,同时华为云和美图团队一起进行了 30 多个算子的优化以及流程的并行加速,AI 性能较原有方案提升了 30%。“为了帮助全球客户、伙伴、开发者训练和使用大模型,我们致力于为全球客户打造世界 AI 另一极,为所有 AI 开发者提供新的选择”,张平安表示。深度融合,盘古大模型重构产品创新除了在千行百业的落地实践,华为云盘古大模型也深度融入了华为云的产品服务,重构产品创新。例如,在资料服务中,通过盘古大模型的文案生成和代码生成技术,能够提升资料撰写和前端代码编写效率,将新产品上市、赋能周期大为缩短。在云客服,通过嵌入行业知识库和意图挖掘能力的对话问答,实现全流程 AI 优先作答,提升客服工作效率 30%。在 BI,通过 NL2SQL 和 AutoGraph 智能路由,实现 SQL 到可视化图表的自动推荐,通过多轮自然语言交互,让人人都能便捷地从数据中洞察业务细节。在云搜索,通过多模态Embedding 和 NL2API 技术,实现视频、文本、图谱等广泛场景搜索,借助强大的语义理解和泛化能力,让搜索准确率提高 15%。封面故事9同时,华为云将 CodeArts 研发工具与盘古大模型相结合,正式发布了面向开发者的智能编程助手CodeArts Snap。该工具训练了 760 亿行精选代码、1300 万篇技术文档,具备智能生成、智能问答、智能协同三大核心功能,可以实现一句对话让代码生成、一次点击即可自动注释和生成测试用例,一条指令即可智能部署,让每个软件开发者都有自己的编程助手。此外,为了让企业在 AI 时代构筑更强的内容创新能力,华为云通过盘古基础大模型赋能 MetaStudio 数字内容生产线,打造了盘古数字人大模型,提供模型生成和模型驱动两大服务,并已经使用了 20 万小时音视频数据进行了预训练。基于这两大服务,开发者可以快速生成和驱动数字人模型,赋能在线教育、文娱直播、企业会议等行业应用,让每个企业员工实现“数字人自由”。例如,用户只需在华为云 MetaStudio 的服务页面上传 20秒的个人视频,就可以快速生成个性化的数字人讲解视频,过去 3 个研发人员 3 天完成的工作,现在只需要 3 分钟就可以完成。开放同飞,携手客户伙伴共赢大模型生态华为云致力于构建以开发者为核心的、开放共赢的全球生态体系。目前,华为云全球开发者数量已超过460万,云商店上架的商品已达 10000 多个。华为云提供了易用可靠的大模型工具套件、汇聚海量多行业场景 API 的开天 aPaaS,以及包含丰富优质课程和技术认证的大模型专属社区,希望与开发者及伙伴一起,共同探索盘古大模型与行业结合的创新路径。大模型的发展离不开高质量数据的持续输入。华为云联合中国公共关系协会、文化大数据产业委员会、以及多家伙伴单位,共同倡议成立大模型高质量数据联盟。联盟将汇聚来自各成员单位的开放数据,打造覆盖千行百业的高质量数据集,促进行业大模型的蓬勃发展。开发者是推动数字创新的核心力量。本次大会上,主题为“创想无限”的 2023 华为开发者大赛正式启动。作为华为 ICT 领域的顶级赛事,华为开发者大赛开设云底座和产业两大赛道,覆盖中国、亚太、欧洲、北非、拉美五大赛区,让开发者在人工智能领域大展身手,实现创新性应用开发。AI 重塑千行百业 华为云发布盘古大模型 3.0 和昇腾 AI 云服务封面故事9封面故事封面故事10从全民热衷尝鲜,到仅有少部分人仍在使用,上半年的 ChatGPT 喧嚣进入尾声,而由另一维度观测,新技术的生命力在市场,只有客户拿真金白银买单的大模型,才是技术-商业的正向循环,下半年,行业大模型争相落地开启新的竞争。在 7 月 7 日举办的华为开发者大会 2023(Cloud)上,华为云正式发布盘古大模型 3.0。盘古大模型 3.0是一个完全面向行业提供服务,以行业需求为基础设计的大模型体系,包括 5+N+X 三层架构。不疾不徐,华为盘古大模型揭开了新的一重面纱,也是 ChatGPT 热潮之后,华为首次系统性地谈论大模型。钛媒体 App 了解到,华为并不热衷于“百模大战”,尽管早在 2021 年 4 月,华为云就发布了盘古大模型,包括 NLP 大模型和 CV 大模型,此后华为相继发布科学计算大模型、药物分子大模型、盘古矿山大模型和气象大模型。华为盘古大模型全布局揭秘 AI for Industries 的落地路径 钛媒体AI 大模型时代,面临自下而上自主创新的宏大命题,华为正在打造世界 AI 另一极。封面故事封面故事10封面故事11“熟悉华为的人想想就知道,盘古 chat不符合华为的主航道,华为的策略是拿下 B 端市场,基础模型早就发布过,国内国外 C 端的大模型声量虽然大,但是华为没有想去掺一脚,还是坚定地做自己擅长的事,到了整个市场都重视大模型落地、谈论行业大模型的时候,华为就必须要站出来了”,一位接近华为人士表示。华为是国内最早发布大模型的厂商之一,资本市场概念的炒作一轮又一轮,当产业潮水涌向行业大模型,华为还是按捺不住,将自己的大模型战略和盘托出。华为轮值董事长胡厚崑在 WAIC 上表示,华为人工智能的发展关键是“走深向实”,着力点放在让人工智能为千行百业的生产活动服务,为科研创新服务。当前阶段,华为在人工智能发展上有两个着力点:第一,打造强有力的算力底座,支撑中国人工智能产业的发展。第二,从通用大模型到行业大模型,让人工智能服务好千行百业、服务好科研创新。大模型“卷”落地前车之鉴,后事之师。数十年间,人工智能技术发展的曲线潮起潮落,“落地难”始终是横亘在产业现实的一道关卡。在 ChatGPT 热潮之前,人工智能面临场景碎片化的问题,同时人工智能并没有进入到企业的核心场景,技术和业务不是紧耦合的关系,也就很难形成规模效应。华为盘古大模型全布局揭秘 AI for Industries 的落地路径封面故事封面故事12根据第三方网站 SimilarWeb 的监测数据,6 月份,ChatGPT 的网站与移动客户端的全球流量(PV)环比下降了 9.7%,美国地区的流量环比下降了 10.3%。同时,ChatGPT 的独立访客数量(UV)下降了 5.7%,访客在网站上花费的时间也下降了 8.5%。这是自 2022 年 11 月 30 日发布以来,ChatGPT 首次出现流量负增长。拐点的到来,在一些人的意料之外,却在另一些人的情理之中。华为常务董事、华为云 CEO 张平安表示,“目前大模型大多数应用都集中在 2C 领域,在面向行业应用时,由于行业数据获取难,技术与行业 know-how 结合难,大模型在行业的落地进展较慢。”当普罗大众还在沉浸ChatGPT聊天的惊艳表现时,人工智能厂商已经在设想大模型的商业化,国际上,微软、亚马逊等大厂向企业级服务寻求商业化路径,进行多个行业的探索;国内,诸如华为、百度、阿里、腾讯等大小厂商,都在快马加鞭加速行业大模型投入。华为很早就看到了这一方向,据悉,2020 年,华为判断人工智能有两个发展方向,一个是小模型到大模型的趋势;第二个,人工智能和行业的结合,就是 AI for Industries,华为认为 AI 在千行百业有着极大的想象空间。前者,随着模型参数的不断扩大,小模型到大模型的趋势已然兑现,张平安介绍,盘古 3.0 能够为客户提供100 亿参数、380 亿参数、710 亿参数和 1000 亿参数的系列化基础大模型,匹配客户不同场景、不同时延、不同响应速度的行业多样化需求。后者,在 GPT 火热之前,盘古大模型已经深耕行业,打造矿山、气象、药物分子、铁路等领域行业大模型和能力集,将行业知识 know-how 与大模型能力相结合,重塑千行百业,为每个企业、每个人提供专家助手,让工作更轻松。如果说,彼时华为的战略预判还略显突兀,没有太多的参考,那么,如今大模型已经足以证明,华为的技术和业务路线的双重正确。今年以来,华为迟迟不去“蹭”大模型的风口,而是在水面之下做一些基础的工作。盘古大模型发布以来,华为一直思考的都是客户运营、产品研发、软件工程、生产供应、市场营销等行业客户所关注的问题,坚持自己的技术主张和研发节奏,不急于求成,始终追求技术突破和技术领先,确保产品质量和交付质量。“华为早在 2020 年就坚定地选择了大模型路线,当时市场上的热度并没有今天高,也存在很多质疑的声音,我们仍然坚持了下来,未来不管炒作与否,热度高低,我们都会尽量不受外界干扰,坚持做正确的事。”华为云盘古大模型专家对钛媒体 App 表示。谈及行业过热的状态,华为云盘古大模型专家表示,“针对大模型这样最顶尖的技术,市场的热度一方面反映了资本对大模型盈利能力的期待,另一方面也反映了公众对大模型应用能力的期待。”封面故事13市场是最大的驱动力,大模型最大的改变,是创造了一个规模化效应的出口,上层应用都可以基于大模型去发展,把碎片化的场景,归拢统一,形成一套大模型解决方案,盘古大模型 3.0 的升级也遵循相似的逻辑。盘古 3.0 大模型体系的 5+N+X 三层架构中,5 大 L0 层的基础大模型,包括自然语言大模型、视觉大模型、多模态大模型、预测大模型、科学计算大模型,能够提供各种通用技能,支撑企业的各类应用。N个L1层的行业大模型,例如政务大模型,金融大模型,矿山大模型等,能够基于基础大模型的多种能力组合,通过行业数据以及企业自有数据的二次训练,帮助企业打造自己的大模型。X 代表海量 L2 层的场景模型,与基础大模型和行业大模型相比,场景模型更加专注于某个具体的应用场景或特定业务,为客户提供开箱即用的模型服务,例如,在医疗领域,针对小分子筛选,小分子优化等。从“无人相信”到登上Nature华为开发者大会 2023(Cloud)发布会前夕,华为云盘古大模型团队研发的高分辨率全球 AI 气象预报系统研究成果,正式在Nature正刊上发表,基于三维神经网络的气象预报系统精度,超过传统数值预报方法,且速度提高了 1 万倍以上。少有人知道的是,就在去年12月份,国际气象领域的专家教授们还普遍认为,AI要达到传统数值方法的精度,是一件非常遥远的事。“There are a lot of comments I could make indicating that this is perhaps not yet quite the triumph of AI over physical modelling.despite the claims in the paper.Never the less it is a big step forward compared to other efforts.The paper has also been causing a degree of existential angst at ECMWF.(我可以发表很多评论,表明这可能还不是 AI 相对于物理建模的巨大胜利,尽管论文中提出了主张,与其他努力相比,这绝不是向前迈出的一大步。但是,该论文还是在 ECMWF 引起了一定程度的焦虑。)欧洲中期天气预报中心(ECMWF)是全球权威的国际性天气预报研究和业务机构,该中心于 1979 年 6 月首次做出了实时的中期天气预报,现在,华为盘古气象大模型,为世界展现了另一种可能。盘古气象大模型研发团队核心成员对钛媒体 App 表示,之前大家不相信 AI 方法能够实现更高的精度和更好的效率,ECMWF 也在探索用 AI 预测天气,但是规划的时间表以十年计算,他们认为,AI 方法存在很多现阶段难以突破的问题。例如分辨率不够,省级和区级的天气预报,数据量相差很大,如果要做到更高的分辨率,数据量要达到上千TB,这比其他 AI 应用数据量要大得多,大数据意味着消耗大算力,这部分问题能够通过堆硬件、工程化解决。再如现有的 AI 预报方法精度大部分显著低于数值预报方法,这也是很多人都不相信 AI 能够超过数值预测方法的主要原因,现有的 AI 气象预报模型都是基于 2D 神经网络,无法很好地处理不均匀的 3D 气象数据,同时AI 方法缺少数学物理机理约束,因此在迭代过程中会不断积累迭代误差。华为云提出了 3D Earth-Specific Transformer 方法,在每一个视觉 transformer 模块中新引入和纬度、高度相关的绝对位置编码,从而更好地处理复杂的 3D 气象数据,并且拆分各个不同的时间段模型分散训练,减少单个模型迭代的次数,从而减少迭代误差。“我们不仅做出来一个精度超过欧洲气象中心数据预报的模型,而且我们迅速让这个模型落地,其中克服了华为盘古大模型全布局揭秘 AI for Industries 的落地路径封面故事封面故事14很多问题,让气象专家实测验证模型结果,他们没有理由否认 AI 方法的先进性。”如上人士表示。气象大模型的打造成为一个实证,华为云不仅能有意愿打造行业大模型,并且有将其付诸实践的工具和能力。对应华为盘古大模型,L0 是科学计算基础大模型,L1 是气象行业大模型,L2 就是气象预测等应用。大模型回答了“一个模型能否解决通用问题”以及“模型本身是否有价值”的关键问题,但是要想真正构建完整的业务链条,还需要从商业化层面跟进,为了加速和简化行业大模型从开发到落地,华为云提供了盘古大模型工程化平台,覆盖了数据处理、模型训练和应用开发三大环节。在数据平台方面,相比传统标注平台(能提供的例如自动数据清洗等功能),华为云数据工程平台专门为 SFT 训练提供了基于模板的 Prompt 在线辅助撰写功能,为 RLHF 训练提供了多人 Rank 在线标注和任务分拨功能;对比离线进行这两种任务,实测效率可提升 3 倍。有了高质量的数据如何产生高质量的模型,还需要确保模型开发的过程准确无误,在模型训练方面,大模型开发套件提供了自监督预训练,有监督 SFT 训练,强化学习训练 3 种工作流,覆盖了从数据集创建,超参配置到模型训练、评估、部署的全流程,凝结了大模型专家的实践经验,把复杂的大模型开发,流程化,标准化,简单化,帮助行业用户一键启动,一站式开发。之后,开发好的盘古大模型要想在行业发挥作用,离不开下游应用,在模型开发方面,华为云提供盘古应用开发套件,将传统软件工程与大模型相结合,提供多种 API 和工具可调用,支撑企业分钟级构建大模型原生应用。例如,基于盘古语言大模型和视觉大模型的基础能力,以及盘古大模型工程化平台,在学习了超过 20万条政务数据,包括政策文件、政务百科等公开政务知识,以及 12345 热线场景等专有政务知识后,深圳市福田区政府打造了具备丰富法律法规、办事流程等行业知识的福田政务大模型。据了解,参照 GPT-3 完成一个千亿行业模型端到端开发,基于盘古大模型工程化平台,开发大模型从过去需要 5 个月缩短到现在 1 个月,整体速度提升5 倍。?AI 世界的另一极人工智能已经成为国家战略竞争焦点,AGI(通用人工智能)可能改变甚至颠覆世界运转的原有逻辑,国家层面强调:“人工智能是引领这一轮科技革命和产业变革的战略性技术,具有溢出带动性很强的 头雁效应。”人工智能与实体经济的结合,行业大模型扮演着重要作用,行业重塑、技术扎根、开放同飞,是华为云的差异化优势。行业大模型以行业数据和 know-how 为重中之重,华为云 AI 的优势在于,在各行业已有超过数百个项目,基于对行业的深入理解,沉淀行业核心 know-how,华为云盘古大模型能够更好地落地在行业客户的主业务场景。盘古大模型已经学习 10 多个行业公开数据,涵盖金融、政务、气象、医疗、健康、互联网、教育、汽车、零售等。华为云和伙伴还联合打造了工业、供热、政务、煤矿、教育、电力、公路 7 大行业 aPaaS,为盘古大模型了构建最深厚的行业积累。封面故事15墙高基下,虽得必失,人工智能产业需要从最底层夯实基础,张平安提到,其他人都可以依赖行业最成熟的 AI 算力和 AI 生态,但是华为只能依靠自己的AI 根技术。中国工程院院士郑纬民此前表示,大模型是新型关键基础设施的底座之一,大模型的竞争也是国家科技战略的竞争,中国一定要布局全栈自主创新的大模型产品,同时要构建国产化算力,也要解决算力能耗与国家“双碳”战略的平衡。为此,华为构建了最深的 AI 堆栈根技术,在最底层构建了以鲲鹏和昇腾为基础的 AI 算力云平台,构建了昇腾的计算引擎 CANN、AI 框架 MindSpore,以及 AI 开发生产线 ModelArts,为大模型开发和运行提供分布式并行加速,算子和编译优化,集群级通信优化等关键能力。“现在基于华为的 AI 堆栈,我们的大模型训练效能不仅不落后,在大模型场景下我们的训练效能是业界主流 GPU 的 1.1 倍”,张平安说。与此同时,华为云提供了易用可靠的大模型工具套件、汇聚海量多行业场景 API 的开天 aPaaS,以及包含丰富优质课程和技术认证的大模型专属社区,帮助开发者一站式完成入门到专家。华为也积累了高密度的大模型人才:盘古团队中大概 50%以上是博士,还有很多名“天才少年”,上述气象大模型的核心成员便是之一,大模型在训练过程中,会遭遇各种各样的困难和挑战,一个技术过硬、敢于创新的团队,才是大模型能够练成的核心保障,也是华为对外输出大模型能力的依托。在安全方面,华为云提供公有云、混合云、大模型专区三种模式,保障安全部署;建立长效机制,确保大模型安全合规:包括数据集来源和使用合规、数据全生命周期安全、构建完整的数据标注以及审核机制、构建模型合规使用政策、确保模型使用边界。AI 大模型时代,面临自下而上自主创新的宏大命题,华为正在打造世界 AI 另一极。华为盘古大模型全布局揭秘 AI for Industries 的落地路径封面故事15视界视界16今年以来,ChatGPT 引领了人工智能的新一轮创新浪潮。科技部新一代人工智能发展研究中心发布的中国人工智能大模型地图研究报告显示,我国研发的大模型数量位居全球第二。据不完全统计,当前中国已发布的大模型产品已超过80个,进入“百模大战”的新时代。这充分体现了我国在人工智能领域的创新实力和发展潜力,同时如何走出具有中国特色的大模型发展之路,也成为我们必须思考和回答的重大课题。赋能实体经济中国大模型走自主创新之路 人民日报客户端中国大模型厂商要紧密结合国家战略需求和行业发展方向,深入探索行业痛点和场景,打造行业大模型,为实体经济赋能。视界视界16视界17坚持自主创新,构建核心竞争力发挥场景优势,抓住弯道超车机会中国具有强大的工业基础和丰富的行业应用场景,为国产大模型的发展带来了弯道超车的机会。中国坐拥庞大的实体产业基础,以制造业为例,据统计,中国目前共有 31 个制造业大类、609 个小类,拥有全球产业门类最齐全、产业体系最完整的工业体系。?赋能实体经济 中国大模型走自主创新之路大模型是新型基础设施的关键底座之一,大模型的竞争也是国家科技战略的竞争,中国一定要布局全栈自主创新的大模型产品,同时要构建国产化算力,也要解决算力能耗与国家“双碳”战略的平衡。“”当前,我国大模型面临着四方面的挑战:一是中文语料库和英文语料库在质和量上都存在较大差距,缺乏高质量的中文语料数据和行业数据;二是大模型需要大算力,但受制于国外技术封锁,中国缺乏先进、有效的算力;三是当前大模型训练算法框架大量依赖于国外框架;四是我国缺乏顶尖的 AI 人才。这些挑战对我国大模型的研发和应用构成了制约。为了应对这些挑战,我们要加强自主创新能力,从算力、算法、框架、工程化、人才等各个层面提升我国大模型的核心竞争力。因此,中国大模型产业需要在以下几个层面加强建设:中国工程院院士郑纬民视界视界18同时,中国持续构建现代化产业体系,对于人工智能技术与行业应用的深度融合,有着更庞大、更迫切、更具价值的实际需求,也提供了更为广大的创新实践空间。例如,在制造业中,人工智能可以帮助企业提高生产效率和质量,通过智能机器人、传感器、图像识别等技术,实现自动化、精准化、智能化的生产过程;在交通领域中,可以帮助交通管理部门优化交通流量和路况,通过智能信号灯、导航系统、无人驾驶等技术,实现安全、便捷、节能的交通运输;在气象领域中,可以帮助气象部门提高天气预报准确率,通过大数据分析、深度学习、卫星遥感等技术,实现及时、准确、全面的气象信息服务;在药物研发领域中,可以帮助企业加速新药研发进程,通过自然语言处理、知识图谱、分子建模等技术,实现高效、创新、个性化的药物设计和发现。这些新的需求也是在人工智能时代,中国大模型产业实现弯道超车的机遇所在。中国大模型厂商要紧密结合国家战略需求和行业发展方向,深入探索行业痛点和场景,打造行业大模型,为实体经济赋能。视界18构建行业大模型,加速在实体产业落地Chat 类的大模型引发新一轮热潮,但对话、写诗、作画绝不是大模型的全部。我们需要去深入思考大模型的应用方向,要将大模型切实投入到城市发展、金融科技、生物医药、工业制造、科学研究等领域,也需要专业的企业和组
展开阅读全文