华为算力产业链深度系列研究：华为昇腾服务器研究框架.pdf

2023年03月29日行业评级：看好华为昇腾服务器研究框架华为算力产业链深度系列研究行业报告资源群行业报告资源群1.进群即领福利报告与资源合编，内有近百行业、万余份行研、管理及其他学习资源免费下载；2.每日分享学习最新6+份行业精选及3个行业主题资料；3.群友报告需求咨询，群免费交流。4.本群仅限行业报告交流，禁止广告及无关信息。知识星球 行业与管理资源知识星球 行业与管理资源为投资、产业研究、运营管理、价值传播等专业知识社群，已成为产业生态圈、企业经营者及数据研究者的智慧交流平台。社群每月分享8000+份行业研究报告、商业计划、市场研究、企业运营及咨询管理方案等，涵盖科技、金融、教育、互联网、房地产、生物制药、医疗健康等；加入后免费下载学习。微信扫码，长期有效微信扫码，长期有效微信扫码，行研无忧微信扫码，行研无忧免责申明：1.本内容与原报告无关;2.原报告来源互联网公开数据；3.原报告仅限社群个人学习，如需它用请联系版权方；4.如有其他疑问请联系微信昇腾计算产业生态全景012资料来源：昇腾社区官网，浙商证券研究所昇腾计算软硬件体系ModelArtsHiAL Service 第三平台MindxMinsSpore TensorFlow/PyTorch/异构计算架构 CANNNPU驱动系列硬件昇腾系列处理器合作伙伴行业应用IHV初创公司高校ISVC&SI开发者OEMODM销售参考设计赋能认证开源贡献教学科研算子众筹赋能认证开源贡献产品销售开源开放开源贡献销售参考设计集成昇腾计算产业生态医疗能源交通制造金融人工智能计算中心运营商互联网机器人平安城市添加标题95%摘要3站在当前科技重大转折点ChatGPT时刻，科技企业的竞争日益聚焦于AIGC领域，大模型成为核心竞争力的重要体现。华为作为国内科技龙头，2021年发布的盘古大模型有望在AIGC时代中引领潮流。其中，昇腾全栈AI软硬件平台构筑智能世界的基石，昇腾计算产业生态不断发展完善，为盘古大模型提供了底层算力支撑。1、昇腾系列硬件：AI处理器+多产品形态以昇腾AI处理器为基础，通过模块、标卡、小站、服务器等丰富的产品形态，打造面向“端、边、云“的全栈解决方案，为整个昇腾AI产业的底层核心支撑。2、CANN：针对AI场景提出的异构计算架构作为华为昇腾AI基础软硬件平台的核心，CANN向上支持多种AI框架，向下服务AI处理器与编程，以极致性能、极简开发、开放生态为目标，助力昇腾构建全场景人工智能平台。3、MindSpore：面向全场景的AI计算框架国内首个支持千亿参数大模型训练AI框架，支持终端、边缘、云全场景灵活部署，开创全新的AI编程范式，致力于实现开发态友好、运行态高效、全场景按需协同三大目标，降低AI开发门槛。4、MindX：应用使能=2个组件+1个模型库+多行业SDK深度学习组件MindX DL以提供参考架构的方式，供业界平台伙伴快速开发商永版本的深度学习系统；智能边缘组件MindXEdge可实现快速将云端模型推送至边缘端部署，并将边缘侧未识别数据上传至云端进行增量训练；ModelZoo将AI开发模型提前调优后提供给开发者进行选择。2个组件及1个模型库支撑行业AI应用落地，SDK凝聚行业知识、结合AI实践。5、生态构建及应用落地：多领域合作，10+行业应用，多方面解决方案携手赋能各领域合作伙伴和开发者，目前围绕昇腾计算体系，已在能源、金融、公共、交通、电信、制造、教育等多行业实现应用，提供城市智能中枢、昇腾智巡、昇腾智行、昇腾制造等解决方案。建议关注标的：神州数码、拓维信息、麒麟信安、软通动力、常山北明、海量数据、润和软件、英方软件资料来源：昇腾社区官网，昇腾计算产业发展白皮书，浙商证券研究所风险提示41、宏观经济下行风险2、上游晶圆紧缺加剧的风险3、市场发展不及预期的风险4、行业竞争超预期风险目录C O N T E N T S昇腾AI概览010203硬件产品软件框架504生态伙伴05应用落地01Partone6昇腾AI概览服务器行业演进历程017本地IT部署云端IT部署AI特定算力需求5G、物联网应用传统服务器传统服务器传统服务器传统服务器2012年2016年2020年云服务器AI服务器云服务器云服务器AI服务器边缘服务器“云+边缘”的部署架构形势已成为市场共识，边缘机房环境与传统数据中心迥异，带来全新增量市场神经网络需要更特殊的计算架构，AI极大的算力需求打开AI服务器蓝海市场随着云技术成熟，下游云服务商深度定制化的云服务器成为市场增长的重要动力IT部署形势以本地构建数据中心为主，只有政府、金融机构和大型企业能够负担本地云端CPUGPU、FPGA、ASIC中心边缘资料来源：行行查研究中心，浙商证券研究所通用服务器 VS 云计算服务器018资料来源：搜狗百科，浙商证券研究所传统服务器云计算服务器处理器模块存储模块网络模块电源、风扇等云处理器模块网络处理模块存储处理模块系统件模块高性能吞吐计算能力关注工作量总和传统服务器业务 VS 云服务器租用业务传统服务器业务云服务器租用业务投入成本高额的综合信息化成本投入按需付费，有效降低综合成本产品性能难以确保获得持续可控的产品性能硬件资源的隔离+独享带宽管理能力日趋复杂的业务管理难度集中化的远程管理平台+多级业务备份扩展能力服务环境缺乏灵活的业务弹性快速的业务部署与配置、规模的弹性扩展能力昇腾全栈AI软硬件平台，构筑智能世界的基石019资料来源：鲲鹏社区官网，昇腾计算产业发展白皮书，浙商证券研究所行业应用应用使能AI框架异构计算框架Atlas 系列硬件模块标卡小站服务器集群昇腾系列AI处理器基于CANN统一异构计算架构，释放昇腾硬件澎湃算力MindSpore匹配昇腾AI处理器算力的全场景深度学习框架TensorFlow/Py Torch可基于第三方框架开发的模型进行二次开发、训练和推理ModelArtsHiAI Service第三方平台MindX DLModelZoo深度学习使能优选模型库MindX EdgeMindX SDK智能边缘使能行业SDK能源、金融、公共、交通、电信、制造、教育等更多行业应用全流程开发工具链管理运维工具MindStudioFusionDirectorSmartKit算子、模型、应用一站式高效开发和极简部署华为IT产品运维服务工具平台服务器全生命周期智能运维的管理软件Atlas人工智能计算解决方案，覆盖深度学习全流程0110资料来源：华为官网，浙商证券研究所Atlas人工智能计算解决方案昇腾系列AI处理器基础软件“开放、简单、可信”的AI解决方案关键特性超强算力更优效能开放易用安全可信达芬奇架构最强AI算力底座极致散热技术更高能效比端边云协同软硬件开放从芯片到系统构建可信AI平台昇腾计算产品AI模块AI加速卡智能边缘AI服务器AI集群0111资料来源：华为全联接大会2022，浙商证券研究所昇腾Al夯实智能根基，生态蓬勃向上硬件开放软件开源使能伙伴解决方案发展人才520+硬件合作伙伴2020 2022202210.8万+320万+MindSpore社区下载量1591000+合作伙伴2221600+解决方案4.5万+100万+开发者02Partone12硬件产品昇腾AI处理器AI模块+AI加速卡+智能边缘+AI服务器+AI集群昇腾AI处理器构建底座，提供强大算力支持0213资料来源：海思官网，浙商证券研究所自研华为达芬奇架构NPU在8W数据精度下算力可达16TOPS高性能 3D Cube昇腾 310华为首款全栈全场景人工智能芯片自研华为达芬奇架构NPU640 TOPSINT8，320TFLOPSFP16最大功耗310W昇腾 910算力最强AI处理器架构华为达芬奇设计3D Cube性能16TOPSINT8 和 8TOPSFP16最大功耗8W工艺12nm FFC架构华为达芬奇设计3D Cube性能320TFLOPSFP16 和 640TOPSINT8最大功耗310W工艺N7+昇腾AI硬件体系完善，提供多样化算力选择0214数据来源：华为昇腾官网，浙商证券研究所开发者套件AI加速模块推理卡训练卡智能小站边缘服务器推理服务器训练服务器芯片：昇腾310最高算力：22 TOPS芯片：昇腾910最高算力：280 TFLOPS芯片：昇腾310最高算力：88 TOPS芯片：昇腾310最高算力：22 TOPS芯片：鲲鹏920最高算力：352 TOPS芯片：昇腾310最高算力：22 TOPS8*昇腾910+4*鲲鹏920最高算力：2.24 PFLOPS2*鲲鹏920最高算力：704 TOPSAI模块加速卡智能边缘AI服务器64*昇腾910+32*鲲鹏920形态：47U机柜AI集群数千颗昇腾910算力：256P1024P FLOPS AI集群AI集群基础单元03Partone15软件框架CANN异构计算架构MindSpore人工智能框架MindStudio开发工具链MindX应用使能CANN：软硬协同释放澎湃算力0316数据来源：华为昇腾官网，浙商证券研究所昇腾计算语言AscendCL算子开发接口TBE计算图开发接口AIR应用开发接口昇腾计算服务层昇腾算子库AOLNN库其他昇腾调优引擎NN库其他NN库其他FrameworkAdapterGraph ComplierTBE昇腾计算编译层昇腾张量编译器ATCRuntimeHCCL昇腾计算执行层昇腾计算执行器ACEGraph ExecutorAIPPDVPP其他OSSVM昇腾计算基础层昇腾基础层ABLVMHDC其他CANN：针对AI场景提出的异构计算架构0317资料来源：昇腾计算产业发展白皮书，浙商证券研究所编程语言编译及调试工具编程模型开放平台支持端边云全场景协同，支持超过10种设备形态、EMUI、Andriod、openEuler等超过14种操作系统和多种AI计算框架支持多种计算架构和计算框架，一套体系支持CPU、NPU等架构和多种AI计算框架支持向后兼容和演进，向后兼容是为了保护开发者的已有开发投资具有极强的伸缩性和适应性，适应不同算力和内存变化AscendCLGraph EngineRuntimeDVPP CANN Lib/HCCLDriver开发体系编程语言TBE编译及调试工具编程模型支持的深度学习框架与引擎MindSpore：总体架构0318数据来源：华为昇腾官网，浙商证券研究所昇腾计算语言AudioModel Zoo模型库ModelHub开发态友好全场景部署VisionRecNLPExtend强化学习/GNN/深度概率编程Sience科学计算电磁仿真/分子模拟/量子计算Expression 全场景统一APINNOps第三方前端DatasetTrain/InferNumpy函数/OOP编程范式融合AI+数值计算表达融合动静表达统一单机分布式表达统一仓颉Julia运行态高效Complier AI编译器内存优化图算融合流水线执行IR中间表达层硬件相关优化量子自动生成量化/剪枝/蒸馏数据格式数据加载异构加速数据增强Data端-边-云全场景运行时系统Runtime多样性硬件CNN(NPU)CUDA(GPU)Eigen(CPU)oneDNN(CPU)密态AI可信AIArmour性能调优网络调试Insight精度调优AI安全二阶优化自动并行自动微分类型推导MindSpore：执行流程0319数据来源：昇腾计算产业发展白皮书，浙商证券研究所端云协同（联邦学习、端云AutoML等）MindSpore 训练和验证ModelZoo模型库MindSporeDevKit开发套件MindSporeExtend高阶扩展库MindSpore Hub预训练模型MindSporeInsight 可视化MindSporeData数据MindSporeArmour AI安全MindIR端云统一IRMindSporeServinig 云测推理MindSpore Lite 端侧推理端边增量学习Fine-tuning训练等下载模型模型导出模型导入调试调优安全机制数据处理MindSpore：三方面创新0320资料来源：昇腾计算产业发展白皮书，浙商证券研究所全场景深度学习框架动静态图转换自动并行端边云协同采用SCT的AD机制，实现对静态图和动态图的支持，高效易用，静态图和动态图模式切换只需要一行代码。帮助开发者提升网络调试调优效率，并获得训练性能的收益。Auto Parallel特性，用于实现自动的数据并行和模型并行的混合并行训练，最大优势是易用和高性能。此外MindSpore可以结合内存、计算和通信开销，为用户选择一个性能较优的并行切分策略实现大规模网络的线性加速、自动扩展。针对“端、边、云”全场景提供一致的开发和部署能力，以及按需协同能力，让开发者能够实现AI应用在云、边缘和手机上的快速部署，全场景互联互通，更好利用资源和保护隐私，创造更加丰富的AI应用。快速多处部署：针对特定应用场景，搜索满足性能约束的模型，拿来即用，无需重训。全栈性能优化：神经架构搜索、模型压缩、编译优化等手段优化精度、大小、时延。灵活易用：支持多种策略组合使用，打通云到端全流程，集中管理全流程策略和配置。多种学习形态：比如当前业界常用的端侧推理形态，满足开发者各种各样的场景需求。0321资料来源：昇腾社区官网，浙商证券研究所MindStudio：提供全栈全流程支持算子开发支持TBE自定义支持TBE自定义算子语法智能纠错与代码自定补全支持算子工程的仿真调试多设备日志即时查看算子性能profiling分析模型开发应用开发支持MindSpore/caffe/TF等框架离线模型转换模型算子精度比对模型整网性能profiling分析支持网络模型的可视化Al应用开发与调试算法代码自动生成模型市场ModelZo0推理结果的图形化展示全系统调优MindStudio开发流程MindX：2+1+X 应用使能0322资料来源：昇腾计算产业发展白皮书，浙商证券研究所1个模型库2个组件X行业应用MindX DLMindX EdgeModelZoomxVisionmxManufacture深度学习组件智能边缘组件优选模型库行业 SDK深度学习平台基础组件智能边缘平台基础组件预训练高性能模型视频分析 SDK智能制造 SDK集群调度MindX Edge FrameworkAtlasEdge设备管理OM基础服务MindX模型保护ToolBox计算机视觉自然语言处理多模态科学技术质检算法视觉工具模型算法工具04Partone23生态伙伴0424资料来源：昇腾计算产业发展白皮书，浙商证券研究所昇腾开发者社区，打造最佳开发者体验资源中心降低开发门槛工具与样例超 100 种数据集超 50 种直播课程超 50 门个人课程超 70 门赋能中心助力AI领域知识掌握支持中心超 20 名专家轮值服务问题1h内快速答复昇腾应用使能MindX业务开发覆盖90%开发者AI框架MindSporeAI应用开发覆盖10%开发者异构计箅架构CANNAI平台算子及网络开发覆盖1%开发者全流程开发工具链MingStudio 2.0分层开放能力认证体系门户网站昇腾开发者社区开发者权益0425资料来源：昇腾计算产业发展白皮书，浙商证券研究所昇腾万里合作伙伴计划伙伴合作计划开发人员成长计划高校合作计划初创扶植计划咨询与解决方案集成商C&SI独立软件开发商ISV独立硬件开发商IHV云服务提供商XaaS原始设备制造商OEM原始设计制造商ODM学习阶段（LDF，学习成长基金）构建阶段(PDF，产品开发基金）上市阶段(MDF，市场开发基金）上市阶段(MDF，市场开发基金）机器视觉生态机器视觉生态人才培训云资源样机NREPAE/FAEMarketplaceMDF直接业绩激励间接业绩激励昇腾万里合作伙伴计划合作伙伴独立生态计划鼓励伙伴发布关于昇腾的单独生态计划权益可叠加全方位激励机制，繁荣昇腾生态昇腾生态伙伴网络覆盖众多主流厂商数据来源：昇腾社区官网，浙商证券研究所整机硬件伙伴IHV硬件伙伴一体机解决方案伙伴应用软件伙伴辅助运营伙伴2604IHV硬件伙伴整机硬件伙伴应用软件伙伴一体机解决方案伙伴辅助运营伙伴05Partone27应用落地AI计算中心解决方案0528资料来源：昇腾计算产业发展白皮书，浙商证券研究所L4应用平台L3软件平台L2硬件平台L1机房设施L0楼宇平台全栈AI计算中心解决方案云AI计算中心解决方案轻量化AI计算中心解决方案AI应用（合作伙伴/开发者/高校）应用使能、AI框架、芯片使能华为云HCSO(ModelArts)合作伙伴深度学习平台通用计算：鲲鹏、X86AI计算：昇腾、GPUAtlas 800 训练服务器Atlas 900 AI 集群Atlas 800 训练服务器Atlas 900 AI 集群机柜/电源/冷机/油机可选可选预制式机房可选可选0529资料来源：华为计算公众号。浙商证券研究所数字工行（D-ICBC）智慧金融金融：昇腾Al训练的金融行业通用模型以数辅政以数便民以数防险以数助实客户服务风险防控产品创新业务营销95588人工坐席智能助手遥感货后检测数字员工、研发代码生成产品海报生成多模态多任务多场景高算力高参数高精度金融行业通用模型生物医药：蛋白质结构预测平台实现降本增效0530资料来源：华为计算公众号，浙商证券研究所华为武汉伯生科技+基于昇腾AI“思符”可应用于生物医药研发的AI蛋白质结构预测平台一键式蛋白质结构预测超长序列结构预测多序列结构预测AI预测功能合作定制进化的AI预测体系位于中间层的昇腾AI异构计算架构CANN为模型推理提供加速引擎，在算子融合方面实现网络中计算单元的优化整合在内存优化方面完成模型特征图的有效内存排布在混合精度计算方面实现不同精度的计算分配降本增效蛋白质取样费用至少1.5万元，累计费用超过数十万预测费用下降100倍以上从蛋白表达、蛋白纯化等步骤，到使用冷冻电镜解析蛋白质结构，至少13天全步骤压缩到1天以内结构分析效率平均提升超10倍风险提示311、宏观经济下行超预期风险：若宏观经济下行并超出预期，将影响整个产业链；2、上游晶圆紧缺加剧的风险：若本土晶圆厂扩产进度不及预期，将影响芯片供给；3、市场发展不及预期的风险：若AIGC所带来的催化作用不及预期，将影响下游需求；4、行业竞争超预期风险：若行业竞争加剧，可能对公司地位造成不利影响。点击此处添加标题添加标题点击此处添加标题点击此处添加标题点击此处添加标题点击此处添加标题点击此处添加标题添加标题点击此处添加标题点击此处添加标题添加标题点击此处添加标题添加标题95%行业评级与免责声明32行业的投资评级以报告日后的6个月内，行业指数相对于沪深300指数的涨跌幅为标准，定义如下：1、看好：行业指数相对于沪深300指数表现10%以上；2、中性：行业指数相对于沪深300指数表现10%10%以上；3、看淡：行业指数相对于沪深300指数表现10%以下。我们在此提醒您，不同证券研究机构采用不同的评级术语及评级标准。我们采用的是相对评级体系，表示投资的相对比重。建议：投资者买入或者卖出证券的决定取决于个人的实际情况，比如当前的持仓结构以及其他需要考虑的因素。投资者不应仅仅依靠投资评级来推断结论