体系化人工智能技术（Holistic-AI）技术探索.pdf

体系化人工智能(Holistic AI)技术探索中国移动研究院 张世磊2023.11.24日趋泛在的智能化需求和智能化技术赋能成本高之间的矛盾日趋泛在的智能化需求智能化技术赋能成本高企业智能化需求持续增长0900180020192022中国移动商用落地的智能化项目数量三年增长100多倍核心技术研发成本高GPT-3大模型训练成本费用成本460万美元时间成本1 GPU 355年典型AI商用定制化项目成本构成定制化研发部署交付测试售后运维售前解决方案数据采集合同验收需求沟通定制化、商务、运维成本高性能自动化降成本人工智能的应用需求复杂、迭代优化、运营成本数据成本、算法成本算力成本、人才成本提高定制化任务性能提供技术基础弱人工智能弱人工智能 强人工智能强人工智能 （限定领域、人工参与）（限定领域、人工参与）（通用领域、（通用领域、自动化）自动化）A Survey on Large Language Model based Autonomous Agents自动机器学习自动机器学习LLM单模型的通用化单模型的通用化基于基于AI任务的任务的自动化自动化LLM使能的使能的自主智能体自主智能体神经网络架构神经网络架构搜索搜索业务本身是规模化的：平台化：实用便捷的工具，运营运维共性能力：合理评估AI能力的可达性，构建可达的共性AI能力客户规模，经济规模支撑环境适宜：选择环境，培育环境平台型产品个 九天深度学习平台 九天AI能力平台 智能交互平台 可视化建模平台 智能推荐平台 网络智能化平台 九天毕昇教育平台通用能力网络智能化能力簇核心能力 个智能语音机器视觉自然语言理解智能推荐智能数据分析感知智能预测智能决策智能诊断智能控制智能规模化应用 个大屏数字内容推荐-服务家庭7600+万户-观看率提升42%-单省收入赋能 7000+万甘肃智能客服智能基站节电智慧党建-服务 2500 万甘肃百姓-6000 万关系政务知识图谱-事项覆盖率 100%-29 省全网部署-单站减排 300 千克/年-单站节电量提升 8%-10%-服务 16 万党员-构建超 5 万条知识点数据库-知识检索效率提升 90%CHBN赋能价值赋能价值服务外部客户服务客户服务内部客户云端能力调用次数边端能力调用次数管理领域（M）网络领域（N）政企领域（B）家庭领域（H）10086智能客服-服务10+亿客户-峰值月交互量 2.1 亿次-问题一次解决率 94.2%个人领域（C)城市AI平台（合作）基础大模型：加快构建适用于泛场景的自主可控通用基础大模型，打造通用智能底座行业大模型：聚焦供给侧，加快构建行业大模型，加速国民经济主体行业的智能化转型升级，促进我国整体生产力跃升L1行业大模型衍 生支 撑L0基础大模型语言大模型视觉大模型语音大模型政务模型交通模型.政府治理能源模型工业生产.民生服务医疗模型司法模型.通信特色网络模型客服模型.结构化数据大模型多模态大模型基于体系化人工智能的智力运营行业智能化应用大小模型安全评测数据评测算力基础数据基础网络基础性能评测物联网模型以九天基础模型为基础，联合通信、能源、航空等行业的骨干企业，共建共享九天众擎基座大模型人 工 智 能 训 推 技 术 服 务 平 台测评系统智算引擎通 信九 天 基 础 模 型基础设施算 力 网 络大 规 模 智 算 中 心数 据 汇 聚 平 台能 源航 空医 疗政 务建 筑交通运输冶 金通常需要在满足计算、传输、安全、可控性等多项约束前提下，组合使用多个模型或能力，包括基础模型、行业模型或面向特定任务的小模型，并能够端到端优化服务于业务目标网络问题投诉 级联优化3700+支撑生产1000+AI能力7+万亿累计调用次数体系化人工智能（Holistic AI，HAI）是中国移动研究院九天团队原创技术的攻关方向，依托泛在的网络和AI算力，在开放环境中实现对AI能力进行灵活且高效的配置、调度、训练和部署，以满足日益丰富的数智化业务需求，同时确保AI业务可信可控安全，其主要特征为AI服务大闭环、AI能力原子化重构、网络原生AI及安全可信AI。根据智能化业务需求，按需对AI能力进行调度、配置和运行监控，使其能在最合理的算网资源上运行和服务行业及个人客户AI 核心能力及模型提供方泛AI算力提供方泛在网络资源提供方大闭环泛AI算力云/网/边/端/GPU/ASIC/NPU/CPU/业务可信体系化AI OS可信可信AI能力大闭环原子化网络原生1、“大闭环”（Big Loop AI）“大闭环”AI以业务端到端的大闭环优化为目标，重点攻关多能力级联与并联优化、开放动态环境中AI能力优化的基础理论和技术，从而达到AI产业闭环。2、AI技术原子化重构（Atomized AI）AI能力依据高复用、易调度、自闭环、易适配等原则进行原子化拆解和重构。一个典型的原子化AI能力包含通用智能层、适配层、接口层，通用智能层可多个能力共享。AI原子化重构是体系化人工智能得以实现的基础。3、网络原生（Network Native AI）网络原生AI将AI能力与算力通过标准化的方式接入网络、按需调度，重点攻关AI模型自动伸缩的理论和机制，制定AI计算资源、数据、模型、能力、服务的功能、流程、接口和计量的标准，实现AI能力在网云边端弹性部署、计算和迭代。4、安全可信（Trusted AI）AI数据、模型、能力、业务的安全可信是体系化人工智能服务的重要基础，重点攻关AI服务可追溯、可互信、可审计、抗攻击的基础理论与方法。Vector DBLong-term memoryHai大模型task instances pool思维链任务分解部署应用适配及优化开放动态环境优化原子能力区解决方案原子能力区模型算法蒸馏定制区.功能区n模型类1模型类n模型类N行业区n场景类1场景类n场景类N任务区n需求1需求n需求N模型服务提供商Standardization&Trusted AI assessment 需求可追溯、可计量 HAI protocol分层次多粒度的原子AI能力市场服务计量、评估、回收动态测量评估能力空间能力更新注册其中：是一个复杂的函数，表示体系化人工智能的内部逻辑和流程。数据集 D=d1,d2,，每个数据d都有一个类型 0,1,2,，表示文本、图像和语音等异构数据类型。模型集 M=1,2,，每个模型都有一个类型 0,1,2,，表示分类模型、预测模型和生成模型等不同模型。原子能力集 =1,2,，是第个能力，表示语音识别，语音增强，图像分割，机器翻译等不同的能力。真实环境数据分布集 P=1,2,，每个分布都有一个类型 0,1,2,，表示高斯分布、均匀分布和其他复杂分布。原子化评估集E=1,2,，每个评估都有一个指标 0,1,2,，表示不同的评估指标。标准规范入库集S=s1,2,，每个入库都有一个条件 0,1,2,，表示入库准则。真实场景数据漂移集F=1,2,，每个漂移 都有一个类型 0,1,2,表示协变量漂移、先验漂移和概念漂移等。数据传输的演化更新集U=1,2,，每个更新都有一个方法 0,1,2,，表示校准模型、和主动学习或迁移学习等方式。用户需求服务集 =1,2,，表示用户提出动态的需求和任务；是一个动态的集合。为算力存储资源、网络资源，以及数据隐私等各种资源约束阈值；表示每个流程中对应消耗和占据的资源函数。max(,)s.t.(,)其中：端到端跨模态异构数据建模：(D,M)；模型学习机理的优化建模：(,)；模型的原子化表征和建模：(M,E)；模型的标准规范入库：(M,S)；数据漂移的优化建模：(D,F)；模型数据传输的演化更新：(M,F,U)；运行架构优化建模：(,)，如何在资源约束和安全可信的前提下的完成整体业务流程。max(,)考虑体系化人工智能的内部流程和逻辑，进一步可以将 分解为以下几个子函数：.(,)n 原子化n 端到端优化n 基于大模型的调度体系Fig1.体系化原子模型示意图(HAI Atomic Model，HAI-AM)其中绿色部分为其中一条可能的路径原则（1）重用度高（2）输入输出清晰，功能清晰（3）不过于细小导致模型协同成本高于计算成本（4）适合于独立攻关（5）和基础模型能力互补模型介绍 模型的类型（通用型，特定任务型），模型结构及参数量，应用领域，模态，构建时长及机构功能描述主要完成的功能描述和列表输入输出输入输出样例可以是一对多，一对一，多对一等组合接口模型的前向和后向接口及信息适配器适配器选择性能准确率性能，准确率，及测试方法约束应用环境的约束条件。One-Shot Pruning for Fast-adapting Pre-trained Models on Devices,Haiyan Zhao and Guodong Long，arXiv:2307.04365v1 Automatic Mask Pruning(AMP):automatically identify task-specific filters/nodes for different tasks in the pre-trained model.apply the Log Expected Empirical Prediction(LEEP)which is used to evaluate the transferability of representations learned by the source task to the target task.Scalable Mask Selection Pruning(SMSP):fast-adapt the pre-trained model to downstream tasks.基础模型的功能解耦 Decouple one Model into Atomized networks 知识分解：包含结构分解和表征分解每个因子网络包含两部分：通用知识网络（CKN）和特定任务网络（TSN）一种新的信息衡量指标-InfoMax Bottleneck(IMB)，使输入和通用特征间互信息最大（最大限度保留大模型的通用知识），使不同特定任务特征间互信息最小（使特定任务网络之间尽可能解耦）。“Factorizing Knowledge in Neural Networks”,Xingyi Yang,Jingwen Ye,Xinchao Wang,ECCV 2022.模型蒸馏 Generic-to-Specific Distillation of Masked Autoencoders.Wei Huang,Zhiliang Peng,Li Dong,Furu Wei,&Jianbin Jiao,Qixiang Ye.(2023).15996-16005.10.1109/CVPR52729.2023.01535:Distilling Pre-trained Language Models based on Generative Models,Y.Gao,Shilei Zhang,Zihao Cui,Chao Deng,Junlan Feng*.Archive-2023Teacher Model(a)DistillationFrozenFeature Extractorlayer1layer2layer3layer41f234Input Embedding2134Predicted Embedding1f234Generated Input Embedding2134Predicted EmbeddingFeature ExtractorWeighted SumDownstream TasksGenDistillerGenDistiller(b)Downstream基础模型的功能蒸馏:Distilling Pre-trained Language Models based on Generative Models,Y.Gao,Shilei Zhang,Zihao Cui,Chao Deng,Junlan Feng*.Archive-2023Two-dimensional Attention Mechanism：T is the frame numbers related with the utterance length,B refers to the batch size，D denotes the feature dimension，H refers the numbers of hidden layers to be predicted plus the original feature.Distillation LossHT,B,D基础模型的功能蒸馏n 原子化n 端到端优化n 基于大模型的调度体系搜索空间巨大：层级搜索、免训练（training free）端到端闭环数据稀疏：参数量和内存消耗大：适配器、蒸馏、剪枝接口复杂：维度一致、梯度连续无监督Meta Auxiliary Learning for Low-resource Spoken Language Understanding,Yingying Gao,Junlan Feng*,Chao Deng,Shilei Zhang.Interspeech 2022Cascaded Multi-task Adaptive Learning Based on Neural Architecture Search,Yingying Gao,Shilei Zhang,Zihao Cui,Chao Deng,Junlan Feng*.Interspeech 2023Fuse Multiple Models into one target modelDeep Model Reassembly,Xingyi Yang,etc.NeurIPS 2022 多个神经元网络层形成一个功能块功能相似网络：输入相似时，输出相似将一个网络分成多个功能块，相似的功能块形成一个集合，这个集合称为：等同网络块集合 Stitch Multiple Big Models into one target model“Stichable Neural Networks”,Zizheng Pan Jianfei Cai Bohan Zhuang,Archive-2023InterfacesTop-K:TokenEmbeddingssoftmaxvaluesMatrix multiply:softmaxoutput*matrixGumbel softmax:smoothdistributionASRNLU语音识别+自然语言理解 级联优化【12】网络问题投诉 级联优化Fuse Multiple Models into one target modelCascaded Multi-task Adaptive Learning Based on Neural Architecture Search,Y.Gao,Shilei Zhang,Zihao Cui,Chao Deng,Junlan Feng*.Interspeech 2023Cancade three models -speech enhancement,ASR，NLU-with Bottleneck AdapterCascaded Multi-task Adaptive Learning Based on Neural Architecture Search,Y.Gao,Shilei Zhang,Zihao Cui,Chao Deng,Junlan Feng*.Interspeech 2023VisionEncoderLanguageEncoderVisionDecoderLanguageDecoderlanguage word tokensvision patch tokensCross-modal Adaptera cat on a deskQ:Describe the photo.Under-standGenerateVQAMasked Self/Cross-AttentionCatadeskonLanguage SpaceVision Spacecatn 原子化n 端到端优化n 基于大模型的调度体系通信网络安全通信网络安全业务层全生命周期动态可追溯业务部署全流程链路安全能力层模型安全 数据安全体系化服务能力可信算力层AI算力调度标准体系可靠可信可靠可信 安全可控安全可控开放环境下的动态测量评估开放环境下的动态测量评估能量模型非规范化概率模型，灵活性对数据和模型统一表示和度量有效捕捉动态变化并敏感相应探索数据和模型的复杂关系模式体系化人工智能：将人工智能技术从单点应用向系统集成转变，形成具有自主学习、自主决策、自主协同等特征的人工智能系统。体系化人工智能服务的重要基础：AI数据、模型、能力、业务的安全可信安全可信：在开放动态环境下，保证人工智能系统的可控可靠、透明可释、隐私保护、明确责任和多元包容网智能力网智应用标准现网网络异构多模态数据网智算法模型现网数据驱动的AI端到端仿真针对主流通信网络仿真系统难以精准模拟现网的难题，提出首个融合常规网络仿真、AI仿真和物理空间孪生的仿真框架，攻关多项AI仿真技术，使能仿真系统更贴近现网，基于该框架成功申请并构建“智慧网络国家新一代人工智能开放创新平台”。立体闭环交互体系端到端智能仿真支持10余种场景仿真，孵化应用31省落地，为亚运通信网络服务保驾护航业务行为用户轨迹AI化程度终端仿真基站仿真信道仿真业务服务器核心网仿真传输网仿真谢 谢！