大模型技术及其标准化研究.pdf

引言国家标准化发展纲要指出要“在两化融合、新一代信息技术、大数据、区块链、卫生健康、新能源、新材料等应用前景广阔的技术领域，同步部署技术研发、标准研制与产业推广，加快新技术产业化步伐。”1当前，在新一轮科技革命和产业变革推动下，人工智能、量子信息、大数据、云计算、物联网等前沿科技加速应用于军事领域，国际军事竞争格局正在发生历史性变化。大模型技术作为人工智能领域的重大突破之一，参数规模和模型性能不断创出新高，逐步夯实人工智能技术底座，加速推进人工智能实用化、通用化和普惠化发展进程。以标准化为重要抓手，全力推进大模型技术创新和融合应用，将成为世界各军事强国推进新军事变革的基本内容，使得信息成为有价值的作战武器和双方争夺的重点，也使得信息在战争中的作用和行为方式发生重大的改变。2 大模型技术的内涵从 2018 年起，预训练大模型成为人工智能领域一大重点研究方向，围绕预训练大模型和基于预训练大模型的人工智能创新应用一次次吸引学术界、产业界和大众的目光。预训练大模型在追求创新算法架构、训练目标、高效训练、模型部署以及多模态应用等方面成为全球人工智能研究者最重要的研究方向，不断涌现更新更强更优的模型和智能应用，现在可称其为人工智能大模型。大模型之所以为“大”，是因为其是“大数据+大算力+强算法”结合的产物，凝练了大数据内在的精华的“隐式知识库”，是实现人工智能应用的载体2。在大规模无标注数据集上完成了自监督的模型预训练，学习数据中蕴含的特征、结构和知识后，将大模型进行微调或无需微调，就可以直接支撑各类应用场景。人工智能大模型是连接人工智能技术生态和产业生态的桥梁，向下带动基础软硬件发展，编辑：胡欣E-mail:电子科学研究院 王 莉 王 鹏 袁 柳Research on Foundation Models Technology and Standardization摘 要 通过大模型技术的发展历史和现状分析，重点探讨大模型技术应用核心问题：大模型技术的内涵、大模型技术的发展趋势、如何构建大模型技术标准体系，为大模型技术未来发展和应用提供引领与参考规范。关键词 人工智能 大模型 人工智能战争 标准体系Abstract:Through the analysis of history and current situation of foundation models technology,focusing on our future information war under the background of the development of foundation models technology several core issues:the connotation of foundation models technology,the development trend of foundation models technology,foundation models applications in the military field and how to construct standard system;provide guidance and reference standards for the future development and application of foundation models technology in military field.Keywords:artificial intelligence;foundation models;AI war;standard system大模型技术及其标准化研究技术热点Technical Focus2023 年第 9 期http:/93向上支撑智能应用多业务发展，是整个人工智能生态的核心。李飞飞等人工智能学者将大模型统一命名为“基础模型”，以自我监督性为统一技术特征。基础模型在学习过程中会体现出来各个不同方面的能力，这些能力为下游的应用提供了动力和理论基础。训练大模型已经开启了人工智能科研的大规模工程化模式，作为引领未来智能的重要基础设施，将会在人工智能各个应用领域产生巨大的发展和影响。预训练模型的特征不仅仅是大，更在于它的泛化性、小样本、迁移学习和高性能。相比于之前的特征工程，“预训练+微调”可以大大提升开发效率，通过更统一的方式，让预训练大模型的能力在各行业落地。主要采用如下技术。(1)数据采集及治理。大模型所需的预训练数据模型极为庞大，需要大量由自动化程序收集的数据集，同时要对数据进行清洗、过滤、分类、对齐等治理工作。如通用语言类数据集、专业领域数据集和多模态数据集等，预训练使用的数据集越丰富、质量越高、数量越大，训练获得模型性能越强。(2)模型构建技术。模型参数和数据规模的增加需要更高效的模型构建技术架构，需要设计更好、更合理的模型结构来关联显示和隐式的知识，把显示的知识嵌入到模型结构中，提高模型的准确性。在针对具体不同任务方面也可进行模型架构设计，如知识增强架构、跨模态理解架构或文本-图像的生成式架构等。(3)模型训练优化。预训练模型主要采用自监督学习，从大量无标注语言、数据、语音、图像、视频中学习广义信息及内置结构，并将相关信息内置进预训练网络结构中，广泛应用在机器人、语言、机器视觉领域。典型的自监督学习任务有掩码语言学习、对比学习、相邻性检测学习等多种类型。由于大模型结构复杂、数据量庞大，自监督学习和模型训练优化对提高模型训练效率至关重要。(4)迁移适配部署。大模型的最主要特点在于“预训练+微调”，高效的微调可以将大模型更好的迁移到特定的应用领域中。微调相当于借助少量特定领域标注的样本，唤醒预训练时获得大规模的知识记忆。因此，如何对各个元素的特征空间均能够训练到，方便在迁移适配过程中快速通过少量样本实现微调是需要解决的关键问题。3 大模型技术的发展趋势当前人工智能模型存在很多挑战，最首要的问题是模型的通用性不高，每个模型都是针对特定的某个领域进行训练的，应用到其他领域的时候，效果并不好。大模型的出现将在一定程度上帮助人工智能模型提高泛化性，扩大适应领域。主要表现如下。(1)人工智能模型碎片化，大模型提供通用预训练方案目前人工智能面对行业、业务场景很多，人工智能需求正呈现出碎片化、多样化的特点。从开发、调参、优化、迭代到应用，人工模型研发成本极高，且难以满足定制化需求。为了走向工场模式，大模型提供了一种通用化的解决方案，通过“预训练大模型+下游任务微调”的方式，有效地从大量标记和未标记的数据中捕获知识，通过将知识存储到大量的参数中并对特定任务进行微调，极大地扩展了模型的泛化能力。(2)大模型具备自监督学习功能，降低训练研发成本大模型的自监督学习方法，可以减少数据标注，在一定程度上解决了人工标注成本高、周期长、准确度不高的问题。由于减少了数据标准的成本，使得小样本的学习也能达到比以前更好的能力，并且模型参数规模越大，优势越明显，“预训练+微调”范式避免开发人员进行重复性大规模的训练，使用小样本就可以训练自己所需模型，极大降低开发使用成本。(3)大模型有望进一步突破现有模型结构的精度技术热点Technical Focus信息技术与标准化http:/94局限从深度学习发展的历程来看，模型精度提升，主要依赖网络在结构上的变革。随着神经网络结构设计技术逐渐成熟并趋于收敛，想要通过优化神经网络结构从而打破精度局限非常困难。近年来，大模型的数据规模和模型规模不断增大，随着模型思维链的增长、模型推理格式完善、模型可靠性提高，模型精度也得到了进一步提升，大模型的预训练有助于突破现有精度的一个局限。大模型技术在过去两年得到了快速的发展，预训练模型也在快速的发展中，整体有 3 个发展趋势3：(1)向超大规模演进，形成指数级增长。从某种意义上来讲，模型规模愈大，模型能够记忆和理解比对的信息愈多，因此实效的效果更优，整体能力更强；(2)向知识增强演进，训练方法更灵活。研究者通过将文本知识、逻辑知识、科学知识、图谱知识在模型的预训练阶段、微调适应改进阶段进行知识增强，能够提高模型的常识推力、逻辑推理以及信息获取收集能力，使模型针对不同领域的知识进行很好融合，同时大幅降低模型常识错误和预研错误；(3)向多模态不断演进，实现跨模态和多领域应用。从最开始的只学习文本数据到联合学习文本和图像，现在可以处理文本、图像、语言等多模态数据，未来会有更多语言、更多类型数据的大模型会不断涌现，不断推动人工智能通用化进程。4 大模型技术的应用人工智能技术受到各国军方的广泛关注，美国、俄罗斯、英国等国家纷纷将人工智能纳入到国家战略，并在政策、机构、立法等方面全方位规划和布局人工智能，并部署多项军事智能化项目，加大人工智能基础研发投入，不断攻关和突破人工智能关键核心技术，促进人工智能技术在军事决策、目标识别、指挥控制、情报、监视和侦察等作战任务中的应用。随着人工智能技术在军事领域的应用，其或将成为未来塑造世界大国竞争格局的决定性因素。依托大模型技术的发展，可将大模型技术应用于武器装备全生命周期各阶段，加强武器装备智能化升级和作战模式转变，加速推进各军兵种人工智能能力融合，强化关键任务领域的决策和作战能力。大模型技术在装备全生命周期各阶段应用见表 1。5 大模型技术标准体系建设5.1 标准体系研究现状(1)人工智能标准现状目前，全球知名的人工智能标准化组织主要有4 个，分别是 ISO/IEC JTC1(国际标准化组织和国际电工委员会第一联合技术委员会)、ISO(国际标准化组)、IEC(国际电工委员会)和 ITU(国际电信联盟)。鉴于人工智能的重要战略意义，这四大组织正在积极推进人工智能标准的制定，并且取得了一定的成果。ISO/IEC JTC1 在人工智能领域的标准化工作已有 20 多年的历史，并于 2018 年 4 月成立 SC42(人工智能分技术委员会)，围绕基础标准、计算方法、可信赖和社会关注等方面开展国际标准化工作。ISO 与人工智能标准化研究上的工作主要集中在工业机器人、智能金融、智能驾驶三大领域。IEC 主要在可穿戴设备领域开展人工智能标准化工作。ITU 从 2016年开始开展人工智能标准化研究，提出了人工智能和物联网、机器学习等领域的标准化项目。我国高度重视新一代人工智能发展，发布了一系列人工智能政策，加强人工智能顶层设计，大力推动人工智能技术、产业和标准相关工作。2017 年7 月，国务院印发新一代人工智能发展规划，提出了开展人工智能标准框架体系研究的重要任务。2017 年 12 月，工信部印发促进新一代人工智能产业发展三年行动计划(20182020 年)，提出要建设人工智能产业标准规范体系，构建人工智能产品评估评测体系。2020 年 7 月，国家标准委、中央网信技术热点Technical Focus2023 年第 9 期http:/95表 1 大规模技术应用分析武器装备全生命周期主要作用具体应用设计与验证辅助需求分析通过大模型技术，对历史数据及现实数据进行分析，构建场景模型，为项目建设需求分析提供参考制造与测试装备研发通过代码自动生成能力，使得非计算机专业人员也能胜任一定研发工作，极大地缩短开发时间。在装备生成过程中，大模型技术还可以通过生成机器人控制代码，实现对装备生产过程的精准控制，降低人力成本，提升装备研发效率智能仿真大模型技术可自动生成程序、文字、图片、视频甚至仿真模型等内容，人员可独立、灵活地根据需求，通过简单人类语言描述即可快速构建模拟仿真场景，使仿真能力得到明显提升交付与培训智能训练辅助借助大模型技术可以构建智能训练辅助系统，分析历史战例，提炼训练要点，更好地进行训练。通过对语音和动作进行实时监测和分析，发现训练问题，并给出相应的指导和建议，提高训练效果和效率。同时，大模型技术可结合智能化任务规划系统，将分析结果转化为具体的训练任务和场景，在此基础上实施针对性训练，通过对数据的持续吸收、分析和演进，不断提升效益各类使用智能辅助决策大模型可以辅助构建智能决策支持系统，通过对历史数据和实时数据做出分析，大模型技术可以从中学习并总结出优缺点，更好地了解当前形势、预测未来发展趋势，制定出更加科学的计划和决策，提高观察-调整-决策-行动循环效率智能态势感知大模型基于强大的数据支撑、算法和事物生成发展规律，对场景信息位置、行动和能力以及优劣态势等实时信息加以分析处理，能够更好地了解场景信息，提供最新的态势和威胁评估，预测事物的发展趋势智能情报分析依托大模型超高速的信息处理与分析能力，能够有效应对信息爆炸及多源信息融合的挑战，将各类情报信息与场景进行快速整合，缩短信息到情报的生成时间，减小海量情报数据带来的处理压力和分析偏差，提高情报信息的融合处理速度，为实时决策提供有力支持智能文书生成通过大模型技术，可将输出结果从文本扩展到态势图像、数据图表等各种形式的信息，把参谋人员从标图、计算、写文等传统业务中解放出来，大幅度提升效率，适应快节奏智能协同作战大模型可以用于构建智能对话系统，更好地进行语言交流和信息传递。通过对大模型进行训练和优化，使其能够理解各种类型的语言表达和情境语境，并给出相应的回应和建议，更好地进行跨语言情报分析，实现多语言信息的快速转换和分析，提高协同的效率和准确度运维与管控智能运维保障通过数据分析，大模型可综合评价装备的运行状态、应用能力和效能，为装备的维修保障和改进提升提供支持办、国家发展改革委、科技部、工信部联合印发国家新一代人工智能标准体系建设指南，形成标准引领人工智能产业发展的新格局。2021 年 7 月，国家人工智能标准化总体、组全国信标委人工智能分委会发布人工智能标准化白皮书(2021 版)4，按照指导性原则、可用性原则、阶段性原则构建人工技术热点Technical Focus信息技术与标准化http:/96智能标准体系框架，主要包括基础共性、支撑技术与产品、基础软硬件平台、关键通用技术、关键领域技术、产品和服务、行业应用、安全/伦理 8 部分。(2)大模型技术标准现状大模型技术作为人工智能领域的重大突破之一，参数规模和模型性能不断创出新高，逐步夯实人工智能技术底座，加速推进人工智能实用化、通用化和普惠化发展进程。2021 年 11 月，中国信息通信研究院依托人工智能关键技术和应用评测工业和信息化部重点实验室组建大模型工作组，共同围绕技术研究、产业交流、标准制定、生态共建等方面开展工作，并初步取得成效。为进一步适应当前国内外大模型发展态势，工作组在以“工程化”过程为核心的大模型标准体系 1.0 基础上，升级并发布以“模型即服务 MaaS”为核心的大模型标准体系 2.05。标准体系 2.0 全面关注大模型的模型化、能力化、工程化、产业化 4 个维度，从模型开发、模型能力、模型运营、模型应用、安全可信 5 个方向持续构建和完善大模型标准体系。5.2 标准体系建设要点(1)加强标准体系建设组织领导。标准体系建设贯穿武器装备全生命周期，设计装备规划论证、科研生产、使用管理等多个部门，是复杂的系统工程。同时，大模型技术涉及多项人工智能技术，需要考虑人工智能标准情况。因此，大模型技术标准体系建设，与人工智能标准体系存在交集，需统筹协调国家标准、国家军用标准、行业标准、团体标准的建设与推广，多方面协作配合，相互衔接、互为补充与支撑。(2)注重标准应用试点示范。依托人工智能标准体系，以“优势先行、成熟先用、应用牵引”为原则，通过重点标准的先试先行，总结提炼可借鉴、可复制、可推广的实践经验，以点带面拓展标准应用深度和广度，持续推动大模型技术在军事领域的应用，为武器装备智能化发展奠定基础。(3)确保数据资源安全防护。从技术层面看，大模型技术在军事领域应用有利于提高装备研发效率，辅助作战决策，但同时也存在数据泄露、模型被篡改破坏导致作战辅助决策误判等情况，因此要加强对数据资源的安全防护，通过技术、标准与规范等方式排除系统遭黑客攻击、程序被修改而导致智能武器错误行动等的可能性。6 结语历史上每一次重大的科技创新，都开启了一场新的军事变革，而每一场军事变革都把战争推向一个新的时代。大模型技术的发展已经推动了人工智能领域的进步，并且在未来还将继续发挥作用。研制并推广大模型技术在军事领域应用的相关标准，将大幅降低武器装备研发门槛和创新成本，助力形成智能化武器装备，实现新的战斗力整体跃升。参考文献1 中共中央、国务院.国家标准化发展纲要 EB/OL.2023-04-06.https:/ 华凌.人工智能大模型或加速技术落地 N.科技日报.2021-10-08(5).3 百度 Geek 说.人工智能超大规模预训练模型浅谈EB/OL.2023-05-06.https:/ 中国电子技术标准化研究院,上海依图网络科技有限公司,云从科技集团股份有限公司,等.人工智能标准化白皮书(2021版)EB/OL.2023-02-04.http:/ 可信 AI 评测.中国信通院顺利召开大模型标准体系2.0 研讨会 EB/OL.2023-06-08.https:/