信息系统互操作标准测试研究.pdf

标准化研究Standardization Research信息技术与标准化http:/641 引言互操作是指能够一起协同、高效、有效实现战术、战役、战略目标的能力1。实现互操作必须定义互操作接口，定义互操作接口的关键是标准，如果没有标准，接口往往会在特定的基础上定义，从而产生不可互操作的烟囱式解决方案。标准化工作可认为是实现互操作的关键和能力倍增器。2 北约标准化介绍北约标准化领域主要包括作战行动、军用装备和行政管理3类。作战行动标准化文件用于阐述概念、组织或方法要求，以使装备、设施、组织或部队能够履行其职能或使命。军用装备标准化文件规定贯穿装备全寿命周期的通用技术要求，装备包括各种系统(包括咨询、指挥和控制系统、武器系统和子系统)、接口、配件、组件、备件和耗材(包括弹药、燃料和补给)。行政管理标准化文件主要用于促进联盟在各个领域的管理，主要包括术语、财务、人力资源等2。每一类北约标准化文件基本由封皮文件(Covering Documents)、联盟标准(Allied Standards)和标准关联文件(Standards Related Documents)组成，各类文件关系如图 1 所示。2.1 封皮文件封皮文件包括北约标准化协议(STANAG)和北约标准化建议(STANREC)。STANAG 是为满足互操作要求，北约成员国就同意全部或部分执行标准、有或没有保留意见而达成的一份协议文件。每个 STANAG 都必须有“互操作要求”和“执行协议”两部分，以阐述相关互操作要求，以及就执行协议中覆盖的相关联盟标准提供相关指南，例如STANAG 4586用于北约无人机(UA)互操作的无人机控制系统(UCS)接口标准3。STANREC 是专门用于装备领域的北约标准化文件，列出了与特定联编辑：胡欣E-mail:电子科学研究院 高 静 李 丹Research on Information System Interoperability Standard Test 摘 要 围绕信息系统互操作标准化，介绍了以互操作为牵引的北约标准化及其互操作标准测试工作。重点以互操作标准化协议 STANAG4586 及其联盟标准 AEP-84 和关联文件为例，分析互操作接口及其测试分类、测试流程、测试方法等内容，为研制信息系统互操作标准以及开展标准符合性测试、互操作测试工作等提供借鉴和参考。关键词 互操作 STANAG4586 标准符合性测试Abstract:Focusing on standardization for information system interoperability，The NATO Standardization and interoperability standard i.e.Standardization Agreement(STANAG)testing were introduced.Taking STANAG 4586 and its Allied standard AEP-84 and related documents as examples,the interoperability interfaces and testing classification,testing process,testing methods were analyzed,so as to provide reference for the development of interoperability standards and standard conformance testing and interoperability testing for information system.Keywords:interoperability;STANAG 4586;standard conformance test信息系统互操作标准测试研究标准化研究Standardization Research2023 年第 9 期http:/65盟活动相关但与互操作无关的一个或多个北约或非北约标准。两种封皮文件可以互相转换，每种封皮文件都可能涉及一项或多项标准。2.2 联盟标准联盟标准包括北约标准和被北约使用的非北约标准。北约标准是指在北约标准化框架体系下发布的标准，例如 AAP-03北约标准化文件产生、维护和管理指南 、AEP-84用于无人机互操作接口控制文件的无人机控制系统标准接口4等，非北约标准一般包括民用标准和各国军用标准，例如 ISO 等国际标准及 MIL 美国军用标准等。北约标准一般由国家军备主任会议、咨询、指挥和控制委员会下的各个北约组织制定，并由北约标准化组织管理。其他国际标准在各自的组织内进行管理，由于这些组织中的大多数标准不满足军事要求，因此通常需要采用标准轮廓(profiles)定义标准对军事情况的应用，包括要使用的特定参数和需要的附加元素(例如安全保密)等5。2.3 标准关联文件标准关联文件用于帮助理解和实施一项或多项联盟标准的文件，可提供附加的数据和信息支撑标准的管理与实施，其形式主要包括标准实施指南、用户手册等，例如 AEP 84.2 等6。北约在通用互操作标准的开发、维护管理和执行等各个阶段都制定了标准测试的目标，旨在保证开展作战行动时的互操作性。为了满足标准测试的目标，需要进行不同类型的测试。例如，北约情报、监视和侦察互操作架构(NIIA)规定测试类型主要分为标准测试和标准执行情况测试，NIIA 中规定执行的 STANAG 4586 基于 NIIA 的顶层要求对测试情况进行了细化，同时 STANAG 4586 也是北约互操作标准体系(NISP)规定的强制标准7，因此研究STANAG 4586 及其相关标准(AEP-84)和标准关联文件(AEP 84.2)可有效掌握北约互操作标准测试。3 标准测试标准测试最初是作为北约联盟标准开发过程的一部分进行的，之后标准更新/维护过程也要开展标准测试。北约标准测试通常包括标准质量测试和标准要求匹配测试。3.1 标准质量测试标准质量测试是确保标准中规定的要求在技术上是正确、一致、完整和可测试的。以 AEP-84 标准为例，标准质量测试主要测试的是无人机控制系统(UCS)的架构(见 AEP-84.2AEP-84 标准验证/测试指南)。文中指出，一方面，AEP 84 中规定的UCS 架构是基于多个国家研究(如北约工业咨询组第 53、65 研究组)、多种 UCS 系统开发工作(如美国的战术控制系统，加拿大的载荷控制站等)以及各种无人机系统(如捕食者、猎人、先锋、影子等)研发和实际使用而形成的结果；另一方面，在加拿大资助的国际技术开发计划的 UCS 结果验证了 AEP 84 的要求，该 UCS 能够使用至少两种不同的载荷类型进行 3 级和 4 级互操作，该项工作得到的结果和一些经验也已经被应用到 UCS 架构定义和要求中。因此，可以认为AEP 84的要求在技术上是正确、一致、完整和可测试的。UCS 架构如图 2 所示。无人飞行器控制系统图 1 北约标准化文件概览标准化研究Standardization Research信息技术与标准化http:/66(CUCS)是 UCS 架构的核心元素。CUCS 能够实现数据链接口(DLI)、指控接口(CCI)和人机界面接口(HCI)功能，通过与 VSM 的相关功能(如消息转换)实现与 UA 的互联互通、通过 CCI 与 C4I 节点的互联互通、通过 HCI 能力实现与 UA 操作者的互联互通。CUCS 为操作者提供计算机相关通信、任务规划、任务执行、载荷数据接收、有限数据利用和数据分发等功能。CUCS 还支持图形用户界面，使 UA 操作者有效地执行相关任务。3.2 标准要求匹配测试确保互操作标准质量的前提是标准要有一组经过验证过的高质量的信息交换要求(IERs)。标准是否能成功发挥其作战应用取决于标准与 IERs 的匹配程度，在标准的开发过程中通过持续的标准要求匹配测试评估标准与 IERs 的匹配程度，才能确保最终的标准规定的要求能够满足 IERs。以 AEP 84 标准为例，在该标准开发过程中对 IERs 的定义吸纳了北约各参与国实际无人机参与作战行动的经验，以确保 IERs有效，在标准的维护过程中，也将继续使用各国的无人机作战试验和相关经验来根据需要更新 IERs 和标准，从而保证标准的质量。3.3 标准测试方法标准测试也称为标准文档验证测试，主要包括对新标准进行的初始验证测试和对现有标准的技术更改进行的变更验证测试，测试验证方法如下。第 1 步：国家、服务、功能和/或性能要求等均已充分识别并且经过相关机关确认有效。第 2 步：在编写标准或标准的技术更改时，同时也编写了符合性测试目标、符合性测试标准和测试用例等用于后续开展标准符合性测试工作。第 3 步：已经有样例系统贯彻执行了该标准或标准的技术更改。进行符合性测试所需的测试程序和工具也应该独立于开发人员开发，但要与贯标样例系统的开发同步。第 4 步：使用符合性测试程序、工具和样例系统来验证标准或标准的技术更改。根据对验证测试结果的审查，可能需要对标准或标准的技术更改、测试标准、测试程序或贯标样例系统进行修改。修改后还应进行后续测试对修改进行验证。4 标准执行情况测试标准执行情况测试对确保现役和未来系统(或零部件)在复杂多变的作战环境下有效执行标准至关重要。因此需要进行标准符合性测试和互操作测试。标准符合性测试又分为零部件级标准符合性测试和系统级标准符合性测试；互操作测试一般需要作战部队在作战环境中使用系统时进行，执行北约或各参与国的不同要求，一般不就具体的互操作测试内容达成标准化协议，即有关内容不在标准化文件(如 STANAG)中阐述。4.1 标准符合性测试4.1.1 测试分类4.1.1.1 零部件级标准符合性测试零部件级标准符合性测试的目的是确保在开展系统级标准符合性测试前所有的零部件都符合标准要求，通常这是确保系统之间能够互操作的第一步。零部件级标准符合性测试一般只需在实验室的技术环境下进行，通常不需要在作战环境测试，各个零部件的标准符合性测试可以分别开展。以 AEP-84 为例，零部件级标准符合性测试主要测试的无人飞行器控制系统(CUCS)与 VSM、指控图 2 UCS 架构(虚框部分)标准化研究Standardization Research2023 年第 9 期http:/67接口(CCI)特定模块功能的技术要求的一致性。测试主要内容包括待测零部件识别、通信协议测试、DLL 测试、CCI 测试、HCI 测试。(1)零部件识别UCS 架 构 由 一 个 CUCS 组 成，CUCS 根 据STANAG 定义的接口与 UA、操作人员和指控网络进行交互。UCS 测试的零部件组成包括：a.CUCS：AEP 84 规定的架构、功能点和能力；分别通过 DLI 和 CCI 与 VSM 和 CCISM 功能模块的接口和规定的 HCI 要求。b.VSM 功能模块：通过 DLI 与 CUCS 的接口，可能与控制数据终端(CDT)、启动和恢复和操作者具有专门的接口。c.CCISM 功能模块(如果需要)：根据需要通过CCI 和 C4I 节点与 CUCS 的接口。(2)通信协议测试使用了 STANAG 参考引用的通信协议的设备，按照通信协议的具体要求进行通信协议测试。(3)接口测试数据链接口(DLI)、指控接口(CCI)测试、人机接口(HCI)测试首先需要根据标准的具体要求总结提炼出接口要求和验证矩阵，每个要求都要在标准(AEP-84)中有唯一的 ID 号进行标识，例如 DLI 接口要求形式为“DLI XXXX”。其次，要明确接口零部件级标准符合性测试原理，并简要说明测试方法/标准、测试环境、测试配置要求等。在标准关联文件(测试标准文件 AEP-84.2)中规定每个接口符合性测试的要求矩阵，明确要求标识号、对应标准文件位置、具体要求、推荐的测试验证类型、对应的互操作等级、涉及的系统、零部件或接口等信息。其中，测试验证类型一般包括：演示验证(D)、测试验证(T)、分析验证(A)、模拟验证(S)等，另外，有一些要求的测试验证是需要通过验证其他相关要求来实现的，还有一些要求的测试验证推荐在修订标准时由标准开发团队进行测试验证。4.1.1.2 系统级标准符合性测试系统级标准符合性测试是将 UCS 和 UA 作为一个完整的无人机系统(UAS)，根据 AEP-84 中的要求(重点关注的是 UAS 与 DLI 和 CCI 消息)验证VSM、CUCS 和 CCISM 交互。该阶段的测试可能包括飞行试验和台架测试，一般这些实操测试由 UAS承制者负责，但是可由外部机构指定一组测试。与零部件级标准符合性测试类似，每个系统要求都有唯一的要求 ID 标识“UCS XXXX”，这些要求的测试应在零部件或系统级标准符合性测试期间进行。同理，系统级标准符合性测试也要明确测试原理、测试方法/标准、测试环境、测试配置要求等。4.1.2 通用测试方法验证标准符合性的过程如下。第 1 步：发起人向经认可的测试机构提交系统符合性测试申请。第 2 步：测试机构和发起人同意测试科目，包括待测试系统的测试标准和所需资源(经费、人员、计划、地点、设备、文件等)。第 3 步：发起人和/或开发人员提交要测试的待测对象并向测试机构提供适当的支撑文件和资源。测试机构根据商定的标准和程序进行测试。第 4 步：测试机构准备一份测试报告并向发起人和开发人员提供一份副本。如果系统存在与标准不一致的情况，开发人员和测试机构将根据需要进行修正，必要时进行重新测试。如果系统完成并通过符合性测试，测试机构将向发起人和开发人员提供符合性证书，并在测试成功完成后将系统符合性信息注册到数据库中，同时向标准维护人提供注册信息。4.1.3 符合性注册对于 STANAG，各国及北约层面一般会维护一份符合该协议的系统(如 UA)和需要与其互操作的设备/系统(如地面站)清单。由于互操作测试通常由北约互操作要求、测试和支持工作组(IRTSWG)协调和组织测试，所以清单一般由该工作组维护，但特殊情况下，例如 AEP 84 涉及的 UA 互操作测试不适用，则由标准的维护人负责维护。标准符合性测试工作结束后，测试机构会给被标准化研究Standardization Research信息技术与标准化http:/68测系统所属单位和标准维护人提供评估报告，如果系统(设备)经过验证符合标准要求，标准维护人则将其纳入符合性清单数据库，其中包含了已经经过验证符合的设备，以及其他可以与其互操作的设备和对应的互操作等级等信息。4.1.4 回归测试如果标准及其标准符合性要求发生改变，或者测试中发现了潜在的功能问题时，可能需要重新进行标准符合性测试，即回归测试，除了测试零部件或系统中的特性更改之外，还需要执行一组选定的先前执行的测试，以验证更改没有影响零部件或系统的整体性能。4.2 互操作测试互操作测试/演示的目的是验证那些已经经过标准符合性测试认证的系统在联合环境中是否能够互操作。符合性认证一般不涉及标准中规定的一些可选功能的符合性，但这些可选功能可能会引起互操作问题，并且只能通过同时测试多个系统时才能识别出来。因此当系统分别独立通过了多个标准的符合性测试时，还不能保证最终的互操作，还需要通过互操作测试/演示进行确认。例如对于 AEP 84，互操作测试的目标是评估与其他联合战场系统(体系级)集成的完整作战无人机系统的整体能力和行为的作战评估。测试由使用实时和/或模拟数据的作战环境中具有作战场景的用户执行。该级别的测试通常由各国或北约指定的测试机构使用生产或预研系统以及由作战部队执行。5 启示建议借鉴北约互操作标准测试的经验，开展信息系统标准符合性测试及互操作测试时应从标准是否能准确体现互操作要求、待测系统是否符合标准规定的要求两个方面开展测试与评估。其中，评价标准是否能准确体现互操作要求应在标准开发及其更新维护阶段进行，通过测试验证标准规定的要求在技术上是正确、一致、完整和是否可测试。反过来讲，确保标准质量的前提是标准的输入也就是互操作要求(即信息交换要求)是经过验证且质量有所保障。此阶段的测试目的是验证标准规定的要求是否能充分匹配信息交换要求。未来信息系统标准符合性测试工作可从以下两方面进行优化。(1)建立通用的标准符合性测试方法与流程，主要包括待测零部件或系统识别、待测通信协议识别、待测接口识别(核心步骤)。对于接口的符合性测试，首先，需要根据标准的具体要求总结提炼出接口要求和验证矩阵(应在标准附件中体现，明确要求标识号、对应标准文件位置、具体要求、推荐的测试验证类型、对应的互操作等级、涉及的系统、零部件或接口等信息)，每个要求都应在标准中对应唯一的要求 ID 号进行标识(属于标准正文内容，应在标准开发阶段完成)；其次，要明确接口零部件级标准符合性测试原理，并简要说明测试方法/标准、测试环境、测试配置要求等。(2)标准符合性测试工作应贯穿到标准的全生命周期过程，在标准研制阶段(发布前或进行技术更改前)就应该配套开发标准符合性测试工具，将其作为提升标准质量的一个重要手段，避免在标准发布后依靠符合性测试工作发现问题再对系统进行升级改造而产生不必要的浪费。并且测试工具开发方应独立于标准研制方，但工具开发过程要不断与标准研制方进行协调。参考文献1 NATOStandardizationOffice.AAP-06(Edition2021)NATOglossaryoftermsanddefinitionsS.Brussels:NATOStandardizationOffice,2021.2 NATOStandardizationOffice.AAP-03(EditionKVersion1)directivefortheproduction,maintenance and management of NATOstandardizationdocumentsS.Brussels:NATOStandardizationOffice,2018.3 NATOStandardizationOffice.STANAG4586standardinterfacesofUAControlSystem(UCS)forNATOUAInteroperabilityS.(下转第 74 页)技术热点Technical Focus信息技术与标准化http:/74Brussels:NATOStandardizationOffice,2017.4 NATOStandardizationOffice.NATOstandardAEP-84(EditionKVersion1)standardinterfacesofUnmannedAircraft(UA)ControlSystem(UCS)forNATOUAInteroperability-InterfaceControlDocumentS.Brussels:NATOStandardizationOffice,2017.5 NATOStandardizationOffice.NATOStandardAEDP-02VolumeI(EditionBVersion1)NATOIntelligence,Surveillance,andReconnaissance(ISR)InteroperabilityArchitecture(NIIA)-资源优化调控策略分为不同的粒度，包括虚拟网络建立级别的(组网策略)、功能编排策略(系统级)、资源映射策略(节点级)、多信道并发传输控制策略(链路级)。(1)虚拟资源映射策略；(2)时隙分配策略；(3)端到端适变传输策略；(4)多路径并发传输控制策略；(5)负载均衡策略；(6)链路择优选择策略；(7)虚拟网络功能编排策略；(8)资源映射策略；(9)路径优化策略；(10)传输路径选择策略。4 结语本文从评估指标体系建立、评估步骤、评估方法、评估算法等方面研究总结了信息网络多维效能评估链条上的各个环节要素和经典方法。在充分梳理、细化各级各类网系、设备参数指标的基础上，建立科学规范标准的效能评估指标体系库是非常有意义的工作。与此同时建立评估算法库、归一化模型库，为效能评估奠定准确完备的基石，同时在此基础上基于数次评估结果、基于多手段感知采集的网络运行实时数据进行评估指标体系库、评估算法库和归一化模型库的更新完善和精准优化，进一步规范和标准化效能评估环节和链条要素，为持续资源优化调控、提高信息网络运行效能保驾护航。参考文献1 BoLennseliusandRydstrom.SoftwareFaultContent and Reliability Estimations forTelecommunicationsSystemJ.IEEETrans.SelectedAreasinCommunications,1990,8(2):262-271.2 THOMASDOWNS,ANTHONYSCOTT.EvaluatingthePerformanceidSoftwareReliabilityModelsJ.IEEETrans.Reliability,1992,41(4):12-16.3 ZAHEDIF,ASHRAFIN.SoftwareReliabilityAllocationBasedonStructureUtility,PriceandCostJ.IEEETrans.SoftwareEng,1991,17(21):345-356.4 李冬,宋里宏,王璐.战场网络攻击效能分析 J.网络安全技术与应用,2007(3):78-79,92.(收稿日期：2023-08-18)(上接第 68 页)ArchitectureDescriptionS.Brussels:NATOStandardizationOffice,2018.6 NATO Standardization Office.StandardsRelatedDocumentAEP-84.2(EditionAVersion1)Validation/TestGuidelineForAEP-84S.Brussels:NATOStandardizationOffice,2017.7 NATOStandardizationOffice.NATOstandardADatP-34(EditionNVersion1)NATOInteroperabilityStandardsAndProfiles(NISP)S.Brussels:NATOStandardizationOffice,2022.(收稿日期：2023-08-25)