人工智能在美国海军实战中的表现.docx

人工智能在美国海军实战中的表现目录
编者按1本文主要内容2
前言2.应用现状3
1.1. 美国海军的首要任务：开展AI! 3
1.2. 人工智能漏洞：降低其系统的作战预期3
1. 3.美国海军领导对人工智能/人■机团队协作盲目乐观4
1.4. 应用AI前应明确其缺陷5.优缺点比照5
2.1. 人类识别的优势5
2.2. 人工智能的目标识别5
2.3. 在复杂多变的现实世界中，AI很难描述扩展任务的目标识别性能6
2.4. 人类识别与目标识别算法不具有可比性6.缺陷7
3. 1.对抗中被欺骗7
4. 2.决策错误7
5. 3.判断被质疑8.军事应用悖论8
1. 1.过度依赖人工智能将会使人类作战人员遭受"技能退化”8
4. 2.人-机团队的影响力9
5. 3.人工智能在军事上〃不可独立〃! 9.多传感器应用9
5. 1.多传感器感知提升 AI能力9
6. 2.最正确权衡仍需探索10.需注意的原那么10
3 .美国海军如何吸引无人作战装备人才，给中国提了个醒11编者按
第1页共13页
利用不同领域的传感器收集不同方面的信息，就像人类利用多个感官获取 周围信息一样。
当一个人听到的（听觉传感器）与看到的（视觉传感器）不一样时，就会 引起这个人的怀疑和重新审查，从而就有可能发现潜在发生的欺骗行为。
同理，基于多传感器感知的AI系统也可以通过这种方式发现可能存在的欺 骗行为。
5. 2.最正确权衡仍需探索
然而，这种方法是否提高了对抗人工智能系统敌对控制的鲁棒性，仍是一 个悬而未决的问题。
每个传感器的数据输入到一个自动化工具中仍然受相同的对抗技术影响。
采用多传感器会增加AI系统的复杂性，而这种复杂性那么需要在以下两方面 做出一种权衡。
一方面，多传感器使对手在欺骗系统方面的挑战变得复杂。
另一方面，在一个模型中增加输入元素的数量和特征的复杂性也会导致在 数学上不可防止地增加敌对控制的可能性（因为可能的欺骗方法的数量比有效 输入的数量增加得更快）。
需要更多的研究来找到最正确的权衡。
然而，向多领域感知的转变当然不能排除欺骗或任何特定途径的可能性。
6.需注意的原那么
尽管有上述讨论，但不可否认的是，美国海军和更广泛的美国国防部应用 迫切需要推进人工智能。
然而，作战人员必须睁大眼睛，他们必须在何时、何地以及如何使用这些 技术方面极其审慎。
因此应该考虑以下3个原那么，以便在美国国防部应用中明智地和负责任地 部署人工智能系统：
①实际应用AI系统需要强有力的证据说明其有效性。
因为如果缺乏强有力的证据，人们就会怀疑这些系统的优势是否和报道的 一样好。
第10页共13页
Al系统有可能在特定的训练数据集、环境、测试条件和假设下表现出较好 的性能，但是当这些条件都发生变化时，所获得的实验结果有可能会有很大不 同，所以很难将有限条件下的实验结果实际地转化为满足作战需求的现实应 用。
②部署人工智能系统必须具备足够的技术和社会技术平安网。
克服环境和敌方的干扰是困难的、尚未解决的问题。
因为人工智能是基于模式（编程或从数据中提取）进行作战的，所以当这 些模式不成立时，其作战能力就会受到内在限制。
③人-机团队必须作为一个系统整体进行测试。
人类和机器擅长处理不同局部。
分配功能和组合这些能力不仅不简单，而且常常违反直觉。
需要对整个系统进行仔细评估，以支持任何关于应用程序的可信度或适用 性的主张。
目前，人工智能最有效的应用场景是：解决范围有限的、清晰仔细定义的 问题，并确实可以很好地支持作战人员或美国国防部的现有工作。
美国领导人也警告说，在当今世界如果美国不采用最新技术，那么美国就 会有失去军事技术竞争优势的风险，而眼下的当务之急是：美国海军领导人必 须要彻底了解和充分解决AI系统中的漏洞，这样在关键作战能力中应用AI系 统，就不会在核心要害部位招致灾难性的弱点。
7.美国海军如何吸引无人作战装备人才，给中国提了个醒
这周美国海军要搞一个演习，演习算大也不算大，说他大是因为人数不 少，演习双方是美国海军，还有几百个“江湖人物”。而演习的内容就是要看 一看，这几百个人能不能够躲避破坏，或者干脆是黑掉美国海军的无人系统， 所以这些江湖人物，其实就是军队之外的那些通讯，网络控制领域，或者是 一些个技术应用领域的一些个高手，美国人称这类人为“极客”。
那么说这个演习也比拟小，是因为也不见得要用多少兵力，而且恐怕接触 的很多东西，未必也是美国海军最核心的。当然了，演习的思想很明确，现在 无人作战设备，用得是越来越多了，所以美国海军觉得，要防范对手使用无人 机，无人舰艇，还有无人的潜航器，特别是蜂群作战方式，对自己进行侦察干第11页共13页 扰和打击，也要考虑自己这些东西，会不会被干扰破坏。甚至有没有可能被对 手控制以后，无人装备“造反”，回过来咬自己一口。你想如果满大街都是， 波士顿大狗“造反” 了，那谁受得了。
这个演习就包含了三个内容。第一个内容重点在于通信，通常不同类型的 无人驾驶飞行器，互相通讯的时候，可能因为软件不兼容吧，或者是软件设计 不是一个单位的，有可能会出现各种各样的问题。那么第一个内容的演习，就 是要把不同类型的无人系统，聚集在同一个战场空间，要求参加演习人员，去 寻找无人机控制软件中的BUG,谁要是能够发现，海军这些无人机平台里边 儿，有哪些个漏洞，有哪些后门儿，有可能导致这些无人机，在战场上被人利 用，找到BUG 一笔奖金就到手了。
第二个内容，就是要求参加演习的人，使用他的建模分析能力，模拟一个 大场景之下，作为美国海军的对手，怎么逃避美国海军无人机搜索。或者你自 己作为美国海军，怎么去找到这些东东西藏，隐藏自己的目标，然后就审视一 下，美国海军现在的搜索能力还有哪些缺陷，该如何增强。以前美国海军参 与，在加勒比海上搜索毒贩的船只，就经常需要跟毒贩的船只捉迷藏，最后的 内容就涉及了人工智能，还有机器学习，如果海军要在无人系统中，有效地使 用这两种技术。
那么就需要能够跟更多的研究人员，大规模进行合作，并且共享数据库， 以更好地改进美国海军的，机器学习和人工智能。然后所有这些事情按照规划 做个排序，先演示整个演习的战略和计划，然后要组建一个工作组，最后是各 个演习科目逐次展开，最后要看一看这个演习的结果，能为无人机 无人平台的 开展做些什么，为什么这个工程的名称，叫“极客的蓝色天使”？工程负责人 说，这个活动的目的就是看看，如何吸引那些想帮助国家，但是又没有找到渠 道的极客。
所以这样一个活动，我觉得挺值得我们探索的，这是翻开大门收集思路， 用比拟低的本钱，就可以获取一些对抗经验，而且有可能还能打破自己，过去 固有的思维模式。同时运气好的话，还能为自己建立一个更广泛的人才库。其 实不仅美国海军，这种比赛或者演习，美国其他军种也搞过。这样能够让军队 跟民间，还有不同行业之间，形成了一个更好的直接的联合，我们有没有这种 活动？
第12页共13页
其实也有，比方说这两天北京理工大学，江麓奖学金的比赛又要开始 了。，现在正在征集各种比赛的科目，也就是鼓励学生们要翻开脑洞，和科研 单位直接接触，虽然说参赛的都是在校的本科生，有些甚至是大一大二的，经 验和思考能力，可能会需要锻炼。
但是这种尝试的性质都是一样，另外我也希望解放军能有类似的一些方 式，面向科研机构开展不同难度，不同深度，不同复杂程度的桌面对抗演练， 能够让科研和实战的需求，结合得更紧密，甚至很多不涉密的内容，也可以让 民众体验一下。能够让民众获得一些，军事领域的直观认识作为必要科普，这 样民众面对很多军事和国际问题的时候，可能思考的过程也会更加的理性和成 熟。
第13页共13页
可以完全依赖于一种新的迷人的技术，无论是网络空间、人工智能……这种 技术会使人能力跃升、更进一步。
但它是否会造成一个潜在的致命弱点呢？通常会的！
——詹姆斯・史塔莱迪上将本文主要内容
1 .人工智能当前在美国海军的应用现状：
1）人工智能的漏洞降低作战预期；
2）美军领导对人工智能/人-机团队协作盲目乐观。
2 .人类与人工智能目标识别的优缺点比照：二者没有可比性，人类识别更 胜一筹，AI无法识别新场景、且不能描述扩展任务。
3 .人工智能在作战应用中的缺陷：
1）在对抗中容易被欺骗；
2）即使在人类监督下也会出现错误决策；
3）在紧急情况AI判断仍会遭到人类质疑。
4 .自动化军事应用上的悖论：
①过度依赖人工智能将会使人类作战人员遭受“技能退化〃
②人-机团队每个局部正确分配功能将会比人类或机器更具影响力
③人工智能在军事上只应作为一个强大工具用于特定作战任务。
5 .解决方案：多传感器
①可增强人工智能可靠发现、定位、跟踪和瞄准能力
②多可对于己方和对手的双重影响需要更多研究来找到最正确的权衡。
6 .美海军推进人工智能应用的原那么：
1）确保AI应用的有效性；
2）部署技术和社会技术平安网；
3）人-机团队必须作为一个系统整体进行测试。
2022年2月，美国海军学会学报刊发了《人工智能：太脆弱而无法战 斗？》 （Artificial Intelligence: Too Fragile to Fight?）。
第2页共13页
文章认为，人们对于人工智能的技术优势往往过于乐观，美国一局部领导 人甚至担忧不采用人工智能就会有失去军事技术竞争优势的风险。
虽然人工智能在一定条件下可以很好地支持作战人员或美国国防部的现有 工作，但是人工智能仍具有持久的、关键的漏洞，如果国防应用程序要保持韧 性和有效性，就必须彻底了解和充分解决这些漏洞，否那么在关键作战能力中采 用人工智能就会在核心要害部位招致灾难性的弱点。

图：2018年3月，一辆自动驾驶汽车在加利福尼亚州发生致命撞车事故
1 .应用现状
1.1. 美国海军的首要任务：开展AI!
人工智能已经成为提高美国海军和美国国防部能力的技术焦点。
美国海军部长卡洛斯・德尔•托罗(CarlosDelToro)将人工智能列为革新美 国海军力量的首要课题。
美国海军作战部长迈克尔・吉尔戴(Michael Gilday)上将也提出：人工智能 在战场能力和决策灵活性方面提供了许多有希望的突破。
1.2. 人工智能漏洞：降低其系统的作战预期
AI技术的进步也伴随着巨大的风险：由于自动化(包括人工智能)具有持 久的、关键的漏洞，假设要应用于国防应用中，那么必须彻底了解和充分解决这些 漏洞，才能保持其有效性和韧性。
然而，目前的人工智能系统非常脆弱一一也就是说，在高强度的使用中， 很容易被欺骗、损坏或容易出错。
第3页共13页
机器学习，尤其是现代"深度学习〃方法，虽然推动了人工智能的进步，但 也非常容易受到欺骗和干扰。
人们通常认为“人-机团队”可以解决这个问题，但是这种团队本身也存在大 量问题且十分脆弱。
因此，新的AI功能系统只是看起来比原有技术优越，但是其潜在的脆弱性 将为作战埋下灾难性缺陷与隐患。
此外，未来应用程序中的故障模式通常是不可见的。
因此，人工智技术虽然取得了重大进步，但往往没有充分认识到这些进步 的局限性。
导致了一种很危险的现象：冒着过度依赖技术的风险，而技术可能会大大 低于预期。
1.3. 美国海军领导对人工智能/人-机团队协作盲目乐观
陆军未来司令部司令和国防部技术采纳部领导迈克•默里（MikeMurray）上 将在最近的一次电台采访中说："我无法想象一个自动的目标识别系统不会比人 类的记忆做得更好……假设你必须在训练抽认卡上有90%的成功率才有资格坐到 炮手的位置上，那么根据你所看到的火炮类型，如果有正确的训练数据和正确 的训练，我无法想象没有一个系统（一个算法）能够做得比90%更好，然后让 人类决定是否正确、是否扣动扳机。〃
这种说法反映出，人们对人工智能的局限性以及人类与自动化之间的协调 困难缺乏想象。
AI识别的成功率只是建立在有限范围内实验所获得的数据基础之上的，现 实世界中并没有一个成功的案例可以证明AI的可靠性。
尤其是过去几十年，自动化在大型关键领域系统（如航空、制造和工业控 制系统）中的应用存在诸多缺陷和漏洞。
因此，AI在现实世界中的应用要吸取这些经验教训，而且要慎之又慎，只 有在充分了解AI系统自身存在的局限性，才能更行之有效地应用AI系统。
目前关于人工智能的说法往往过于乐观。
过分夸大了技术期望，人工智能并不是万能药。
相反，人工智能是一套重塑问题及其解决方案的技术。
第4页共13页
人工智能在军事或国家平安问题上的可靠应用必须确定要克服的关键问题 与限制因素，军方不能忽视基本的技术现实，就急于开发新技术。
否那么，军方可能会发现自己依赖于脆弱的工具，无法胜任实际的作战任 务。
1.4. 应用AI前应明确其缺陷
在军事行动中，必须根据“采用新技术是否会产生未知问题，以及是否会产 生比它所要解决的问题更危险的问题〃这个标准来仔细评估新技术。
对于大型、复杂和"棘手〃的问题，"任何解决方案总比没有好〃这种方式并 不总是经常能行得通。
相反，干预往往会产生新的问题。
2 .优缺点比照
2.1. 人类识别的优势
人类识别和目标识别算法既不等效也不直接可比。
二者以不同的方式执行不同的任务，并且必须根据不同的标准来衡量。
人类在目标识别任务中，不仅能识别目标本身，同时还能很好地识别与目 标相关的周围环境。
人类可以在理解目标识别这一概念的基础上，从总体上概括出目标本身及 其所处环境的观察结果，并能大致评估出不确定因素，从而能更加清晰地了解 所识别的目标。
因此，人类的视觉和区分能力远比简单的目标识别抽认卡测试所能测量的 要强大得多。
2. 2.人工智能的目标识别
相比之下，人工智能系统的目标识别是空白的。
基于视觉的自动分类系统远无法到达“识别”的程度，而只是简单地解释和 重复的模式。
这种系统不能理解选择目标的原因，也不能概括出它们编制程序要处理的 具体模式。
而只是通过编程、或是从数据分析中提取的结论。
第5页共13页
如果遇到从未遇到的新场景，很可能就没有任何的模式适用，人工智 能系统提供的那么是毫无知识、毫无根据的指导。
2.3. 在复杂多变的现实世界中，AI很难描述扩展任务的目标识别性
分匕 目匕
在环境变化、设备退化或蓄意逃避和欺骗的现实世界中，单独的图像识别 不能对除了目标本身以外的周围环境进行描述。
人类在处理图像失真(比方，相机镜头上的灰尘或雨水、视频信号中的电 子噪声、不可靠通信图像中的丧失局部)方面要更胜一筹。
在特定图像失真上训练的模型可以接近或超过人类在特定图像失真上的性 能，但AI的这种改进只是针对训练模型有较好的表现，在识别其它非训练模型 中的图像失真方面性能不佳。
2.4. 人类识别与目标识别算法不具有可比性
尽管图像识别模型可以在简单的抽认卡测试中“优于〃人类这一说法可能是 真的，但是使用实验室数据或是在作战测试场景中，人类和算法在目标选择和 识别方面的性能是等同的，正如默里将军所说，这意味着在这些任务上的性能 是具有可比性的。
然而这一结论不可尽信！因为每一种情况下所做的工作是不一样的，所以 生成结果的可靠性也会有很大的不同，依赖原始性能可能会导致危险的情况。

图：2021年12月，波音公司的MQ-25型无人飞机在美国海军“乔治・H・W•布什”号航空母舰 (CVN-77)的飞行甲板上正在接受指挥
第6页共13页
3.缺陷
3. 1.对抗中被欺骗
目前表现最好的人工智能方法是基于深度神经网络机器学习，在简单的抽 认卡资格测试中，人工智能的性能似乎超过了人类。
然而，这种性能的代价很高：这些模型会过度学习评估标准的细节，而不 是适用于超越测试用例以外的一般规那么。
一个特别值得注意的例子是"对抗性例子〃的问题，即由对手设计的尽可能 混淆技术的情况。
一些研究人员指出，AI的主要显著特征之一就是AI在对抗中易被对方采用 的混淆技术欺骗。
为了提高人工智能的有效性，军方必须意识到欺骗可能导致不当行为的程 度，并建立相应的理论和周围系统，以便人工智能支持的决策即使在敌人试图 影响他们时也能保持稳健。
3. 2.决策错误
人们可能会认为，让人类参与到AI系统的决策过程中就可以解决AI本身 的漏洞。
也就是说，AI系统向人类推荐决策建议，或者AI系统在人类严格监督下进 行决策，这样人类就可以控制AI系统决策结果。
不幸的是，人-机团队也经常被证明是脆弱的。
因为人们对于自动化的状态是否可信，以及自动化建议采取的行动是否适 当会感到不确定。
1988年7月，美国“文森斯〃号(CG-49)意外击落了一架从阿巴斯班达尔国 际机场起飞的伊朗民航客机，原因是该舰的宙斯盾系统曾为这架民航客机分配 过一个跟踪标识符，但是这个跟踪标识符后来又分配给一架对方战斗机，AI系 统根据这个跟踪标识符将迎面驶来的飞机描述为对方战斗机，人类操作员根据 这一描述也认为这是对方战斗机，因此决定下令向这架飞机开火。
尽管自动化水平已经有所提高，但如今人-机团队的脆弱性已经导致了最近 几起高度自动化汽车(比方特斯拉)的撞毁事故、2017年美国海军"约翰・S•麦第7页共13页 凯恩〃号驱逐舰(DDG-56)海上相撞事故，以及2009年法航447航班在大西洋 上空失事事故。
这凸显了人与机器之间的模式混淆问题，尤其是当信息在复杂系统中传递 或呈现出糟糕的人为因素时，这种问题可能会加剧。
另一个相关的问题是自动化的依赖，人类无法找出与机器解决方案相矛盾 的信息。
评估人-机团队在这两种情况下中的性能是至关重要的一一无论目标是提高 平均性能还是在特定困难情况下的性能。
3.3. 判断被质疑
有人可能会争论说，高整体性能或特定应用程序的操作认证可以消除这些 担忧。
但这也是一种过于简化的观点。
再次想象一下默里将军提出的目标场景：假设系统有98%的准确率，但训 练有素的人在相同的测试场景中只有88%的准确率。
对于战场上真正的作战人员来说，当子弹和导弹飞来飞去，命悬一线时， 作战人员是会质疑系统的判断，还是会直接扣动扳机？在危险紧急的情况下, 作战人员会因为AI系统的优势而选择相信AI系统具有更好的性能吗?

图：一名作战专家在美国海军“约翰S麦凯恩”号驱逐舰(DDG-56)上的作战信息中心监测水面联系
4.军事应用悖论
4.1.过度依赖人工智能将会使人类作战人员遭受〃技能退化'
随着任务的自动化，人类作战人员将遭受所谓的“技能退化〃。
第8页共13页
因此，默里将军假想的坦克系统作战人员，虽然他们能〃发现〃系统的错 误，但是他们并没有被授权这样做，他们被要求必须在系统的帮助下执行任 务。
例如，这就像普通人使用智能手机中的全球定位系统进行导航一样，在使 用全球定位系统以前，普通人自己寻路的技能本是家常便饭，但是全球定位系 统进行导航后，普通人自己寻路的能力越来越差。
这种过度依赖AI系统的现象同样也会影响到飞行员、舰桥观察团队等作战 人员的专业技能。
4. 2.人-机团队的影响力
尽管人-机团队很脆弱，但是只要每个局部都分配了正确的功能，并提供足 够的支持，可以大大超越人类或机器。
以“半电子化国际象棋〃为例，人类棋手在选择走法时使用计算机辅助决 策，即使很弱的棋手在没有帮助的情况下也能到达一个超越世界顶级象棋大师 和世界顶级电脑象棋程序的水平。
因此，人机一体化和关注与自动化相关的流程可能远比人类技能或智力更 有影响力。
4. 3.人工智能在军事上“不可独立”！
军方绝不能将人工智能应用作为"独立人工智能〃。
相反，人工智能只能是人类智力和组织能力的延伸。
人工智能不是一个独立的代理，而是一个更为强大的工具，其应用于现有 作战任务的特定方面。
5.多传感器应用
5.1. 多传感器感知提升AI能力
如果单独一个系统是脆弱的，那么一个融合多种传感器的系统性能会更好 吗？
多传感器数据输入就是指对基于视觉传感器的系统进行逻辑拓展（比方增 加电磁频谱、音频、态势感知等传感器系统），从而可以增强AI系统可靠地发 现、定位、跟踪和瞄准的能力，美国海军目前正在通过“红龙〃演习来评估这种 方法的有效性。
第9页共13页