如何给机器人设计道德算法.pdf

2023年7 月第4 2 卷第7 期洛阳师范学院学报Journal of Luoyang Normal UniversityJul.,2023Vol.42No.7如何给机器人设计道德算法赵聪帅，王健（西安交通大学哲学系，陕西西安7 1 0 0 4 9）摘要：机器人伦理学旨在描述一种设计和评价机器人道德算法的方法，该方法可以应用在自动驾驶汽车与军事救援机器人的算法中。依据德里克勒本（DerekLeben）的道德判断产生自利有机体中合作行为的进化压力的观点，将罗尔斯的契约主义与功利主义、道义论、德性伦理学等道德理论在各种困境游戏中的应用结果进行比较，认为只有契约主义能在各种困境中产生帕累托最优与合作行为，基于契约主义差别原则的Leximin程序适合应用于各种各样的决策空间。关键词：合作；契约主义；道德算法；Leximin中图分类号：B82文献标识码：A文章编号：1 0 0 9-4 9 7 0(2 0 2 3)0 7-0 0 1 5-0 6一、引言20世纪著名科幻作家艾萨克阿西莫夫提出了机器人学三定律。对于大多数简单情况，这个定律可以作为一个粗略的指南，但它不能作为一个决策的详细规则。因为一旦机器人遇到做与不做都会对他人造成伤害的情况，它就会无所适从进而造成系统崩溃，这些情况被称为道德困境。本文的目的在于为机器人设计道德算法提供一个一般的理论原则。依据此原则设计的道德算法适合于破解合作情况下的道德困境与非合作情况下的道德困境。德里克勒本将达尔文关于道德判断与合作行为的关系“这等感觉的最初发展，乃是为了诱使那些可以从社会生活中获益的动物彼此生活在一起”1 概括为进化假说“道德判断是自利有机体中合作行为的进化压力的产物”2 1 2 7。本文在此基础上概述已有研究的机器人算法程序的道德理论模型，以及这些道德算法在困境游戏中的应用；最后通过探讨罗尔斯的契约主义及其算法原则在困境游戏中的应用，认为罗尔斯的契约主义是破解所有道德困境的最佳理论方案。契约主义的“差别原则”，即“最大化最小价值”原则是解决合作与非合作问题的最有效方法。通过比较“最大化最小价值”原则算法化后的Maximin程序与进化版的Leximin程序，得出Leximin程序是破解非合作困境的最优解。收稿日期：2 0 2 3-0 2-1 7作者简介：赵聪帅（1 9 9 3一），男，山西运城人，硕士研究生，研究方向为人工智能伦理学；王健（1 9 8 4 一），男，山东临沂人，副教授，研究方向为科学技术哲学。.15.二、道德判断是自利有机体中合作行为的进化压力的产物（一）合作困境下的最优解：纳什均衡下的普遍帕累托改进通过“自利”可以产生合作行为。例如，有两个喜欢跳伞的朋友张三和李四。假设他们最喜欢一起跳伞，也喜欢独自跳伞和观看另一个人跳伞。在跳伞游戏中，有一些来自博奔论领域的理论可以帮助我们确定哪些行动符合每个参与者的自身利益。根据约翰纳什的说法，一个玩家最好的策略是当其他玩家也在使用他们的最佳策略时，他不能提高自已的回报，这被称为“纳什均衡”。纯粹的利已主义可能产生无法使双方互惠互利的行为，就像休谟关于两个种粮农民的描述那样，两个农民都知道合作会给双方带来更好的结果。然而，在合作过程中，两个农民都有可能利用对方的帮助而不提供任何回报，结果导致双方都失去了最大的利益 3。我们可以将合作问题建模为一种“囚徒困境”。与跳伞游戏不同的是，叛变是所有理性有两个农民的粮食同时成熟，如果他们互帮互助，则可以在灾害来临之前收割完粮食以保证丰收；如果因为互不信任各干各的，则会因为效率低下导致在灾害来临之前没能收割完粮食而造成收成损失。洛阳师范学院学报2 0 2 3年第7 期玩家的最优选择。无论什么时候，只要出现一个结果，既能让至少一个玩家得到改善，又不会让另一个玩家的情况恶化，这就叫作帕累托改进。在囚徒困境中，非零和博奔情况下的纳什均衡的结果是一个普遍的帕累托改进。这就是社会契约理论家一直关注的问题：由自利产生的纳什均衡点具有所有参与者都喜欢的替代方案（二)根据囚徒困境规则设计的计算机游戏囚徒困境的明确结构带来了设计计算机程序的诱人前景，这些程序可以在游戏的迭代版本中相互对抗。阿克塞尔罗德在合作的演变一书中对囚徒困境游戏的策略有所描述。两个最简单的纯策略是无论如何都要叛变（鹰），或无论如何都要合作（鸽子）。也就是说，只要一开始选择合作，无论其他棋手做什么，都会将程序送入合作的状态；有一方选择背叛，无论其他棋手做什么，都会将程序送入背叛的状态。经济学家詹姆斯弗里德曼提交给阿克塞尔罗德竞赛的作品之一是“Grim Trigger。“G r i mTrigger程序表示开始合作，然后只要其他玩家合作就继续合作；一旦其他玩家叛变，切换到总是叛变。在竞赛中，阿克塞尔罗德发现获胜的算法是名为TITF O R T A T 的双状态程序，它开始时像鹰程序，但当对手开始再次合作时，它又会切换回鸽子程序 4 。TFT算法从合作开始，之后就是模仿其他玩家的前一步棋，如图1 所示。在TFT策略中,所有玩家需要做的是追踪当前与他们互动的玩家的最后一步行动。但是，这种策略有一个重要的问题：它无法区分真正的叛变和无意的叛变。如果其中一名玩家意外叛变，这便会将两名使用TFT策略的玩家送人“死亡漩涡”中。它的另一个重要限制是其并不适用于非合作的情况，即与一名玩家合作意味着对另一名玩家叛变。在这种情况下，TFT策略告诉我们什么都不能做，因为没有办法与一个玩家合作，而不同时对另一个玩家叛变。由于这个原因，TFT策略可能是一个更一般的合作规则的特例，在适当的情况下将简化为TFT程序。如果这是真的，我们就可以用同样的一般原则在合作和非合作的情况下产生合作行为。d开始(C图1 TFT算法运作图16（三)道德规则是解决合作问题的适应性方案在机器人的伦理学一一如何设计道德算法一书中，作者勒本认为道德规则是合作问题的适应性解决方案 2 1 3。道德语法中的规则可以被认为是TFT策略的有趣变体。前文已经提到，TFT策略无法区分背叛是否有意。我们可以用道德来评估这种普遍帕累托改进。背叛是不是有意的，因为道德规则是一套客观的、独立于个人思维的伦理体系。与之相应，破解道德困境的策略也应该是客观的、独立于个人思维的。如何证明道德给人们合作的理由，即使这根本不符合他们的自身利益？柏拉图在理想国的开篇描述了一个盖奇的戒指的故事：为什么盖奇应该避免伤害他人，即使伤害他人符合他的利益。如果道德是玩家为实现长期利益最大化而采取的策略，那么一旦长期利益能够通过武力而非合作得到改善，道德就不再适用了 2 1 38。勒本认为，这在一定程度上是正确的，道德对那些有机会玩剥削游戏的人来说不再有实际价值。然而，道德准则并不会就这样消失或不再适用于这个人。奴役和剥削仍然是合作游戏，因为双方玩家的收益基本上是相同的。只要这仍然是一个合作游戏，道德作为合作游戏的策略就仍然适用。三、机器人算法程序的道德理论模型（一)道德理论的基本内容及其算法的应用1.功利主义理论及其算法模型当行为的结果给所有人带来更多的整体痛苦时，它就是错误的；当行为的结果带来更多的净幸福时，它是被允许的。更可能的幸福比更不可能的幸福更重要，而结果通常是用概率来衡量的。由迈克尔安德森（Michael Anderson）等在2005年开发的功利性算法，使用自我报告测量快乐或痛苦的强度，快乐或痛苦的持续时间，以及事件发生的可能性。“功利性算法向用户呈现一个输人屏幕，提示用户输人一个动作的名称和受该动作影响的人的名字，以及对数量（非常愉快、有点愉快、既非愉快又非不愉快、有点不愉快、非常不愉快和可能性(非常可能、有点可能、不太可能)的粗略估计，如果选择这个动作，这个人将体验到愉快或如果一个公正的人可以做坏事而免受其不利后果，他也会行不义之事的。盖奇是某一国王的一个牧羊人。某日，他碰巧拾到这样一枚戒指，如果他将环内转，他就不会被看见。盖奇使用d这枚戒指做了许多事情，并最后篡夺了王位。假定一个公正的人拥有这样一个戒指，他也会用它做那不公正之人所做的事。洛阳师范学院学报2 0 2 3年第7 期不愉快。用户继续为受动作影响的每个人输入此数统的特性编码；后一种进路，源于对现代联结主据，并为考虑中的每个动作完成此输人。”5 对这义式的连接网络与基于美德的伦理系统（尤其是些数据的计算采用这些输人值的乘积，然后对每个亚里士多德的理论)二者相互融合的认同。”1 0 他代理的乘积求和，输出和最高的动作。们“瞩目于未来应用联结主义网络来开发具有美德2.道义论及其算法模型的系统，这采用的是两者混合式的进路，既强调一道义论主要强调动机在人们日常行为中的重要定的伦理原则的重要性，又具有一定的灵活度拓展性。康德认为：“要这样行动，使得你的意志的准则行动的范围”在任何时候都能同时被视为一种普遍的立法的原(二)道德理论算法在囚徒困境中的应用则。”6 他要求：“你要如此行动，即无论是你的人对于任何道德理论来说，内部一致性都是必要格中的人性，还是其他任何一个人的人格中的人的，但它不能是我们用来评估理论的全部。事实性，你在任何时候都同时当做目的，绝不仅仅当做上，除了内部一致性外，道德理论可以通过它对纳手段来使用。”7 什均衡结果产生普遍帕累托改进的有效性来进行鲍尔斯在康德机器的前景中意欲制造出康评估。德式机器，以确保机器人行为符合道德规范 8 。在在合作游戏的囚徒困境中，功利主义算法结果康德算法中，机器人拒绝执行某种行为，只要这些的总和分别是3、3、2、4，其最高值为4，对应于相行为与其动机意图相矛盾。例如，在医生协助自杀互合作。具体如图2 所示。的情况下，康德主义者赞成“允许病人死亡”，理由A是移除生命支持系统的意图只是为了防止痛苦，而合作不是结束生命 9 。但同时，他们不赞成死刑注射，B虽然死刑注射相比其他处决犯人的方式能够让犯人图2 囚徒困境的经典功利主义算法结果避免更多的痛苦，但是死刑注射的动机（减少犯人的痛苦)与死刑注射的目的（杀死一个人)之间相互冲突，这就是双重效果原则。这个理论在实践中的应用可能走向极端，允许他人死亡总是被允许的，只要行为的目的不是杀人。一个类似鲍尔斯提出的康德算法可能允许我们让溺水的孩子死去，理由是我们执行这种行为的意图是使我们的衣服保持干净。3.德性伦理学及其算法模型德性伦理学认为，错误的行为是一个人没有处于正确状态的产物。有一些特定的状态能使人类生活富足，这些状态被称为美德状态。如果一个人处于正确的状态，那么他必然会做出正确的行为。因此，如果我们想知道谋杀和欺骗是否在道德上是错误的，我们可以问一个富有道德的人是否会做出这些行为。在道德机器：如何教机器人明辨是非中，温德尔瓦拉赫（Wendell Wallach）和科林艾伦（Co-linAllen)利用美德伦理学和机器学习技术之间的联系来避免其他道德理论的所有复杂性。他们认为：“美德不太可能被齐整地分为自上而下式和自下而上式两条进路。在我们看来，它们是混合式的存在。”1 0“前一种进路是将美德视为可以编入系背瓶合作2,2(总和=4)背叛3,0(总和=3)然而，在某些情况下，功利主义并不能产生合作行为。假设我们改变了囚徒困境中的收益，即一个玩家通过利用另一个玩家而获得大量收益。在这个博奔中，纳什均衡点仍然是相互背叛，只有一个普遍的相互合作的帕累托改进，让我们将其称为令人厌恶的囚徒困境（如图3）。在令人厌恶的囚徒困境中，其算法结果没有通过道德理论的基本检验：总是产生合作行为，定义为纳什均衡情况下的普遍帕累托改进。B合作背叛图3令人厌恶的囚徒困境的功利主义算法结果根据康德的道义论理论原则，在囚徒困境中，如果双方都是理性的人，为了增加自己的利益，他们一定会选择背叛，但是“背叛”在康德看来又不能成为普遍法则，是不道德的，所以他们不能选择背叛。如果他们不选择相互背叛，他们之间就无法产生合作行为。而且根据双重效果原则，囚徒困境中的双方很有可能出现行为的动机与结果不相符的矛盾结果。因此，基于道义论的机器人很难产生合作.17.0,3(总和=3)1,1(总和=2)A合作2,23,0背叛0,10001,1洛阳师范学院学报2 0 2 3年第7 期行为。在理想情况下，我们希望有一套内外一致的原则，它不仅能与我们在正常合作问题中进化出来的道德语法相匹配，而且还能延伸到困境情况中。当谈到合作结果时，功利主义在标准的囚徒困境中成功了，但在厌恶的囚徒困境中失败了。由于康德式机器算法的理论原则与行为结果可能相矛盾，它在囚徒困境中很难产生帕累托最优的结果，不能产生合作行为。四、罗尔斯的契约主义及其算法原则在困境游戏中的应用（一）基于罗尔斯契约主义Maximin原则在正义论中，罗尔斯用“无知之幕”的方法来掩盖个人的主观偏好，只留下看得见的客观特征，这时个人所处的状态就是罗尔斯所说的“原初状态”。无知之幕的功能是“消除特定偶然事件的影响，这些偶然事件使人们处于矛盾之中，诱使他们利用社会和自然环境为自己谋取利益”1 2 。从个人的角度来看，处于原初状态的个人如果不能获得关于自已在商品分配中位置的信息，则很容易成为任何人。总结一下原初状态的意思，那就是：匿名产生合作。所谓匿名，指的是最纯粹的匿名，甚至连你自己都不知道你是谁。任何处于这种状态的人，其动机都是纯粹出于自身利益，平等对待社会中的每一个人。此外，道德判断需要定义一些客观的衡量标准来衡量个人什么时候受到伤害以及造成多大的伤害。这里的问题是，关于什么是“伤害”，人们有太多的分歧。罗尔斯认为，只有所有人都关心的商品才算道德商品。“首要益品”是获得任何东西所必需的产品，比如生命、健康、机会和基本资源。原则上，功利主义需要一个客观的衡量幸福的方法，而这一直是个挑战。契约主义完全避开了这一挑战，它忽略了任何人实现正常人类目标所必需的东西之外的所有其他东西。因此，我们可以为所有的首要益品假定一个客观的价值标准，并评估它们对具有各种次要益品的人的影响。罗尔斯在正义论中将契约主义的平等观念表达为正义的第二条原则：社会和经济的不平等应这样安排，即这种安排应使得最少受惠者能够得到最大的利益（差别原则)1 3。我们可以把罗尔斯的差别原则理解为“最大化最小价值”原则，简称Maximin原则。Maximin原则是让最穷的人过得最.18好的过程，它专注于改善最坏的情况。因为我们不知道我们会从最初的位置分配到哪个角色，Maxi-min原则要求我们最大化所有玩家的最小收益，这通常被描述为让最糟糕的人尽可能过得更好。这个原则认为，一个决定只有在使社会中最贫穷的成员受益的情况下才是合理的。（二)Maximin原则与Leximin原则在困境游戏中的应用1.Maximin原则在合作困境游戏中的应用在非零和合作游戏的困境中，利用Maximin原则可以产生道德理论的检验结果：总能产生纳什均衡条件下的普遍帕累托改进。第一，在跳伞游戏中，依据Maximin原则，可以得出在张三与李四产生合作一一都跳伞(3，3)的情况下，才能产生帕累托最优解，“都跳伞”的这个点也是纳什均衡点。第二，在经典版囚徒困境游戏中，依据Maxi-min原则，在A与B同时保密（2，2）或同时背叛（1，1）的情况下，会产生帕累托最优或帕累托改进；但是理性的人通常都会选择背叛（1，1），这样就产生了纳什均衡条件下的帕累托改进。相互背叛，是游戏双方为了实现个人利益最大化或者“使处于最不受惠者”的自己达到利益最大化而产生的一种合作行为。第三，在令人厌恶的囚徒困境游戏中，依据Maximin原则，要使最少受惠者能够得到最大利益；根据矩阵图的四种结果（2，2）（0，1 0 0 0）（3，0）（1，1），其依旧会选择相互保密（2，2）或相互背叛（1，1）这两种合作行为；相互保密（2，2）只是一种处于理想状态的帕累托最优解。因此，最终的选择依然是能够实现帕累托改进的相互背叛(1，1)这个纳什均衡点。2.Leximin原则在非合作困境游戏中的应用Maximin原则在应用于没有任何关联的数据集时相对简单。考虑一个包含两个动作和四个参与者的简单例子，如图4 所示。P1A15VA2图4 Maximin原则在简单数据集中的应用图4 是一个简单的数据集，为四个玩家的两个动作配置数值并标出最小值。即使A1的数值总和比A2大，Maximin也会选择A2，因为A2的最小值P2246P395P483洛阳师范学院学报2 0 2 3年第7 期比A1大。的第一个相同最小值？例如，考虑数据组A1=（3，Maximin的算法程序可以由两个基本过程生-8，-8)和A2=（-8，2,8）。A 1 和A2的最小值成，分别称为MIN和MAX。MI N是找到每个操作是相同的，但在A1中有两个最小值，在A2中只有中的最小值；MAX是将这些最小值组合在一起，并一个。此时我们该怎么办？是覆盖所有相同最小选择最大的最小值。MIN和MAX对于没有任何相值，还是只覆盖第一个相同最小值（如图5）？德里同最小值的简单操作已经足够好了。然而，对于有克勒本认为，罗尔斯会主张覆盖所有相同最小相同最小值的数据，我们还需要添加更多的内容。值，他把这个过程称为Maximin+。还有一些关于最简单的平局情况是两个具有相同最小值的数计算博奔论的论文，讨论了Maximin原则与覆盖单据，如(3，5)和（3，6）。尽管这两种情况下的最小个绑定值的结合，他们把这个过程称为Leximin。在值是相等的，但很明显，处于原初状态的理性玩家图5中，我们看到，Maximin+会选择Al，而Lex-会简单地删除或覆盖这些相同的最小值，并转移到imin会选择A2。“次小”值。假设我们成为下一个玩家的机会相同，P1P2P3我们对最大化它的最小值也同样感兴趣。这为计算A13最小值提供了一个清晰的过程：覆盖初级相同最小A2828值并转移到下一个最小值。但是，这个过程有两个Maximin+部分需要进一步指定。图5Maximin+和Leximin在数据中的应用简单的部分是，如果已经覆盖了所有的相同最到底应该用Maximin+还是Leximin？这对于破小值并且两个数据组中都没有更多的值时，该怎么解电车式的困境至关重要。在经典版电车困境中，办？这只会发生在一个数据组中的每个值都能与另我们可以显著降低一个人的存活率来提高其他许多一个数据组中的值一一对应的情况下，如（8，6，3）人的存活率，反之亦然。使用图6 中的收益表，这和（3，8，6）。如果我们从原初状态出发使用标准决两种选择将产生截然不同的结果。Maximin+覆盖策理论，这个问题的解决方案似乎很清楚。当商品所有最小值，在这种情况下，我们应该随机化。而排列在两种可能的行为中完全相同时，理性的人会Leximin只涵盖了单一的最小值，因此它产生了标随机化，只需抛硬币在它们之间做出决定即可。准的功利解决方案：当痛苦的价值相等时，更喜欢当存在多个相同最小值时，又该怎么办？是覆少数人的痛苦而不是多数人的痛苦（如图6）。盖所有的相同最小值，还是只覆盖在每个数据组中P10RandomizeDo Nothing SacrificeVDo Nothing Sacrifice图6 Maximin+和Leximin在电车困境中的应用现在看来，Maximin+原则并不总是对合作问题产生帕累托最优解，而Leximin原则可以。德里克勒本前期一直认为罗尔斯的契约主义支持Maximin+原则，是因为他一直专注于两名玩家之间的分配，而不是两名以上玩家之间的分配。一旦将研究范围扩大到涉及多个玩家的互动，这个过程就完全不符合成功道德理论的帕累托最优标准。例如，在（1，2，2)和（1，1，2)两组数据间的简单选择中，掩盖所有相关的最小值将导致最终没有数据P1P2P3-8A13A2828LeximinP2P39999990Maximin+P1P2099990Leximin进行比较。但第一组显然是第二组的帕累托改进。如果我们只覆盖相同最小值的第一个实例，那么，这个过程总是会产生帕累托最优解和合作行为。因此，Leximin原理是我们用来解决最小值问题的方法。综上所述，MIN和MAX在Leximin过程中的组合如下所示：进行线性搜索，找出每组操作数据中初级相同最小值，将它们放在一个集合中并进行删除；然后，在去掉初级相同最小值集合的数据组中.19.P4990P3990P5990P4P59999P6990P6990洛阳师范学院学报2 0 2 3年第7 期继续线性搜索以找到最小值。如果在剩余数据组中没有相同最小值，则找出每组数据中的最小值，将这些最小值组合在一起，并选择最大的最小值，最小值最大的那组数据是最后的赢家。如果在剩余数据中还有相同最小值，则再次运行MIN程序和MAX程序，一直这样做，直到出现唯一的赢家。如果数据组中没有数据能进行比较，那么就在它们之间进行随机选择。五、结论本文认为，我们基于直觉的道德判断是对合作这个进化问题的适应，而道德理论是试图为合作问题创造广义的解决方案。契约主义为这个问题提供了比功利主义、道义论和德性伦理学等道德理论更好的解决方案。因此，我们应该使用契约主义作为设计道德算法的指南，根据它对生命、健康、机会和基本资源等主要商品的分配来分配收益，并根据Leximin原则做出决策。伴随人工智能技术的发展，各种各样的机器人已经出现在人类的现实生活中，基于道德理论的算法在道德困境中遇到的问题呕待解决，本文关于道德算法的研究有助于推动道德理论在机器人算法中的应用。参考文献1 DARWIN C.The descent of man and election in relation tosex M.Princeton:Princeton University Press,1871:80.2 LEBEN D.Ethics for robots:How to design a moral algo-rithm M.New York:Routledge,2019.3 SCHMITT F F.Socializing metaphysics:The nature of socialreality M.Oxford:Oxford University Press,2014:116.4 AXELROD R.The evolution of cooperationM.NewYork:Basic Books,1984:27-54.5 ANDERSON M,ANDERSON S L,ARMEN C.Towards ma-chine ethics C/AAAI-04 workshop on agent organiza-tions:theory and practice,San Jose,CA.2004.6康德.实践理性批判M/康德著作全集：第5卷.李秋零，译.北京：中国人民大学出版社，2 0 0 6：33.7 康德.道德形而上学的奠基M】康德著作全集：第4卷.李秋零，译.北京：中国人民大学出版社，2 0 0 5：4 37.8 POWERS T M.Prospects for a Kantian MachineJ.IEEEIntelligent Systems,2006(4):46-51.9 STEINBOCK B.The Intentional Termination of Life M.Applied Ethics:A Multicultural Approach,2016:427-433.10瓦拉赫,艾伦.道德机器：如何让机器人明辨是非 M.王小红，主译.北京：北京大学出版社，2 0 1 7：1 0 4.11李颖娜.制造“道德机器人”的远虑与近忧：评道德机器：如何让机器人明辨是非 J.科技导报，2 0 1 8（4）：101-102.12 RAWLS J.A theory of justice M.Cambridge,Mass:Har-vard University Press,1999:118.13陈真.当代西方规范伦理学M.南京：南京师范大学出版社,2 0 0 6:1 9 7.责任编辑杨倩Design of Ethical Algorithm for RobotsZhao Congshuai,Wang Jian(Department of Philosophy,Xi an Jiaotong University,Xi an 710049,China)Abstract:Robotic ethics aims to describe the method for designing and evaluating robot ethical algorithm,which can be applied to the algorithm of autonomous vehicles and military rescue robots.According to Derek Leb-ens view that ethical judgment generates evolutionary pressure of cooperative behavior in self-interested organisms,this paper compares the application results of Rawls contractualism with that of moral theories such as utilitarian-ism,deontology and virtue ethics in various dilemma games.The results show that only contractualism can producePareto optimality and cooperative behavior in various dilemmas,and the Leximin program based on the principle ofdifference of contractualism is suitable for various decision-making spaces.Key Words:cooperation;contractualism;ethical algorithm;Leximin20