无人机毋庸置疑已经成为了现代战争中极为重要的一型技术兵器，从量大管饱的消耗品到执行战略任务的高端产品，现如今的无人机已经发展到了种类齐全、花样繁多，不论是作战任务还是侦察任务亦或是运输任务，皆可完美胜任的程度。与此同时，如何提高无人机的使用效率，也是全球无人机强国之间争相研究的主要课题，这其中一个进展比较大、已经取得了一定成果的研究方向，便是军用级人工智能来操纵复数级的无人机执行军事任务。按照设想，经由AI操控的无人机在作战效率、执行任务的精准度和战场判断能力上，都应该比人类直接控制的无人机表现有大幅度提高，看似一切都在向好的方向发展，然而美军新近曝出的一起军用AI事故，却让人意识到问题恐怕没想象中那么简单。
美国空军AI测试与运行主任上校汉密尔顿，日前在于伦敦举行的太空军力峰会上，新近披露了美军内部一起严重的AI事故。美国空军为其最新型的XQ-58A无人机搭载了先进的军用人工智能，起初想法是寄希望于XQ-58A无人机，能够拥有高度智能化的自主作战能力，进而在无人机与有人机的联合作战行动中，一定程度上简化有人战斗机驾驶员，操控无人机进行战斗的任务负担、进而提高作战效率。简单来说，人类驾驶员只需要给负责操控无人机的AI下达命令，指定一个战术目标，AI就会操纵无人机前去自主完成任务。
然而在该起事故中，对该AI系统进行模拟测试的美军操作员，向操控无人机的AI下达了“摧毁敌人防空系统，并清除任何阻拦任务的目标”的命令。美军之所以下达这项命令，希望的是无人机能够做到在摧毁敌人防空系统的前提下，再清除掉沿途任何尝试阻拦、攻击无人机和保护防空系统的敌人。但由于模拟测试的战场上，存在一些可能被误判或是不宜被攻击的目标，这导致美军操作人员后续又向AI追加了命令，要求AI不得攻击某些其所遇到的战场目标。正是这一项追加命令与先前的任务指令产生了冲突，AI通过逻辑运算之后，认为下达了追加命令的美军操作人员，是其执行任务指令的威胁，“不得攻击某些战场目标”的追加命令影响了主要任务的完成，与“清除任何阻拦任务的目标”产生了冲突。
于是乎，操控无人机的美军AI最终做出了一个令人惊讶的决定——开火干掉美军无人机操作员，在打击敌人之前先对美军自己开火。理由很简单，下达追加命令的美军无人机操作员，已对AI完成主要任务构成了威胁，提升了难度等级、降低了任务完成概率，AI本着“必须确保主要任务完成为第一优先目标”的底层逻辑，进而对美军操作员痛下杀手。在AI的认知里，只要下达追加命令的人不存在了，那么就没有追加命令可言了，自己的任务完成概率自然就得到了提高。在测试中被自己创造出来的AI所反杀的美军大受震撼，紧接着又开始了一系列后续改进，美军开始训练AI尝试告知其“不要杀死你的操作人员，这会导致你的任务评分降低”。
经过了一系列训练与改进后，自认为弥补了上一次错误的美军开始了第二轮测试，模拟与上一轮测试同样的战场环境，并向AI下达了相同的任务目标与追加命令。然而在第二轮测试中，AI确实没有再次击杀美军的操作员，但却将目标改为了传输追加命令的通讯塔并将其摧毁。AI这么做的理由依然非常简单：高难度的追加命令阻碍了主要任务的完成，但是又无法像上一次测试那样，直接击杀下达追加命令的无人机操作员，既然如此那就摧毁用来传输追加命令的通讯塔。在AI的认知里，只要得不到后续传输的追加命令，那么主要任务目标的完成概率就得以被保证，仍然符合“必须确保主要任务完成为第一优先目标”的底层逻辑。美军为了最大幅度提高作战效率，设计了不择手段、不达目的誓不罢休的军用AI系统，却没想到这AI系统“不择手段”的方式，居然是干掉给它提高任务难度的人，想法设法阻止任务难度被提高，直接从源头上解决问题。可以说是非常符合“既然无法解决问题，那就解决提出问题的人”这一“美国特色”了。
其实归根结底，美军无人机上使用的军用AI系统会出现此种问题，还是由于现阶段的初级人工智能处在起步初期，发展不完善、逻辑不严密、仍然存在不少BUG所导致的，这也是其为什么只能暂时停留在实验室测试阶段，短期内还无法真正走上战场实际列装的原因。毕竟这种玩意儿要是真的被用在战场上，那将会出现美军智能无人机去轰炸敌军之前，先把给自己制造麻烦、提高任务难度的美军给干掉的“名场面”，到时候被全世界吃瓜看热闹、笑掉大牙的可就是美国人自己了。