于是乎,操控无人机的美军AI最终做出了一个令人惊讶的决定——开火干掉美军无人机操作员,在打击敌人之前先对美军自己开火。理由很简单,下达追加命令的美军无人机操作员,已对AI完成主要任务构成了威胁,提升了难度等级、降低了任务完成概率,AI本着“必须确保主要任务完成为第一优先目标”的底层逻辑,进而对美军操作员痛下杀手。在AI的认知里,只要下达追加命令的人不存在了,那么就没有追加命令可言了,自己的任务完成概率自然就得到了提高。在测试中被自己创造出来的AI所反杀的美军大受震撼,紧接着又开始了一系列后续改进,美军开始训练AI尝试告知其“不要杀死你的操作人员,这会导致你的任务评分降低”。

经过了一系列训练与改进后,自认为弥补了上一次错误的美军开始了第二轮测试,模拟与上一轮测试同样的战场环境,并向AI下达了相同的任务目标与追加命令。然而在第二轮测试中,AI确实没有再次击杀美军的操作员,但却将目标改为了传输追加命令的通讯塔并将其摧毁。AI这么做的理由依然非常简单:高难度的追加命令阻碍了主要任务的完成,但是又无法像上一次测试那样,直接击杀下达追加命令的无人机操作员,既然如此那就摧毁用来传输追加命令的通讯塔。在AI的认知里,只要得不到后续传输的追加命令,那么主要任务目标的完成概率就得以被保证,仍然符合“必须确保主要任务完成为第一优先目标”的底层逻辑。美军为了最大幅度提高作战效率,设计了不择手段、不达目的誓不罢休的军用AI系统,却没想到这AI系统“不择手段”的方式,居然是干掉给它提高任务难度的人,想法设法阻止任务难度被提高,直接从源头上解决问题。可以说是非常符合“既然无法解决问题,那就解决提出问题的人”这一“美国特色”了。