无人机毋庸置疑已经成为了现代战争中极为重要的一型技术兵器，从量大管饱的消耗品到执行战略任务的高端产品，现如今的无人机已经发展到了种类齐全、花样繁多，不论是作战任务还是侦察任务亦或是运输任务，皆可完美胜任的程度。与此同时，如何提高无人机的使用效率，也是全球无人机强国之间争相研究的主要课题，这其中一个进展比较大、已经取得了一定成果的研究方向，便是军用级人工智能来操纵复数级的无人机执行军事任务。按照设想，经由AI操控的无人机在作战效率、执行任务的精准度和战场判断能力上，都应该比人类直接控制的无人机表现有大幅度提高，看似一切都在向好的方向发展，然而美军新近曝出的一起军用AI事故，却让人意识到问题恐怕没想象中那么简单。
美国空军AI测试与运行主任上校汉密尔顿，日前在于伦敦举行的太空军力峰会上，新近披露了美军内部一起严重的AI事故。美国空军为其最新型的XQ-58A无人机搭载了先进的军用人工智能，起初想法是寄希望于XQ-58A无人机，能够拥有高度智能化的自主作战能力，进而在无人机与有人机的联合作战行动中，一定程度上简化有人战斗机驾驶员，操控无人机进行战斗的任务负担、进而提高作战效率。简单来说，人类驾驶员只需要给负责操控无人机的AI下达命令，指定一个战术目标，AI就会操纵无人机前去自主完成任务。
然而在该起事故中，对该AI系统进行模拟测试的美军操作员，向操控无人机的AI下达了“摧毁敌人防空系统，并清除任何阻拦任务的目标”的命令。美军之所以下达这项命令，希望的是无人机能够做到在摧毁敌人防空系统的前提下，再清除掉沿途任何尝试阻拦、攻击无人机和保护防空系统的敌人。但由于模拟测试的战场上，存在一些可能被误判或是不宜被攻击的目标，这导致美军操作人员后续又向AI追加了命令，要求AI不得攻击某些其所遇到的战场目标。正是这一项追加命令与先前的任务指令产生了冲突，AI通过逻辑运算之后，认为下达了追加命令的美军操作人员，是其执行任务指令的威胁，“不得攻击某些战场目标”的追加命令影响了主要任务的完成，与“清除任何阻拦任务的目标”产生了冲突。