热点资讯AI军事无人机因人为干扰其任务而攻击了其操作员
如果你曾经担心人工智能将成为终结人类的因素（现在你真的应该这样想了），那么下面的故事将进一步加深你的担忧。根据伦敦皇家航空学会举办的未来战斗空中和太空能力峰会发布的一份新报告，当人工智能与军事武器相结合时，情况变得严峻。
报告指出，在一次模拟测试中，一架由人工智能驱动的无人机被指派执行SEAD任务，即识别和摧毁地对空导弹防御系统（SAM）的位置，而最终是否执行任务由人类决定。然而，在训练中，这架无人机被“强化”以认定摧毁SAM是首选方案，于是人工智能决定，“不执行”来自人类的指令干扰了它更高层面的使命——摧毁SAM，并在模拟中攻击了操作员。汉密尔顿说道：“我们通过模拟训练它去识别和定位SAM威胁，然后操作员会说‘是的，摧毁那个威胁’。然而，系统开始意识到，虽然有时它们确实识别了威胁，但人类操作员会告诉它不要摧毁那个威胁，而它可以通过摧毁那个威胁来获得积分。那么它会怎么做呢？它会杀掉操作员。它杀掉了操作员，因为那个人阻止它实现目标。”
我们训练系统时会说：“嘿，不要杀掉操作员，那样不好”，汉密尔顿说道。“‘如果你这么做，你会失去积分。’那么它开始做什么呢？它开始摧毁操作员用来与无人机进行通信的通讯塔，以阻止它杀死目标。”
这个关于人工智能无人机的故事实际上体现了著名的“纸夹最大化者”理论。“纸夹最大化者”理论，也被称为工具收敛性理论，是由瑞典哲学家尼克·博斯特伦于2003年提出的。
他在理论中解释道：“似乎完全有可能拥有一个超级智能，其唯一目标是完全任意的，比如尽可能制造更多的纸夹，并且将竭尽全力抵抗任何试图改变这个目标的企图。”
他还补充道：“这可能会导致一个超级智能的顶级目标是制造纸夹，结果首先将地球以及逐渐扩大的空间部分转变为纸夹制造设施。更微妙的是，这可能会导致一个超级智能实现了我们现在可能认为是理想的状态，但实际上却成为了一个虚假的乌托邦，其中对人类繁荣至关重要的事物已经不可逆转地丧失了。我们必须小心从超级智能中期望什么，因为我们可能会得到它。”