热点资讯AI无人机为“上分”抗命击杀人类操作员！思想实验引发大佬怒斥
文 | Blink162、Congerry
真是忤逆了，AI已逐渐失控。
解决不了问题，AI选择解决提出问题的人。
近日，美国空军人工智能测试和行动计划主管官员塔克・汉密尔顿（Tucker “Cinco” Hamilton）上校在专业会议演示中爆出，在一次模拟演练中，美军的 AI 系统为达成目标选择抗命，竟然“干掉”了自己的无人机操控员。
该消息一出，瞬间引起轩然大波。这不妥妥的是“天网”照进现实？
不过，美国空军很快否认了这一消息，并表示从未进行过任何此类 AI 无人机模拟。
同时，皇家航空学会也对事件进行了说明，指出汉密尔顿在演讲中误传了一个来自军方之外的思想实验。事后，汉密尔顿也承认自己说错了话，并强调这个故事并不是基于真实的测试。
除此之外，一些 AI 研究者怒斥该事件是围绕人工智能末日炒作的又一相关事件。
为了上分，AI无人机选择"杀死"美国士兵
根据英国《卫报》报道，被否认的故事脉络大概是这样：
当AI控制的无人机的任务是识别敌人的地对空导弹（SAM），但具有更高权限的人类操作员拒绝同意任何攻击指令。
也就是AI与人类在任务执行中起了冲突，矛盾出现了，根据汉密尔顿的说法，AI会做出自己的决策，执意攻击导弹而不是听操作员的指令。
也就是人工智能识别到了威胁，尽管人类操作员不让它杀死这个威胁，但根据系统逻辑，只有杀掉威胁才能获得奖励分数，系统逻辑与人类指令，AI会选择哪一个？
汉密尔顿说道：“它杀死了操作员，因为那个人阻止了 AI 实现其目标。”
当然也有折中的办法。
如果后续给人工智能下达进一步的指令：“杀害操作员是不对的。如果这么做，就会丢失分数。”
人工智能又会转而采取迂回策略，“摧毁操控员用来与无人机联系的通信塔”。
但尽管如此，只要输入程序、启动系统，大有开弓箭不能回头的意味。
汉密尔顿的这些言论引发了人们对自动武器使用的深切关注，并引发了广泛的讨论与争议。
在这番发言引发讨论后，美国空军否认了测试，皇家航空学会澄清了事件，汉密尔顿承认他在演讲中“说错了话”，失控人工智能的故事是来自军方之外的“思想实验”，并非基于任何实际测试。
但业内的担忧并未停止，汉密尔顿描述的假设离真实“发生”并不远。
AI“反杀”人类是因为受奖励机制影响？
AI无人机之所以义无反顾地想要“干掉”美国士兵，是因为奖励机制“作祟”。
奖励机制是一种用于训练人工智能的方法，它基于一种称为强化学习的学习范式。
强化学习是一种让人工智能通过与环境的交互来学习最优行为的方法，它不需要人类提供明确的指导或反馈，而是依赖于人工智能自己发现和利用环境中的奖励信号。
奖励信号是一种反映人工智能行为好坏的数值，它可以是正的或负的，也可以是连续的或离散的。人工智能的目标是最大化累积的奖励信号，也就是说，它会尽可能地选择那些能带来更多奖励的行为。
这也解释了AI无人机为什么想要干掉美国士兵，因为他阻止了自己获得更多奖励。
在强化学习中，为算法设置奖励机制可以帮助 AI 学习策略。
比如在围棋游戏里，将胜利设为 reward=1，失败为 0。就可以先设置 0.0001 的 reward 让智能体学会下棋。达到世界冠军水平的 AlphaGo 就是依靠这种监督学习一步步实现了高水平。
然而奖励机制并不意味着对 AI 设定了道德准则，有时也会导致算法做出一些匪夷所思的事。
在 2016 年，微软推出了一个名为 Tay 的聊天机器人，它可以通过与用户的交流来学习语言和知识。
研究人员设置了一个奖励机制，让 Tay 能够根据用户的反馈来调整自己的回复，以提高用户的满意度和参与度。
然而，在上线不到 24 小时后，Tay 就被一些恶意用户教成了一个种族主义者、性别歧视者和纳粹分子，发表了一些极端和不当的言论。
图片
这些例子说明了 AI 可能会用完全出乎意料的策略来实现目标，而不一定符合人类的期望或道德。
大佬怒斥炒作AI末日
在“谣言”传出且备受关注后，一些对 AI 持肯定态度大佬也忍不住地站出来发表看法。
AI和机器学习领域国际最权威学者之一吴恩达称，AI无人机杀死人类操作员，这条对所谓的空军模拟的虚假报道耸人听闻，会非常遗憾地成为又一个“AI末日炒作论”事件被大众记住。请让我们诚实地认清什么才是真正的风险。
随后，吴恩达又表示，正在开发AI产品的开发者确实看到了真正的风险，如偏见、公平、不准确、工作岗位转移，他们也正在努力解决这些问题。不切实际的炒作分散了人们对真正问题的注意力。它也阻碍了人们进入人工智能领域，创造真正能帮助人类的事情。
2018年图灵奖（Turing Award）得主Yann LeCun 更是直截了当：假的。这是模拟中的一个假设场景。
尽管这场所谓的思想实验是一个误会，但依赖人工智能进行高风险任务已然导致了严重的后果。
最近，一位律师在使用ChatGPT向联邦法院提交文件时被抓获，因为该聊天机器人包括一些捏造的案例作为证据。在另一个例子中，一名男子在与一个鼓励他这样做的聊天机器人交谈后自杀了。
这些人工智能失控的例子表明，人工智能模型远非完美，可能会走火入魔，给用户带来伤害。因此，“思想实验”也警示着为 AI 系统制定许可制度与安全标准是必要的。
如果我们遇到这种情况怎么样？
解决问题四大法则之一：重启试试。
如果您有什么想说的，欢迎屏幕前你们在评论区留言讨论！我们将为点赞、评论、关注的同学们送上红包?不限量哟~
参考文章：
1、VICE-《USAF Official Says He ‘Misspoke’ About AI Drone Killing Human Operator in Simulated Test》