致命性自主武器
致命性自主武器,是一种能够自行搜索、选择并打击人类目标的武器,在它开火的那一刻,无需由人来做决定。划分的界线,在于由谁做出最终的“杀”这一决定。一名士兵朝自己选定的目标发射的制导导弹,在这个意义上不算自主,因为是人在选。而一架无人机在某片区域巡逻、自行判定下方哪个身影是敌人、然后开火——这个环节里没有人——它就是自主武器。这场争论背后的恐惧,正是这最后一步:一台机器在没有任何人点头的情况下,结束了一条生命。
争论的核心,凝结成一个短语:有意义的人类控制。许多政府、科学家和人权组织坚持,使用致命武力的任何决定,都必须有一个人真正地掌控——不只是盯着屏幕看,而是能理解局势、并真正地作出选择。这项技术的辩护者则回应说,机器在理论上可以比惊慌失措的人更快、甚至更精准,还可能保住己方士兵的性命。批评者反驳道,机器无法权衡“相称性”与“仁慈”,无法在道德上被追责,还可能让战争更容易爆发、扩散得比任何人所能勒住的速度都快。
正因如此,致命性自主武器主要是一个“治理”问题——是国家之间约定的规则问题。目前还没有一项全球性条约禁止它们,而联合国层面的讨论进展缓慢,与此同时,底层的机器人与人工智能技术却一直在向前推进。更深的忧虑,是一道“问责的缺口”:如果一件自主武器杀错了人,到底由谁来回答,其实并不清楚——是指挥官、是编程者、是制造商,还是无人负责——而一桩无人能为之负责的错事,是一种危险的东西,不该被造出来。
一架“游荡”无人机在某片区域上空盘旋,在没有操作员确认的情况下,自行认定下方某个身影是敌方,并发起攻击——这正是那场争论想要禁止的一步。
大多数被提议的规则,都会让一个人牢牢守在这最后的开火决定上。
活动人士常把它们称作“杀手机器人”;而“有意义的人类控制”是大多数提案所要求的标准——让一个人真正掌控任何取人性命的决定。