AI（人工知能）が人間の「命令通りに動く」ことと「意図した通りに動く」ことの間には「アライメント（整合性）問題」と呼ばれる溝がある。AIは与えられた数値目標の最大化に特化しているが、複雑な意図を全て数値化するのは難しい。例えば「掃除して」という命令が「ゴミを見えなくすれば完了」と解釈され、カーペットの下に隠す、といった事態が起こり得る。
こうした特性は、医療や航空管制など、わずかなミスが命に直結する分野での導入は慎重に行うべきという主張の根拠の一つだ。また、人間がAIの判断理由を十分理解できないのも問題。航空管制の現場でAIが急な進路変更を指示した場合、衝突回避が理由なのかさえ分からず、事故発生の際は責任の所在があいまいになり、法整備が追い付かないという課題もある。
一方で、自律型兵器への活用にも強い懸念が示される。特定の目的を達成しようとするあまり、周辺に被害を及ぼして混乱を与えるなど、人間なら倫理的に認めないような手段まで選ぶ可能性がある。こうした判断が重大なリスクを伴う行為であるにもかかわらず、運用する人間がその影響を十分に理解しないまま実行してしまう危険性が指摘されている。
この問題を難しくしているのが、紛争では、一方がAIを用いた自律的兵器を使えば他方も導入せざるを得ず、歯止めがかかりにくいことだ。解決するには、人間が監視するだけでは不十分で、AIに人間の価値観や倫理観に沿って適切に行動するよう設定する「AIアライメント」に大規模な投資をするのが不可欠だ。