ロボットによる終末など誰も望んでいない。「ロボット」という言葉の由来となった劇『RUR』における機械仕掛けの労働者たちの反乱から、『ターミネーター』や『マトリックス』の荒涼とした核兵器の跡が残る地獄絵図まで、自らが作り出した道具によって人類が滅亡するという概念は、いまだフィクションの領域ではあるものの、心を揺さぶるものがある。終末を空想の域に留めておくため、赤十字国際委員会は本日、人道支援団体としては異例の声明を発表した。「殺戮と破壊の決断は、人間の責任である。」
赤十字は、人間による殺戮や破壊の決断を推奨しているわけではありません。むしろ、もしそのような決断がなされるならば（そして人類の歴史を振り返ると、そうした決断がなされないという兆候はほとんど見られません）、その権限と権力を持つのは自律型致死兵器システムではなく、生身の人間であることが極めて重要だと主張しているのです。あるいは、この運動の専門用語で言えば「殺人ロボット」です。赤十字より：
この声明は、特定通常兵器使用制限条約（CSCW）における自律型致死兵器システム専門家会議の一環として赤十字が発表したものだ。今週ジュネーブで開催されるこの会議は、戦争が避けられない場合に可能な限り人道的に戦われるよう、兵器のルールを策定することを目指している。特定通常兵器使用制限条約はこれまで、極めて残酷で軍事的有用性が限られている火炎放射器などを禁止してきた。「自律型致死兵器システム」は「燃え盛る粘液を投射する」よりも広いカテゴリーであり、ロボットが走り回って誰が死ぬべきかを決めることを明確に望む人はほとんどいないものの、「致死性」「自律性」「兵器」「システム」の定義は、これらの機械に対する私たちの理解だけでなく、これらの機械の使用方法に影響を与える法律や規則をも形作ることになるだろう。
殺人機械が存在するかどうかという問題ではなく、むしろその意思決定プロセスに人間がどの程度関与するかという問題です。
赤十字の声明の半分は、議論の用語の定義と明確化に焦点を当てています。ICRCにとって、「『自律型兵器システム』とは、標的の選択と攻撃という重要な機能において自律性を持つあらゆる兵器システムを包含する包括的な用語です。」これらの兵器を人間が意味のある形で制御するには、「遂行される任務、攻撃対象となる標的、作戦環境、作戦の地理的空間と時間、兵器システムの運用に対する人間による監視を可能にする範囲、そして必要に応じて人間がそれを停止させる能力に関して、厳格な運用上の制約」が必要です。つまり、端的に言えば、殺傷能力を持つ自律型ロボットの使用場所、時期、使用者、程度、方法に関して多くの制御が必要であり、どの段階においても人間が兵器を阻止できる必要があります。
人道法に適合するには、赤十字は兵器が予測可能でなければならないとしている。人間の制御を超えて異常な行動をとるドローンの群れは禁止されるだろう。そして赤十字は、兵器システムの運用段階で「人間の制御が最小限または全くない」場合、兵器の発射時の人間の制御が自律性の危険性を防ぐのに十分かどうか確信が持てない。ロッキード・マーティンが DARPA 向けに、そして最終的には米海軍向けに開発した長距離対艦ミサイルを考えてみよう。このミサイルの特徴的な特徴の 1 つは、対象の船舶への経路を自律的に設定し、発信する信号によって標的を識別できることである。赤十字のガイドラインでは、兵器の発射時に標的が選択されているだけでは十分ではない。標的の変更を人間が承認する必要があり、さもなければ兵器は戦争の人道規範に違反することになる。
自律型兵器の開発に取り組んでいるのは赤十字だけではありません。先月、ワシントン・ポスト紙が主催した「Securing Tomorrow（明日を守る）」と題した軍事の未来に関するイベントで、ボブ・ワーク国防副長官が自律性について講演しました。国防総省の発表記事より：
つまり、殺人機械が存在するかどうかという問題ではなく、むしろ人間がその意思決定プロセスにどの程度関与するか、そしてどのような種類の自律性が重要になるかという問題なのです。
ポピュラーサイエンス誌はTwitterのダイレクトメッセージで、ノースカロライナ大学で平和・戦争・防衛カリキュラムの非常勤講師を務める物理学者、マーク・ガブラッド氏にインタビューを行いました。ガブラッド氏は、自律性を定義することは誤った問いだと考えています。「正しい問いは、この軍拡競争が私たちをこれ以上危険な状況に陥らせる前に、どこに線を引かなければならないのか、そしてどこに線を引けるのか、ということです。」
同様に、グブルド氏は人間の制御についてより正確な定義を念頭に置いている。「（人間以外の）システムが内部プログラミングと環境入力に基づいて意思決定を行う場合、それは人間の制御ではありません」と彼は言う。「あなたはそれをプログラムし、正しい決定を下していると確信しているかもしれませんが、その決定を下す際に、あなたはそれを制御しているわけではありません。人間の制御とは、人間が決定を下すことです。何かを自律的と呼ぶことの本質は、それが人間の制御外で動作し、自ら決定を下すということです。」
安全保障研究のヘザー・M・ロフ教授は、 The Bulletin of Atomic Scientists誌に寄稿し、戦場における高度な学習型機械の危険性はあまりにも大きいため、全面的に禁止すべきだと主張している。彼女は次のように述べている。
昨年、ワシントン DC のシンクタンクである新アメリカ安全保障センターは、殺人ロボットに関する大きな議論を、自律性の程度、人間の関与、意思決定の種類に関する多くの小さな議論に分割しようとする報告書を発表しました。
「ICRCの声明は、自律型兵器システムをめぐる議論への責任ある、前向きな貢献です。兵器システムの自律性はもはや当たり前の事実であり、武力行使において人間による制御を維持することが不可欠であることを正しく指摘しています」と、同報告書の執筆者の一人であるマイケル・C・ホロウィッツ氏はコメントを求められたときに述べた。
彼は続けて、「ICRCは、自律型兵器システムの合法性を理解する上で、公共の良心が示す判断の重要性に言及しています。世界中で自律型兵器システムに関する国民の認識が一般的に不足していることを考えると、この問題における公共の良心が『何であるか』について、性急な判断には注意が必要です。ICRCの声明が提起する重要な問題の一つは、仮想的な自律型兵器システムの予測可能性と信頼性を判断するための要件が、他の兵器システムと同じ、あるいはより厳格なものであるべきかどうかということです。」と述べました。
ホロウィッツ氏は、近々発表される予定だがまだ出版されていない論文の中で、自律型兵器を定義するさまざまな方法を提案し、今後の重要な方法として自律性のタイプを区別すべきだと主張している。
人類として、私たちは潜在的に特異な状況に直面している。他の人間から身を守るために、機械に殺傷能力を委ねる覚悟はあるのだろうか？もしそうなら、どの程度まで委ねるのだろうか？赤十字は、私たちが次のステップを慎重に検討する必要があると考えていることは明らかであり、私が致死的自律性について話した中で、これに異論を唱える人はいない。武装機械に関しては、明確な二者択一は存在しない。
