先週、Future of Life Institute（FLI）は、自律型兵器の禁止を求める公開書簡を発表しました。同研究所は、自律型兵器を「人間の介入なしに標的を選択し、攻撃できる」システムと定義し、「人工知能（AI）技術は、そのようなシステムの配備が、法的には不可能であっても、数十年ではなく数年以内に実現可能になるレベルに達している」と提言しています。
しかし、その書簡の内容は実に的外れだ。437語の軽快な文書で、スローガンというよりはFacebookの投稿に近い。また、FLIが今年AIの危険性について警告を発したのは、これが2度目となる。1月にはAIの安全性に関する公開書簡を発表し、プライバシーや職場での怪我の問題、そして人類を絶滅させる可能性のある機械の存在に対する脅威に言及していた。この文書は、イーロン・マスクやスティーブン・ホーキングといった著名人が署名したことで、大きな注目を集めた。そして今、この2人もこの新しい書簡に署名している。
しかし、マスク氏とホーキング博士の関与もさほど注目に値するものではない。彼らは過去にも、AIに対する根拠のない激しい恐怖を公言しており、研究に基づいた結論ではなく、SF小説の言葉と論理を用いている。彼らの偏見は既に確立されており、他の分野では明らかに優れた才能を発揮しているにもかかわらず、AIというテーマは彼らの専門的・学術的な専門分野外である。ホーキング博士は高エネルギー物理学を研究しており、2014年の映画『トランセンデンス』に関連した論説でAIについて懸念を表明したことは最も有名である。そして、マスク氏が手がける多くの未来志向のベンチャー事業にはまだAIは含まれていない。マスク氏が個人的に投資しているAI企業Vicariousの共同創業者でさえ、研究者たちは実際には機械知能の暴走による破滅的な爆発を回避しようとしているというマスク氏の主張を事実上否定している。
では、FLI の書簡の内容や最も著名な署名者でなければ、何が重要なのでしょうか?
AIとロボット工学のほぼすべての主要企業がこれを支持しているという点だ。署名者数は増え続けており、現在50人以上のGoogleのエンジニアや研究者が含まれている。その多くは、Googleが昨年4億ドルで買収したAI企業DeepMindの出身者だ。また、FacebookのAI研究ディレクターであるヤン・ルカン氏と、モントリオール大学のAI研究者であるヨシュア・ベンジオ氏も署名している。彼らはAIのサブセットであるディープラーニングの分野のパイオニアであり、真に人間のような機械知能を生み出す可能性を秘めているとしばしば指摘されている。AIをめぐる恐怖煽動の危険性に関する記事のために彼らにインタビューした際、彼らはこうした懸念は大して的外れであり、AI研究分野にとって有害だと考えていた。ベンジオ氏の場合は、AIを終末的な脅威と見なすように仕向けられた人々が研究者を標的にすることを懸念していた。しかし、ロボットに対する反発の高まりを懸念しているまさにその人々が、自律型兵器の禁止に賛同しているのだ。
私たちが目にしているのは、避けられない出来事の始まりです。
私たちが目にしているのは、避けられない事態の始まりです。この公開書簡は、自律型致死兵器システム（LAWS、禁止という文脈では不都合な頭字語）の禁止をテーマとした第2回国連会議の直後に発表されました。これらの会議は、拘束力のある合意や提案をまだ生み出しておらず、政治的な議論の前兆というよりは、継続的な議論として提示されました。しかし、FLIの書簡の最後の一文はより直接的です。「軍事AI軍拡競争を始めるのは悪い考えであり、人間の意味のある制御を超えた攻撃的な自律型兵器の禁止によって阻止されるべきです。」
人権団体はこれらのシステムの禁止を求めています。多くのAI研究者やロボット工学者も同様です。自律型殺人マシンがより現実的になり、あるいは実際に戦場に投入されるようになるにつれて、このコンセンサスはますます強まるでしょう。これは破滅の運命にある技術です。
しかし、残る疑問は些細なことや明白なことではありません。具体的に何を禁止するのか、そしていつ禁止するのか。
* * *
反自律型兵器運動の中心的な目標は、「意味のある人間による制御」という一言で要約できます。
この3つの単語には、誤解も含め、多くの意味が込められている。LAWSの批判者の中には少数派もいるが、大半はターミネーターのようなロボットの反乱を恐れていない。武装機械を制御したいという欲求は、人間が殺害を決定する権利を維持するためだ。ロボットに致死的な武力行使の判断を委ねないことには、例えば感情的な代償を伴う難しい判断であるべきといった哲学的な理由に加え、より現実的な懸念もある。FLIの書簡は、自律型兵器が最終的に低コストになり、本質的に使いやすくなることで、「明日のカラシニコフになるだろう」という拡散のリスクについて警告している。使い捨て爆弾搭載ロボットの大群を誰でも配備できるのであれば、誰もがそれを使用することを阻むものは何か？
デンバー大学の客員教授で政治学者のヘザー・ロフ氏も、LAWSが新たな種類の無罪放免の残虐行為を生み出すことを懸念している。傍観者の殺害や敵対者の降伏が、単なる誤作動と片付けられてしまうのだ。「突然、すべてが事故になってしまうのです」とロフ氏は言う。「意図がない以上、戦争犯罪の定義はもはや存在しないのです」。自律型兵器の誤使用と真の誤作動との境界線は、LAWSが戦場に投入される前から、既に絶望的に曖昧になっているようだ。
2013年、英国を拠点とする非営利団体「Article 26」は、「意味のある人間による制御」という造語を用い、自律型兵器の批判者が真に求めているものを明確化しようと試みました。しかし、この用語は反LAWS派の感情を統一する上で効果的であったものの、その真の意味は未だに明確ではありません。「この用語は、非常に有用な分析枠組みを提供してくれます」とホフ氏は言います。「この1年間、論文やプレゼンテーションで『意味のある人間による制御』という言葉が頻繁に引用されました。今、問われているのは、『確かに、その響きは気に入っているけれど、一体何を意味するのか』ということです」
そこでロフ氏とArticle 26は、意味のある人間による制御の具体的なパラメータを探る研究プロジェクトに共同で取り組んでいる。これには、LAWS反対派コミュニティに、彼らが何に反対しているのかをより具体的に理解させ、提案内容を成文化することが含まれる。ロフ氏は過去6ヶ月間、半自動殺人兵器のデータベースを構築してきた。まずは、武器輸出入が最も多い5カ国のシステムから着手した。「誰もが人工知能、自律型兵器、半自律型兵器について議論しますが、それが何を意味するのか、そして私たちが何について話しているのかという点が欠けているように思います」とロフ氏は語る。
例えば、海軍艦艇に搭載されたファランクス・システム（水平線をスキャンして飛来するミサイルを検知し、任意の標的に発射するように設定可能）と、一定範囲に滞空し、最初に検知したレーダー発信源に急降下するドローン（スティンガーなどの地対空ミサイル発射装置の上で起爆すると想定）の自律性の違いは何でしょうか？ また、新たなシステムが登場した場合、どのような基準でどのシステムが禁止対象になるかを判断するのでしょうか？
7月1日、ロフ氏とArticle 26は、FLIから10万4000ドルの助成金を承認され、自律型兵器システムの研究に1年間充てられることになりました。この資金は、イーロン・マスク氏からの1000万ドルの寄付の一部であり、AIの安全性に関するプロジェクトの提案に配分される予定です。ロフ氏はまだ1年間の資金を募集中ですが（提案では2年間の研究期間が予定されていました）、ようやく大学院生たちの研究費を賄うことができ、兵器における自律性と意味のある制御とは一体何なのかという問いに、より多くの時間を費やすことができるようになります。
こうした基礎研究の重要性を示す例を挙げましょう。もし国家が、人間の殺害という醜い結末を避けるため、他のドローンのみを攻撃できる、つまり完全に対物的なドローンを開発したらどうなるでしょうか。これは、イスラム国のような組織がLAWS禁止の制約を受けないのではないかという懸念を覆すものとなるでしょう。ドローンハンターの大群は、艦艇搭載型のファランクスシステムのようなミサイル防衛システムのロボット版となるでしょう。これで問題は解決、ですよね？
しかし、対ドローン部隊が民間人の群れの中に敵のボットを発見したらどうなるだろうか？ファランクスのように、ドローンが人間の対応速度（人間は瞬時に1000もの異なる標的を準備し承認しなければならないかもしれない）よりも速く動作するように設計されていたら、即座に行動を起こし、民間人のすぐ近くで降下して自爆するかもしれない。当局は巻き添え被害に遺憾の意を表明し、相手側が自律型交戦規則の抜け穴を見つけたと非難するかもしれない。そして、世界中の様々な紛争で、この出来事が無数に繰り返されるだろう。そして、政府が暗殺への関与を否定し、LAWSが秘密作戦に利用される可能性は言うまでもない。「突然、世界は少し暗く見えるようになります」とロフは言う。「人工知能は本当に恐ろしいものになり始めます。」
* * *
以前、私はLAWSの禁止を主張する研究者や人権団体は時間と資源を無駄にしていると主張してきました。軍関係者は誰も、たった一行の不正なコードで味方への誤射を招きかねないシステムを望んでいません。
私がどれほど間違っていたか恥ずかしいです。
反LAWS派の間では、国防総省が提供している資料、例えばDARPAの提案依頼書や米海軍の戦争の方向性予測などを読むと、自律型兵器が登場するだろうという憶測が一般的だ。しかし、私は完全には納得していない。こうしたレトリックの一部には、点と点を繋げるような性質があり、陰謀論に近い。インターネットの普及により、防衛産業のあらゆる動きが精査されるようになった。そして、国家が開発に取り組むまでは、ロボット工学の無限の用途の中から一つを議論する意味がないというのが私の見解だ。この分野は既に突飛な懸念に満ちている。暴れ回るキルボットは、SFに触発された熱狂的な夢物語に過ぎない。
しかし、私はこの問題の複雑さや、ロボット工学を研究する研究者の間で高まっている機運を理解していませんでした。ロフ氏の研究は、熱烈ではあるもののやや曖昧な政治的議論に、データと科学的厳密さを適用しようとする数多くの試みの一つに過ぎません。
しかし、最も恥ずかしいのは、明白な点を見落としていることです。自律型兵器を禁止しても何ら害はありません。ロフ氏のような研究者がそのような規制の枠組みを精力的に検討していることを考えると、LAWSの禁止が他の種類の自律型ロボットへの全面的な規制となることはないことは明らかです。そして、国際的な禁止措置は、LAWSを配備し続ける政府に対して、各国が政治的な対応策を講じる機会を与えることになります。
唯一の害は、自律型兵器が殺戮を開始するのを待つことだ。
唯一の害は、自律型兵器が殺戮を始めるのを待つことだ。最初の雲が兵士たちを覆い、第一次世界大戦で3万人から9万人（推定値は大きく異なる）の化学兵器による即死を引き起こし、他の人々に数え切れないほどの致死性の癌を引き起こす前に、化学兵器を禁止できていたならどうなっていただろうか？また、1940年代に核兵器が開発されていた頃に、一般の人々が核兵器について知っていたらどうなっていただろうか？広島や長崎のような都市は依然として標的とされ、通常兵器で焼夷弾が投下されたかもしれない。原爆擁護論者は、一発の爆弾で都市全体を壊滅させることができる恐ろしい新技術に日本が驚愕して降伏していなかったら、より多くの連合軍の命が失われていたかもしれないと主張する。それでも、放射性終末兵器の世界的な拡散の可能性に直面した時、世界が少なくともその製造禁止を検討したであろうことに疑問の余地はあるだろうか？
振り返ってみると、化学兵器と核兵器の全面的、あるいは少なくとも部分的な禁止は避けられなかったように思えます。しかし、何千人もの犠牲者にとって、それらの措置は遅すぎました。自律型兵器が非人道的、あるいは政治的に不安定化させるとは決して考えられないかもしれませんが、意図的であろうと偶発的であろうと、致死性を自動化することによるメリットと比べれば、苦しみと混乱を増大させる可能性は到底足りません。悲劇が起こる前に、そして核兵器の暴走が起こる前に、ある程度の悲劇を未然に防ぐ、またとない機会が私たちにはあります。
これは明らかに自明なので、私自身が全力を尽くして主張することさえできません。しかし、この避けられない禁止措置が効果を発揮するためには、ロフ氏のような研究者には多くの課題が待ち受けています。こうした規制の学術的根拠は、単なる平和主義にとどまらず、データに基づき、人間の尊厳を尊重するものでなければなりません。「私は正戦論者なので、それは暗黙のうちに、時には戦争は是認されると考えることもある、ということを意味します」とロフ氏は言います。「この問題を徹底的に考えることが重要です。なぜなら、テクノロジーは価値中立ではなく、価値が込められているからです。」
