覚悟してください。 『アベンジャーズ／エイジ・オブ・ウルトロン』が5月に公開される前の重要な数週間、編集者やライターたちは人工知能（AI）の現実の脅威について論評の猛攻を仕掛けてくるでしょう。新作映画が興行収入記録を破るか否かはさておき、ウルトロンという形でまた別のAI反乱のビジョンを提示することになります。人類をさまざまな脅威から守るために作られた、ジェームズ・スペイダーが声を担当したこの腹立たしい平和維持ソフトウェアは、大切なものを無駄にし、私たち全員を虐殺することを決定します。これは、ハリウッドがAIスーパーインテリジェンスという概念をアクション映画の素材にするのは最新のケースですが、もちろん最後ではありません。また、メディアにとっては、AI最大の問題（そしてたまたま全く問題ではない問題）に軽い報道と深い眉間のしわを寄せる機会となります。
おそらく、私たちを傷つける AI は非常に愚かなものになるでしょう。
AIが全く無害だと言っているのではありません。むしろ、自律アルゴリズムが人間に危害を加えることは避けられないでしょう。しかし、機能不全の衛星が致命的な宇宙ゴミに変わるという本質的な危険性を認識することと、軌道レーザーやマインドコントロール衛星で満たされた未来について騒ぎ立てることの間には違いがあるように、AIに伴うリスクも、その本質を捉え、少なくとも少しは正気を持って評価されるべきです。人々の人生を破滅させようとするAIは、ウルトロンのようなスーパーヴィランとは全く共通点がなく、誰もが超知能と呼ぶようなAIではないでしょう。むしろ、私たちを傷つけるAIは、非常に愚かなAIである可能性が高いでしょう。
数字で見る人種差別
AIの安全性という概念には、明確な勢いがある。非営利団体Future of Life Instituteが1月にAIの安全性に関する公開書簡を発表した際には、AIに専門的に関わることのない多くの人々が署名した。しかし、これは全くの素人が書いたものではなかった。署名者には、コンピューター科学者、ロボット工学者、そして法律専門家が含まれていた。後者の一人は、ワシントン大学でロボット工学を専門とする法学教授、ライアン・カロ氏だ。カロ氏にとって、AIに伴う短期的なリスクは知能ではなく、むしろ自律性に関係している。「予期せぬ、新たな現象が起こるのではないかと懸念しています」とカロ氏は語る。「例えば、多くの人がローンやクレジットカードの申し込みを拒否されたのは、アルゴリズムが、主にアフリカ系アメリカ人が利用するソーシャルネットワークを閲覧していたことを検知したためだった、ということが判明するかもしれません。意図的に人種差別的な意図を持った人は誰もいないでしょうが、大きなスキャンダルになるでしょう。」
カロの仮説は様々な理由で不穏なものだが、そのどれもが実存的な破滅とは全く関係がない。まず、ある程度の人々が実質的に偶然に権利を奪われる可能性があるという事実がある。AIにおける自律性の定義は、人間の介入なしに行動を起こす能力である。プログラマーはプログラムのために陰険な点と点を繋ぐ必要はない。AIは、一見純粋で定性的な分析に基づいて、嘆かわしい結論に達する可能性がある。そうした結論は必ずしも正確ではないだろう。データブローカーや広告主は、私たちのオンライン活動を恥知らずにも徹底的に追跡し、私たちがどのサイトを訪問したかから、個々のユーザーがどの税率に属しているかまで、あらゆる情報を収集している。差し押さえ件数と住宅所有者の民族性の間にたった一つの相関関係があるだけで、AIが誤った関連性を生み出す可能性は十分に考えられる。 AIの最も印象的な例とは言えないかもしれませんが、現在使用されているより高度な行動追跡ソフトウェアは、AI技術の比較的大きな範疇に含まれます（検索エンジンもこれに含まれます）。人種差別的なアルゴリズムは、特に最先端とは言えないでしょう。
カロ氏が想像するAIは、実際には人種差別主義者ではないだろう。意見を表明できない機械は、真の偏見を持つことはできない。社会知能と感情知能の欠如は、大きな問題を引き起こす。「法律はリスクを管理しなければなりません。被害者への補償のために存在していると感じさせなければなりません」とカロ氏は言う。「しかし、法律は往々にして、過失を探すことでそれを行います。もしそれが欠けていると、加害者がいない被害者が大量に発生する可能性があります。法律がそれに追いついていないという事実を私は懸念しています。」
「加害者がいなくても被害者はたくさんいるかもしれない」
非難の余地のない戦争犯罪
自律的な説明責任という問題は、人命を奪うよう命令されたAI駆動型ロボットにとって、より劇的な意味合いを持つ可能性がある。SFの世界では、武装ロボットが戦場で単一の残虐行為を犯す場面はほとんど見られない。もし「間違った」人間を殺そうとするなら、地球上のすべての人間を殺そうとするだろう。多くの場合、それは中央の超知能の命令によるものだ。技術的にはるかに実現可能なのは、劣化した通信に対処するためにAIを活用する遠隔操作型兵器プラットフォームだ。
軍関係者は、無人システムが標的を攻撃する際には必ず「人間が介入する」と強調する。しかし、ドローンや地上ロボットが標的との銃撃戦の最中に通信回線が切断されたらどうなるだろうか？停止するか、撤退して敵の攻撃にさらされる（あるいは最悪の場合、捕獲される）リスクを負うべきだろうか？それとも、6月に開催されたDARPAロボティクスチャレンジに参加した多くのロボットのように、通信回線の切断に直面した際に反応し、通信が回復するまで任務を続行すべきだろうか？
これは、武装ロボットが戦争犯罪とも言える行為を犯す可能性のあるシナリオの一つです。自律型ロボットが、確定した標的の近くにいる民間人を突然標的にしたり、降伏しようとする戦闘員を銃撃したりするかもしれません。あるいは、それほど複雑ではないシナリオもあります。ロボットが単に故障し、AIと同等の高度な射撃管制ソフトウェアを用いて、混雑した市場に向けて発砲し、罪のない傍観者を正確に殺害するといったケースです。
ここでのリスクは、不具合が暴動へと転化することではない。脅威となるのは、AIが散発的な殺人行為を犯しても誰も処罰されないという点だ。「上官を部下の戦争犯罪の責任を問うためには、上官は部下に対して実効的な統制力――これは法律用語だが――を持っている必要がある」とカロ氏は言う。「つまり、軍司令官として戦場の自律型資産を実効的に統制できるかどうかだ。もしそうでないなら、責任を問われないということになるのか？」
戦争犯罪よりも悪いものがあるとすれば、それは起訴不可能な犯罪だ。ロボット工学者や立法者が、極端なケースに備え、極めて知能の低い自律性が入り込み得る倫理的・法的に曖昧な領域を予測しなければ、誰も責めることができないような暴動が起きるだろう。
株価暴落、四肢骨折、その他日常的な災害
もちろん、AIの失敗のほとんどは死に至るものではない。自動株式選定ソフトウェアは、2010年の「フラッシュクラッシュ」の時のように、間違いなく再び失敗するだろう。当時、ダウ平均株価は数分間で不可解にも1000ポイント下落した。他のAIシステムはセンサーデータを誤って解釈し、ロボットを工場の人間の同僚や老人ホームの高齢者に転倒させるだろう。金銭は浪費され、骨は折れるだろう。これらは、機械の超知能に関する、大画面で描かれる、刺激的で「全か無か」のファンタジーに比べれば、比較的退屈な結末だ。しかし、研究者やロボット工学者がAIの安全性向上に真剣に取り組むならば、こうした退屈な事柄こそが注目すべきなのだ。なぜなら、それは避けられない事態だからだ。
実際、AIの潜在的な落とし穴の一つは、AIが実際よりも賢いと思い込むことから生じます。銘柄選択アルゴリズムには、必要に応じて支出する自由が与えられており、時代遅れに見える人間のアルゴリズムと少なくとも同程度の専門的自主性を発揮しています。しかし、ロボットは本質的にさらに欺瞞的です。「人間は病的な擬人化者なので、物に主体性を与えてしまいます。しかも、実際よりも高いレベルの主体性を与えてしまうのです」と、英国ブリストル・ロボティクスのロボット工学者で、FLIの公開書簡のもう一人の署名者であるアラン・ウィンフィールドは述べています。「これは特にロボットに当てはまります。動くものに対する人間の反応に過ぎません。私たちは動いているものを見て、そこに意図があると考えがちです。両耳や両耳の間に何もなくても、両耳の間に何かがあるに違いないと考えてしまうのです。」
ロボットが私たちの生活にますます溶け込むようになると、ロボットの知能や全般的な能力を過大評価する傾向が、身体的な傷害につながる可能性がある。「私たちは、人間とロボットが隣り合って働く方向に向かっています」とカーネギーメロン大学国立ロボット工学センター所長のトニー・ステンツ氏は言う。ステンツ氏は、ロボットシステムが力を使って部品を持ち上げて所定の位置に置き、その間に人間が器用さを使ってボルトを締める工場を思い描いている。そのようなチームワークは有望だが、関係者全員がその機械の能力の限界を認識し、愚かな思い込みをしない場合に限る。「ロボットが、熟練していなくても、生きているだけで基本的な知覚能力と運動能力を持っている人間と同じ能力を持つのは難しいことです」とステンツ氏は言う。ロボットに何ができて何ができないかを理解することは、生産的な一日を過ごせるか、複雑骨折で終わるかの違いを意味するかもしれない。そして、AI研究者やロボット工学者には、安全で、かつその目的と能力が極めて明確なシステムを構築する責任もあります。
ロボットが何ができて何ができないかを理解することは、生産的な一日を過ごせるか複雑骨折するかの違いを意味する可能性があります。
AIを過大評価することは、病院の請求書のような具体的な問題、あるいはカロ氏が「意思決定のアウトソーシング」と呼ぶ明らかな傾向のような曖昧な問題につながる可能性がある。メリーランド州ではすでに、より厳格な監視が必要な仮釈放者を決定するためにアルゴリズムを使用している。そして、このソフトウェアの開発者は、量刑勧告も行えると考えている。効率化は称賛に値する目標だが、これほど重要な意思決定をソフトウェアで処理すべきなのだろうか？
繰り返しになりますが、束縛されない自律性がもたらす脅威は、必ずしも危険な状況に陥ったり、SF映画のような世界的な危機に発展したりするわけではありません。ある家族が、避けられたはずの職場での怪我で壊滅的な打撃を受けるかもしれませんし、AIの株式市場における不可解な愚かな行動のせいで老後の蓄えを失うかもしれません。大小を問わず、あらゆる災難の被害者は、金銭的または法的救済手段を得られなくなる可能性があります。なぜなら、責任は完全に愚かな機械に押し付けられるからです。AIの安全性について語る際、ほとんどの研究者や専門家が言及しているのは、まさにこうした問題です。「これは意図しない結果に関するものです」とウィンフィールド氏は言います。「超知能AIが世界を支配するのを防ぐこととは全く関係ありません。私たちが話しているのは、むしろ愚かで知能の低いAIが、重大な結果をもたらす可能性についてです。」
