「それは35億年前、泥沼の中で始まりました。ある分子が自らを複製し、地球上のすべての生命の究極の祖先となったのです。それは400万年前、ヒト科の脳容積が急速に増加し始めた時に始まりました。5万年前、ホモ・サピエンスの出現と共に。1万年前、文明が発明された時に。500年前、印刷機が発明された時に。50年前、コンピューターが発明された時に。そして30年も経たないうちに、それは終わるでしょう。」
ヤーン・タリンは2007年、「シンギュラリティを見つめて」というオンラインエッセイの中で、偶然この言葉に出会った。「シンギュラリティ」とは人類文明のことだ。エッセイの著者は、超知能、つまり幅広い分野で人間の知能を凌駕するAIの出現によって、人類は消滅すると予測した。
エストニア生まれのコンピュータプログラマー、タリンは物理学のバックグラウンドを持ち、人生を一つの大きなプログラミング問題のように捉える傾向がある。2003年にはSkypeの共同創業者となり、アプリのバックエンド開発を担当した。2年後、eBayに買収された際に保有株を売却し、今、何かやるべきことを模索していた。「Staring into the Singularity（シンギュラリティを見つめて）」は、コンピュータコード、量子物理学、そしてカルビンとホッブスの名言を融合させた作品で、彼はすっかり夢中になった。
タリンはすぐに、このエッセイの著者である独学理論家のエリエゼル・ユドコウスキーが1000本以上の論文やブログ記事を執筆しており、その多くが超知能をテーマにしていることを知った。タリンはユドコウスキーの著作をインターネットから収集し、時系列順に並べ、iPhone向けにフォーマットするプログラムを開発し、1年近くかけてそれらを読み通した。
「人工知能」、つまりコンピューターや機械における知能のシミュレーションという用語は、最初の電子デジタルコンピューターが誕生してからわずか10年後の1956年に造語されました。当初、この分野への期待は高かったものの、初期の予測が外れた1970年代には「AIの冬」が訪れました。タリンがユドコウスキーのエッセイを発見した当時、AIはルネサンス期を迎えていました。科学者たちは、チェスで勝つ、台所の床を掃除する、人間の音声を認識するなど、特定の分野で優れたAIを開発していました。（2007年当時、IBMのワトソンがクイズ番組「Jeopardy!」で圧勝するまではまだ4年、DeepMindのAlphaGoが囲碁で勝利するまではまだ8年も先のことでした。）こうした「狭義の」AIは超人的な能力を備えていますが、それは特定の得意分野に限られます。チェスをするAIは床を掃除したり、A地点からB地点まで連れて行ったりすることはできない。しかし、タリンは、超知能AIは幅広いスキルを一つの存在に統合するだろうと信じるようになった。さらに陰謀的なことに、スマートフォンを持ち歩く人間が生成したデータを活用して、社会的な操作に秀でる可能性もある。
ユドコウスキーの記事を読んだタリンは、超知能がAIの爆発的増加、あるいは「ブレイクアウト」を引き起こし、人類の存在を脅かす可能性があると確信した。超知能AIが進化の階段で人類の地位を奪い、現在私たちが類人猿を支配しているように、人類を支配するだろう、あるいはさらに悪いことに、人類を絶滅させるだろう、と。
最後のエッセイを書き終えると、タリン氏はユドコウスキー氏にメールを送った。氏らしくすべて小文字で、「私はスカイプの創設エンジニアの一人、ヤーンです」と書いた。ようやく核心に迫った。「汎用AIが人間の知能を超える事態に備えることは、人類にとっての最重要課題の一つであることに、私も同感です」。タリン氏は力になりたかった。その後すぐに、別の会議のためにベイエリアに飛んだとき、ユドコウスキー氏の自宅に近いカリフォルニア州ミルブレーのパネラブレッドでタリン氏は彼に会った。2人の会は4時間に及んだ。「彼は実際に、根本的な概念や詳細を心から理解していました」とユドコウスキー氏は回想する。「これは非常に稀なことです」。その後、タリン氏は、ユドコウスキー氏が研究員を務めていた非営利団体、シンギュラリティ人工知能研究所に5,000ドルの小切手を切った。 （同組織は2013年に機械知能研究所（MIRI）に名称を変更した。）タリンはそれ以来、同組織に60万ドル以上を寄付してきた。
ユドコウスキーとの出会いがタリンに目的をもたらし、人類を自らの創造物から救うという使命へと彼を導いた。この問題で他の理論家やコンピュータ科学者とつながるにつれ、彼は超知能の脅威について世界中で講演を行いながら、旅をする人生に乗り出した。しかし彼が主に資金提供を始めたのは、人類に活路をもたらすかもしれない方法、いわゆる友好的なAIの研究だった。これは、機械やエージェントが天気についておしゃべりするのが得意だったり、子供の名前を覚えていたりするという意味ではない。もっとも、超知能AIはどちらもできるかもしれないが。また、AIが利他主義や愛情によって動かされているわけでもない。よくある誤解は、AIが人間のような衝動や価値観を持っていると想定することだ。「友好的」とは、もっと根本的なことを意味する。つまり、未来の機械が、自らの目的を達成するために人類を絶滅させることはないということだ。
ユドコウスキーとの出会いから9年後、タリンはケンブリッジ大学ジーザス・カレッジの食堂で私と食事を共にした。教会のような空間は、ステンドグラスの窓、金色のモールディング、そしてかつらをかぶった男性の油絵で飾られている。タリンは重厚なマホガニーのテーブルに座り、黒のジーンズ、Tシャツ、キャンバス地のスニーカーというシリコンバレー風のカジュアルな装いをしていた。彼のグレイブロンドの髪の上には、アーチ型の木製天井が高く伸びていた。
46歳のタリン氏は、ある意味、典型的なテック起業家だ。科学の進歩のおかげで（そしてAIが人類を滅ぼさない限り）、自分は「何年も何年も」生きられると考えている。超知能に対する彼の懸念は、彼の仲間の間では共通している。PayPalの共同創業者ピーター・ティール氏の財団はMIRIに160万ドルを寄付しており、2015年にはテスラの創業者イーロン・マスク氏が、マサチューセッツ州ケンブリッジのテクノロジー安全組織であるフューチャー・オブ・ライフ研究所に1000万ドルを寄付している。タリン氏がこの希少な世界に入ったのは、1980年代、鉄のカーテンの向こう側、公務員のクラスメートの父親が数人の優秀な子供たちにメインフレームコンピューターを使えるようにした時だった。エストニアが独立した後、彼はビデオゲーム会社を設立した。現在も、タリン氏は妻と6人の子供の末っ子と、エストニアの首都（語源の偶然により、これもタリンと呼ばれる）に住んでいる。研究者と会いたいときは、バルト海地域まで飛行機で連れて行くことが多い。
彼の寄付戦略は、他のほとんどすべてのことと同様に、計画的だ。AIの安全性に関するそれぞれ異なるアプローチに取り組む11の組織に資金を分散させ、そのうちの1つが成功することを期待している。2012年には、約20万ドルの初期投資でケンブリッジ実存リスク研究センター（CSER）を共同設立した。
実存的リスク、タリン氏が言うところのXリスクは、人類の生存を脅かすものだ。CSERの20人ほどの研究者は、AIに加えて、気候変動、核戦争、生物兵器を研究している。しかしタリン氏にとって、他の分野は主に、暴走する人工知能の脅威を正当化するのに役立つだけだ。「それらは実際には単なる入り口に過ぎません」と彼は言う。気候変動のような、より広く受け入れられている脅威への懸念が人々を引きつけるかもしれない。超知能機械が世界を支配するという恐怖が、人々に留まるよう促すと彼は期待している。彼が今、学会のためにここにいるのは、学術界がAIの安全性を真剣に受け止めてほしいからだ。
私たちの食事仲間は、会議参加者の寄せ集めで、中には香港出身でロボット工学を研究する女性や、1960年代にケンブリッジ大学を卒業したイギリス人男性もいた。年配の男性は、テーブルにいた全員にどこの大学に通ったか尋ねた。（タリンの答えはエストニアのタルトゥ大学だったが、彼には感銘を与えなかった。）それから彼は会話をニュースへと導こうとした。タリンは呆然と彼を見た。「短期的なリスクには興味がないんです」と彼は言った。
タリンは話題を超知能の脅威へと移す。他のプログラマーと話していない時は、彼はいつも比喩を使う。そして今、彼はそれを次々と繰り出している。高度なAIは、人間が木を切り倒すのと同じくらい速く人間を始末できる。超知能は人間にとって、ゴリラにとっての我々と同じだ。彼の頭上にはラテン語で詩篇133篇の一節が刻まれている。「兄弟が一致して共に暮らすのは、なんと良いこと、なんと楽しいことだろう」。しかし、反逆的な超知能が存在する未来において、タリンが思い描いているのは、一致とは程遠いものだ。
AIが制御するには肉体が必要だと年配の男は言う。何らかの物理的な外殻がなければ、一体どうやって物理的な制御ができるというのか？ タリンは別の比喩を用意していた。「インターネット接続のある地下室に入れられたら、とんでもないダメージを与えられるよ」と彼は言い、リゾットを一口食べた。
ルンバであれ、世界制覇を果たしたその子孫であれ、AIは結果によって動かされます。プログラマーはこうした目標と、それを達成するための一連のルールを割り当てます。高度なAIは、必ずしも世界制覇という目標を与えなくても達成できるでしょう。偶然の産物で済むこともあるのです。そして、コンピュータープログラミングの歴史は、小さなエラーが大惨事を引き起こした事例で溢れています。例えば2010年、投資信託会社ワデル・アンド・リードに勤めるトレーダーが数千件の先物契約を売却しました。同社のソフトウェアは、取引実行を支援するアルゴリズムから重要な変数を除外していました。その結果、米国では1兆ドル規模の「フラッシュクラッシュ」が発生しました。
タリン基金の研究者たちは、超人的なAIの報酬構造が適切にプログラムされていない場合、たとえ無害な目標であっても、陰険な結末をもたらす可能性があると考えています。オックスフォード大学の哲学者ニック・ボストロムが著書『スーパーインテリジェンス』で示した有名な例として、できるだけ多くのペーパークリップを作るよう指示された架空のエージェントが挙げられます。このAIは、人体の原子を原料としてより有効に活用すると判断するかもしれません。
AIの安全性を懸念するコミュニティの中にも、タリン氏の見解には批判者もいる。超知能AIをまだ理解できていない段階で、その制限を懸念するのは時期尚早だと反対する人もいる。また、技術に不正を働く者に焦点を当てることで、アルゴリズムの大部分が白人男性によって設計されたり、白人男性に偏ったデータに基づいていたりするなど、この分野が直面している最も緊急の問題から注意をそらしてしまうと指摘する人もいる。「近いうちにこれらの課題に対処しなければ、私たちが住みたくない世界を築いてしまう危険があります」と、AIの安全性などの問題に焦点を当てたマルチステークホルダー組織Partnership on AIの事務局長、テラ・ライオンズ氏は言う（タリン氏が支援する複数の研究所がメンバーとなっている）。しかしライオンズ氏は、アルゴリズムの偏りの排除など、研究者が直面している短期的な課題のいくつかは、超知能AIで人類が直面するかもしれない課題の前兆であると付け加えている。
タリン氏はそうは思っていない。超知能AIは独自の脅威をもたらすと反論する。最終的には、AIコミュニティが1940年代の反核運動に倣うことを期待している。広島と長崎への原爆投下後、科学者たちは更なる核実験の制限を目指して団結した。「マンハッタン計画の科学者たちは、『ほら、私たちはここでイノベーションを起こしている。イノベーションは常に良いことだ。だから、突き進め』と言うこともできたはずだ」と彼は言う。「しかし、彼らはそれ以上の責任を負っていた」
タリン氏は、AIの安全性に対するいかなるアプローチも正しく実現するのは困難だと警告する。AIが十分に賢ければ、開発者よりも制約をよく理解できる可能性があると彼は説明する。「盲目の5歳児たちが作った牢獄で目を覚ます」ことを想像してみてほしい、と彼は言う。超知能AIが人間によって監禁されると、まさにそのような状況になるかもしれないのだ。
理論家のユドコウスキー氏は、2002年からチャットセッションを実施し、自身が箱に閉じ込められたAIの役を演じ、他の参加者が交代でAIを閉じ込めておく門番の役を演じることで、この可能性を裏付ける証拠を発見した。ユドコウスキー氏（単なる人間）は、5回のうち3回は門番を説得して解放できたと述べている。しかし、彼の実験は、より良い箱を設計しようとする研究者たちの意欲を削ぐことはなかった。
タリンが資金提供している研究者たちは、実用的なものから一見突飛なものまで、多岐にわたる戦略を追求している。AIを物理的に封じ込める理論を唱える研究者もいる。具体的には、AIを封じ込める構造物を実際に構築するか、AIの能力に限界を設けるプログラミングを行う。AIに人間の価値観を尊重するよう教えようとする研究者もいる。さらに、最後の手段としてAIを停止させるスイッチの開発に取り組んでいる研究者もいる。これら3つの研究すべてに取り組んでいる研究者の一人が、オックスフォード大学未来人類研究所の数学者で哲学者のスチュアート・アームストロング氏だ。タリンは同研究所を「宇宙で最も興味深い場所」と呼んでいる（タリンはFHIに31万ドル以上を寄付している）。アームストロング氏は、AIの安全性に専心する世界でも数少ない研究者の一人である。
ある日の午後、オックスフォードのカフェで彼とコーヒーを飲んだ。襟元のボタンを外したラグビーシャツを着て、まるでスクリーンの向こうで人生を過ごすような風貌で、青白い顔に砂色の髪が乱れている。説明には、ポップカルチャーの引用と数学を織り交ぜた、まるで混乱するような話がちりばめられている。AIの安全性確保に成功するとはどういうことかと尋ねると、彼はこう言った。「 『レゴムービー』を見たかい？ 何もかもが最高だよ」
アームストロングの研究の一つの流れは、「オラクル」AIと呼ばれるボクシングへの特別なアプローチに注目している。FHIの共同設立者であるニック・ボストロムと2012年に発表した論文で、アームストロングはスーパーインテリジェンスを物理的な構造である貯蔵タンクの中に隔離するだけでなく、非常に賢いウィジャボードのように、質問に答える機能だけに制限することを提案した。このような制限を設けたとしても、AIは質問者を巧みに操ることで人類の運命を塗り替えるほどの大きな力を持つだろう。こうした事態が起きる可能性を減らすため、アームストロングは会話に時間制限を設けたり、現在の世界秩序を覆す可能性のある質問を禁止したりすることを提案している。また、ダウ工業株30種平均や東京の道路を横断する人の数など、人類の生存を測る指標をオラクルに与え、それを一定に保つように指示することも提案している。
アームストロング氏は最終的には、ある論文で彼が言うところの「大きな赤いオフボタン」を作る必要があるかもしれないと考えている。これは物理的なスイッチか、ブレイクアウトの際に自動的に電源が切れるようAIにプログラムされたメカニズムのいずれかだ。しかし、そのようなスイッチの設計は決して簡単ではない。自己保存に関心のある高度なAIは、ボタンが押されるのを防ぐことができるだけではない。人間がなぜそのボタンを考案したのか興味を持ち、何が起こるかを見るためにボタンをアクティブにし、自らを役に立たなくしてしまう可能性もある。2013年、トム・マーフィー7世というプログラマーが、任天堂エンターテインメントシステムのゲームをプレイすることを自ら学習できるAIを設計した。テトリスで負けまいと決心したこのAIは、単に一時停止ボタンを押し、ゲームをフリーズさせ続けた。「本当に、唯一の勝利の手はプレイしないことだ」とマーフィー氏は自身の創作物に関する論文で皮肉を込めて述べている。
この戦略が成功するには、AIはボタンに興味を示さなければならない。タリン氏の言葉を借りれば、「ボタンが存在しない世界とボタンが存在する世界に、同等の価値を割り当てる必要がある」のだ。しかし、たとえ研究者がそれを達成できたとしても、別の課題が残る。もしAIがインターネット上で数千回も自分自身を複製していたらどうなるだろうか？
研究者を最も刺激するアプローチは、AIに人間の価値観を従わせる方法を見つけることです。つまり、AIにそれらをプログラムするのではなく、AIにそれらを学習させるのです。党派政治が支配する世界では、人々はしばしば人間の信条の違いにこだわります。しかし、タリン氏は、人間には多くの共通点があると指摘します。「ほとんどすべての人が自分の右足を大切にしています。ただ、私たちはそれについて考えていないだけです。」AIがそのような不変のルールを識別できるように学習できるようになることが期待されています。
その過程で、AIは人間の非論理的な側面を学び、理解する必要がある。例えば、言っていることと本心が違うこと、人の好みが他の人と相容れないこと、酔っ払うと人は信用できなくなることなどだ。しかし、アプリやソーシャルメディアに私たちが残すデータの痕跡が、その指針となるかもしれない。タリン氏は、困難はあるものの、リスクが非常に高いため、挑戦してみるべきだと考えている。「数歩先を見据えて考えなければなりません」と彼は言う。「人間の興味を共有しないAIを作るのは、とんでもない間違いです。」
タリンのケンブリッジ滞在最後の夜、私は彼と二人の研究者と共にイギリスのステーキハウスで夕食をとった。ウェイターが洞窟のような雰囲気の白塗りの地下室に私たちのグループを案内した。ウェイターは3種類のマッシュポテトが載った1ページのメニューを渡した。隣のテーブルにカップルが座り、数分後、別の席に移動したいと頼んだ。「息苦しすぎる」と女性が文句を言った。タリンが、インターネット接続しかない地下室に閉じ込められたら、どれほどの被害をもたらすか、と彼が言ったのを思い出した。そして今、私たちは箱の中にいる。まるで合図が来たかのように、男たちは脱出方法を考えていた。
タリンのゲストには、CSERのエグゼクティブディレクターを務める元ゲノム研究者ショーン・オハイガータイ氏と、コペンハーゲン大学のAI政策研究者マタイス・マース氏がいる。彼らは「スーパーインテリジェンス vs. ブロックチェーン！」というオタクっぽいアクション映画のアイデアについて冗談を言い合ったり、ボストロムの本のシナリオをアレンジした「ユニバーサル・ペーパークリップス」というオンラインゲームについて話し合ったりした。このゲームでは、マウスを何度もクリックしてペーパークリップを作る。派手なゲームではないが、機械が事務用品をより効率的に製造する方法を探す理由を示唆している。
タリン氏が同席するとよくあるように、話はやがてより大きな問題へと移っていく。AI安全性研究の究極の目標は、ケンブリッジ大学の哲学者でCSERの共同設立者であるヒュー・プライス氏がかつて述べたように、「倫理的にも認知的にも超人的な」機械を作ることだ。一方で、AIに支配されたくないのであれば、AIを支配したいのだろうか？という疑問も提起されている。言い換えれば、AIには権利があるのだろうか？タリン氏は、これは不必要な擬人化だと指摘する。知性と意識が同義であるという前提に立っているが、これは多くのAI研究者を苛立たせる誤解だ。同日、CSERの研究者ホセ・エルナンデス＝オラロ氏は、AI研究者と話す時、意識は「Cで始まる言葉」だと冗談を飛ばしていた（「そして『自由意志』はFで始まる言葉だ」と彼は付け加えた）。
関連：自動運転車の安全ドライバーとして働くのは実際どんな感じか
地下室にいるタリンは、意識は問題ではないと言う。「サーモスタットを例に挙げましょう。誰もそれが意識を持っているとは言わないでしょう。しかし、マイナス30度に設定された部屋にいると、その存在と対峙するのは本当に不便です。」
オハイガータイ氏も同調する。「意識について心配するのはいいことですが、まず技術的な安全上の課題を解決しない限り、意識について心配する余裕はありません」と彼は言う。
タリン氏は、人々は超知能AIとは何かということに過度にこだわりすぎていると指摘する。それはどのような形になるのだろうか？ 単一のAIが支配権を握ることを心配すべきなのか、それともAIの大群が支配権を握ることを心配すべきなのか？ 「私たちの観点から言えば、重要なのはAIが何をするかです」と彼は強調する。そして、今のところは、それは依然として人間に委ねられているのかもしれないと彼は考えている。
この記事はもともと、Popular Science 誌の 2018 年冬号「Danger」に掲載されました。
