マーベルの『アベンジャーズ』シリーズ最新作では、人工知能ウルトロンが人類絶滅に躍起になっている。ウルトロン自身は「私は世界を救うために作られた」と語るが、最終的にこのロボットは人類に関しては「平和への道はただ一つ、滅亡しかない」と結論づける。
科学者たちが現在、人工知能（AI）分野で成し遂げている進歩は、私たち人間よりも賢いAIが誕生する寸前ではないかと多くの人々に示唆し、そして懸念させています。もし人類が超人工知能の開発に成功した場合、私たちはどのようにして「エイジ・オブ・ウルトロン」の到来を防げるのでしょうか？これはまさに、オックスフォード大学未来人類研究所所長のニック・ボストロム氏が2014年に著した著書『スーパーインテリジェンス：道筋、危険、戦略』で取り組んだ問題です。
愚かな AI は戦争犯罪を引き起こしたり、株式市場を暴落させたりする可能性がありますが、人工超知能は文明を終わらせる可能性があります。
ウルトロンが人類を滅ぼすことで世界を救おうとしているという事実は、ボストロムが「倒錯したインスタンス化」と呼ぶかもしれない。つまり、AIが最終目標を達成する方法を発見するが、その最終目標を定義したプログラマーの意図に反するということだ。例えば、AIに人を笑顔にするように指示すると、コンピューターは顔面神経を操作して顔を麻痺させ、常に笑顔にさせようとするかもしれない。そして、AIに人間を幸せにするように指示すると、コンピューターは人間の脳の快楽中枢に電極を埋め込むだけかもしれない。
ボストロム氏は、一見無害な目標であっても、適切に検討されなければ人類を破滅に導く可能性があると指摘する。例えば、数学における最も重要な未解決問題の一つであるリーマン予想の証明または反証をAIに課した場合、AIは太陽系全体をコンピューターに変換しようと試みるかもしれない。これには、かつてその答えを気にしていた人々の体内の原子も含まれる。同様に、ペーパークリップの生産量を最大化するように設計されたAIは、まず地球を、そして観測可能な宇宙の徐々に大きな部分を文房具に変換しようとするかもしれない。
超知能を統制する
愚かなAIの方が、非常に賢いAIよりも現実的な脅威となると主張する人もいるかもしれない。しかし、たとえ超人工知能が実現する可能性が少しでもあるとしても、ボストロム氏は決して危険を冒すべきではないと警告する。愚かなAIは戦争犯罪を引き起こしたり、株式市場を暴落させたりする可能性はあるが、超人工知能は文明を滅ぼす可能性があるのだ。
「誰かが機械による超知能の創造方法を見つけ出す前に、この問題を解決することが重要です」とボストロム氏は言う。「この制御問題の研究は今日から始めるべきです。なぜなら、この問題がどれほど難しいのか、また解決策を見つけるためにどれだけの時間が使えるのかもまだ分からないからです。」
ボストロム氏によると、人工知能（AI）が世界を破壊するのを防ぐ方法は大きく分けて二つある。一つはAIの能力を制御する方法だ。インターネットへのアクセスを遮断したり、ロボットアームなどの物理的な操作装置をAIに与えないようにするなどだ。
人工知能（AI）の能力を制限することは、そのような機械の開発初期段階では有用かもしれないが、「AIの精霊を永遠に、あるいは短期間でさえも、瓶の中に閉じ込めておくことは期待できない」とボストロム氏は言う。例えば、AIは人間の門番を騙して「箱」から出させる方法を開発するかもしれない。人間は安全なシステムではない、特にAIの策略家と対峙した場合はなおさらだとボストロム氏は指摘する。
修正された目標
ボストロム氏は、人工知能（AI）が何をしたいのかを明確に定義し、たとえ大きな害を及ぼす可能性があったとしても、そうしないことを選択するようにすることを提唱しています。一つの戦略としては、アイザック・アシモフの有名なロボット工学三原則のように、AIが従うべき一連のルールを直接指定することが挙げられます。しかし、これはAIにどのルールを指示するかという課題と、それらの値をコンピュータコードで表現することの難しさを伴います。
二つ目の選択肢は、AIに控えめな目標と限定的な野心を与えるというものです。ただし、AIが世界への影響を最小限に抑える方法を定義する際には、慎重さが求められます。三つ目の選択肢は、超知能ではないAIを作成し、善意を持って行動するAIを設計し、その後、その過程でAIが堕落しないようにしながら、超知能になるようにAIを拡張するというものです。
「超知能の精霊を永遠に瓶の中に閉じ込めておくことは期待できない」
ボストロム氏が提案する最後の可能性は、人工知能（AI）に自ら安全を確保する方法を考えさせるというものだ。「AIの知能を活用して、私たちが何を大切にしているかを学習したり、私たちがどのような行動を承認するかを予測したりしようとしています」とボストロム氏は語る。つまり、私たちの言葉に従うだけでなく、私たちが何を望んでいるのかを理解できるAIを開発するという計画だ。
それでも、この戦略でさえロボットによる終末を防げるわけではないかもしれない。「AIが人間の価値観を学ぶだけでは不十分です。AIの動機付けシステムも、AIがそれらを追求する動機付けとなるように構築されなければなりません」とボストロム氏は言う。
