私たちの知る限り、人工知能は、Facebookで何百万枚ものユニークな写真にタグを付けたり、歩行を学習するロボットなど、膨大で複雑なタスクを自動化する最良の方法です。コンピューター科学者やロボット工学者は、猛烈な勢いでこれらのアルゴリズムの開発に成功しています。つまり、今こそAIの誤動作を阻止する方法について考える時なのです。
Google Deepmindは、The Future of Humanity Instituteと共同で、人工知能アルゴリズムやロボットが暴走した場合、どのようにそれを阻止するかを検証した研究を発表しました。その結論は？ 大きな赤いボタンです。
この研究は、2013年に行われた先行研究を指摘しています。この研究では、ゲームをプレイするアルゴリズムが、テトリスを一時停止するだけで負けないことに気づいたというものです。機械によるこのような巧妙で意図しない攻撃は、まさに人類の未来研究所が提唱するものです。同研究所の創設者ニック・ボストロムは著書『スーパーインテリジェンス』の中で、人工知能が束縛から解放されて学習する方法を自ら学ぶようになると、あまりにも速く学習できるようになり、人類は絶望的に追い抜かれるだろうと警告しています。このような出来事は「シンギュラリティ」と呼ばれており、この用語は1958年に数学者スタニスワフ・ウラムによって初めて使用されました。
機械を安全に妨害するということは、必ずしも電源プラグを抜くことを意味するわけではない。AIが損害を与えるほど危険であると予測されるシナリオでは、AIは自律的に動作するか、サーバーラックにホストされているはずだ。DeepMindとFoHの研究では、機械を騙す必要があると結論付けている。
これを実現するために、アルゴリズムを構築する科学者たちは「中断ポリシー」、つまり人間が「エージェント自身の行動を一時的に強制的に変更」できるトリガーを導入する必要がある。言い換えれば、機械に停止すべきだと思わせる信号だ（映画『キャプテン・アメリカ』のバッキー・バーンズを制御する暗号のようなものだ）。停止の判断は、外部からの指示に従うのではなく、機械が内部的に行う――ただし、機械はそうするように仕向けられている。少し分かりにくいかもしれないが、人間の指示に従わなくなったロボットを回避する方法の一つと言えるだろう。
研究者たちは、これは誰でもいつでも送信できる信号ではなく、AIの所有者だけが送信できる独自の信号でなければならないと指摘している。彼らはリモコンに言及しており、これは前述の悪名高い「大きな赤いボタン」の可能性がある。
もちろん、これは非常に特殊なシナリオでのみ機能します。シンギュラリティレベルのAIが存在するならば、おそらくこの研究を読んで中断ポリシーを削除できるでしょう。汎用AIの具体的なアーキテクチャはまだ存在しないため、この研究の多くは推測の域を出ませんが、慎重を期すことは常に良いことです。
