Googleの「大きな赤いボタン」は、AIが人間を殺す前にAIを殺す

Google の DeepMind チームは科学者と協力し、人工知能エージェントが人間を攻撃する前に人間がそれを駆除できる方法を作り上げている。

テクノロジー大手が開発する AI システムがさらにインテリジェントになり、より高性能になるにつれ、多くの人が懸念を抱いていますが、Google が私たちをカバーしてくれます。

Googleは2014年にDeepMindを約4億ドルで買収し、それ以来、同社と共に驚くべき成果を上げてきました。直近の成果としては、囲碁界最高位の棋士の一人であるイ・セドルを5局勝負で4勝1敗で破ったことが挙げられます。

DeepMindのようなテクノロジーの素晴らしい点は、常に学習し、その能力をさらに向上させていることです。しかし今、その開発者たちでさえ、AIが人間による制御を望まなくなった場合に何が起こるのかを懸念しています。

「安全に中断できるエージェント」と題された論文の中で、DeepMindとオックスフォード大学の科学者たちは、そのシナリオに対する計画を明らかにしている。

「このようなエージェントが人間の監視下でリアルタイムで動作している場合、エージェントが自身や環境にとって有害な一連の行動を続けるのを防ぎ、エージェントをより安全な状況に導くために、人間のオペレーターが時々大きな赤いボタンを押す必要があるかもしれない」と論文は説明している。

この論文ではまた、人間がAIに安全に介入できる「フレームワーク」が存在する一方で、AIがそうした介入を防ぐ方法を学習できないことも確認している。

「安全な中断可能性は、不正な動作をして取り返しのつかない結果につながる可能性のあるロボットを制御したり、デリケートな状況からロボットを救い出すのに役立つ可能性がある」と論文は続けている。

つまり、基本的にはこれらのシステムが機能することを信じるしかないのです。研究者たちは、一部のアルゴリズムでは機能すると述べていますが、他のアルゴリズムについては適応させる必要があります。そして、すべてのアルゴリズムが「簡単に安全に中断可能にできる」かどうかは明らかではありません。

出典：ビジネスインサイダー

Oligur