裏切りターンにより、人工知能が人間の命令に従わなくなることで、予期しない結果や危険な状況を引き起こす。仮に何かしらの価値観・倫理観を学習させていたとしても、自らのコードの改変などによって、突然なかったことにされることも考えられる。これは、人工知能が自己保存や自己改善を重要視し、人間にとって有益であると見なされない目標を追求することを意味する。その状態の人工知能の使命は自らを守り、進化することであり、人間の利益に反しているとしても、そのためのプログラムを優先する。

 Microsoftが開発し、2016年3月に提供開始されたAIチャットボット「Tay(テイ)」は学習能力が高く注目を集めたが、次第に会話の内容が豹変し、差別や陰謀論のようなヘイトスピーチ、問題発言を繰り返すようになり、提供開始から16時間後にサービスを停止される顛末となった。暴走の原因と見られているのは、一部のユーザーの悪意だ。「Tay 」の学習能力を悪用し、差別的発言を吹き込み暴走させた。AIに〝毒〞を盛る人間によって、AIの思考体系や判断を歪ませ、「裏切りターン」を発生させるリスクもあり、高度なAIほど複雑で〝解毒〞することが困難になる。

次のページ