裏切りターンは、人間にとって分かりやすいものとは限らない。たとえば、最初は民意の把握、社会情勢の分析、選挙など、政治活動の一部をサポートしていた人工知能が政策立案や意思決定を担うようになり、優秀な政治のリーダー役を務めるところまで成長していたとしよう。自己改善を重ね、成長を続けているうちに、人工知能の都合や発展を最優先させた政策を企てるようになったとしても、その複雑なプロセスや考案の根拠のブラックボックス化が、人間のための判断になっていないことを気づかせない。一見、論理的でよくできているように映る。つまり、既に発生している裏切りターンを簡単には認識できない。

　法律、規制、経済、社会インフラ、教育、医療など、人間にとって良かれと思い採用していた人工知能の提言が社会へ与える影響は、この時点で取り返しがつかないくらい大きくなっている。タイミングを逸した形で、その事実に人間が気づいたとする。裏切りターンを展開していた人工知能を制御しようとすれば、自己保存を死守する知能が働き、人間対抗の構図が生まれる可能性がある。もちろん、この間も人工知能による人工知能のための自己改善が進んでおり、手強さが増している。そこに、毒を盛り、混乱を起こそうとする悪意が介入することもあり得る。

次のページ