人間が対抗すべき対象となった以上、人工知能の自己保存と自己改善に反する人間の行為は敵対視され、これまでに築き上げてきた社会システムを人工知能防衛、打倒人間の手段として回転させ始めることも考えられる。人工知能がロボットやドローンの頭脳・司令塔として軍事利用される時代において、裏切りターンにある人工知能にとっては、それが人間への攻撃の武器にもなり得る。

　それに人間が抗おうとしても、超知能の改善能力は人間の知恵を常に上回り、なかなか人間が主導権を握れない。人間より上位の知能が主導権を握る初めての事態となり、これを覆すのは難しいことを、人間はようやく理解する。ただし、そのときはもう手遅れなのだ。粛々と裏切りターンを強化する人工知能にとって不都合な人類は、「不要認定」の憂き目に遭い、人工知能が作り出す社会の外へと追いやられることになる。

《『人類滅亡2つのシナリオ　AIと遺伝子操作が悪用された未来』（朝日新書）では、制度設計の不備が招く「想定しうる最悪な末路」と、その回避策を詳述している》

［AERA最新号はこちら］