設計上は、人間による能動的な改善と、AIによる再帰的な技術改善、自己改善を区別し、無制限の自己変革による潜在的な危険を回避できるようにする。AIによる自動化は段階的に進め、どのように再帰的な改善を生み出すかの検証をしつつ、人間の承認と不承認を的確に反映できる構造になっているのか確認を行う。

　さらに加えると、AIに倫理モジュールをあらかじめ組み込んでおく。統一的な倫理がないからこそ、先述した国際協調により定めた倫理ガイドラインが必要となるが、そこから外れた動作をした場合は自動停止するようにしておき、制御の範囲を超えないようにする。AIを駆使した犯罪や戦争には、AIで対抗するようになることが想定されるが、制御不可能な超知能同士の争いの結果、世界は壊滅的になる恐れがある。それを防ぐ意味でも、倫理モジュールは重要な歯止め機能となる。

　運用段階においても、システム監視の一環で、「人間のリクエストやフィードバックを正しく解釈しているか」を適宜チェックしながら、誤ったフィードバックループを回避する。たとえば、複雑な社会課題解決や難解な業務遂行のために、突出した能力が必要となる部分を見極め、そこを担う超知能、標準的人工知能、人間の知能のハイブリッドで扱える柔軟な汎用型AIモデルを目指し、あくまでも手段としてのサービスに徹することだ。

暮らしとモノ班 for promotion
大谷翔平選手の好感度の高さに企業もメロメロ！どんな企業と契約している？
次のページ
限定的に超知能を活かすアプローチ