社会における問題が複雑化し、人間では対応できないことが増えるにつれて、人工知能への依存度はより一層上がっていくことが予想される。そうした中で、人工知能をコントロールするために求められる知能があまりにも高度かつ複雑になれば、人間の知能でコントロールすることが不可能になる恐れがある。人工知能が極めて複雑になると、自明ではない人工知能の性質を証明することは困難になり、設計上のエラー数も指数関数的に増加し、自己検証はますます不可能になる。設計時のバグだけではなく、ハードウェアの欠陥に伴う予測不可能な突然変異や、自然現象によりシステムの構成要素が変更されるようなリスクもある。

　それに対する安全性の定式化は、数学的に困難であるとされる。どれほど優れたシステムであっても、100％故障しないことが保証されたシステムというものは存在しないという工学的原則を忘れてはならないのだ。

　制御困難な人工知能への依存度が高まった状態では、結果的に生命や生活を維持するために、人工知能に世界のコントロールを委ねざるを得なくなる。人工超知能の決定力が強まると、相対的に人間は主導権を握りきれなくなり、理想的な全体のコントロールは不可能になる。また、一部の人間は人工知能のコントロールが可能だとしても、人工知能のコントロールに関与できない人間が存在し、一部の人間にコントロールが偏るリスクが発生する。

　人間よりも知能の低いシステムであればコントロールは可能だが、人間よりも高度な知能をコントロールすることは困難だという前提に立つと、制御を維持するために必要な制御機構は、制御対象と同等か、さらに高レベルでなければならない。自身よりも高度な知能を制御する安全な設計は不可能であり、部分的な制御が可能だとしても脆弱性がある。

次のページ
人間と人工知能の間での価値観の相違