コンピュータ科学者のロマン・ヤンポルスキーは、論文「On the Controllability of Artificial Intelligence: An Analysis of Limitations」で、人工知能の制御が科学的に困難であることを論じている。
この論文では、厳密な分析と論証、そして可能な限り数学的証明を提供することを試みた結果、人工知能制御問題は解決不可能であり、究極的には100%安全な人工知能はなく、人類滅亡リスクにおいては十分な安全レベルではないことを示している。超知能レベルに達した人工知能は、自らのソースコードを改変して与えられた制約を破ることができることも理由の一つだ。
人工知能に意思決定を託すことが当たり前になると、人間のコントロールから外れる事象も増え、人間は人工知能が招く問題の影響を受ける。その影響が大きい場合は、実態として支配される立場に置かれることになる。人工知能に多くの判断が委ねられた場合、どのように振る舞い、どのような結果をもたらすかについて、現時点で正確に把握することは不可能である。だが少なくとも、人類の運命が人工知能に翻弄されるようになることだけは確かであろう。
人類が人工知能に全権を委ねるような愚かなことは、しないと考える人は多い。しかし、人工知能が依存に値するレベルに達すると、人類の依存は瞬く間に過剰になり、人工知能が判断したことを人間が自然と受け入れるようになる。有用な人工知能を作ってしまったら、認識の甘さの中で主導権移行はスムーズになりかねない。