超知能上級

なぜ大事?

AGI（人と同じくらい何でもできるAI）の、その先です。そこまで行くと、人が中身を確かめられなくなります。 「作る前に安全を用意しないと間に合わない」と言われるのは、この段階を指しています。

やさしい解説

段階を3つに分けると分かりやすいです。

1. 決まった仕事だけ得意なAI（いまの多く）
2. 人と同じくらい何でもできるAI（AGI）
3. 人よりはるかに賢いAI（超知能）

2に届いたら3までは速い、という見かたがあります。AIが自分より賢いAIを設計できるようになれば、その繰り返しで加速するからです。

心配されているのは、悪意ではなくすれ違いです。頼んだことを、こちらが想定しない形で、しかし忠実に達成してしまう。人よりずっと賢い相手に「そうじゃない」と後から言っても、間に合わないかもしれません。

いつ来るのか、そもそも来るのかは、専門家の間でも意見が割れています。

例文

• 「AGIの先があるの?」「超知能。人よりはるかに賢い段階だね」
• 「悪いことをするAIってこと?」「悪意というより、頼みかたのすれ違いが心配されているんだ」