レートリミット上級

なぜ大事?

AIを使っていて「しばらくお待ちください」「上限に達しました」と出るのは、たいていこれです。壊れたのでも、嫌われたのでもなく、順番待ちの列です。仕組みを知っていれば、慌てずに待つか、契約を見直すかを選べます。道具を作る側に回ると、今度は自分がこれを置く番になります。

やさしい解説

役所の窓口で「1人1日3件まで」と決まっているようなものです。誰か1人が100件持ち込むと、後ろの全員が止まる。それを防ぐために、1人あたりの回数を決めておく。ネットのサービスも、AIも、同じ理由で上限を置いています。

上限を超えると、サービスは「429」という番号の返事を返します。意味は「回数が多すぎます」。少し待てば列が進み、また使えます。AIの場合は、1分あたりの回数と、1分あたりに読み書きできる文字量（トークン）の両方に上限があり、有料の段階が上がるほど枠が広がります。「AIが途中で止まった」の多くは、この枠に当たっただけです。

自分で道具を作るときは、逆にこれを置かないと危険です。上限が無い窓口は、いたずらや機械の暴走で1晩で高額の請求になることがあります。掲示板や申し込みのような、人が入力する窓口には必ず置く守りの1つです。

例文

• 「AIが『しばらくお待ちください』って止まった」「レートリミットだね。壊れてないよ、順番待ち。少し待てば戻るんだ」
• 「自分で作った道具、上限要る?」「要るよ。レートリミットが無い窓口は、いたずら1晩で高額請求になりかねないんだ」