Azure AI Foundry ― デプロイ前のクォータとトークンの動きの確認（Tokens / Requests / Quota）

Azure AI Foundry のエージェントを本番に出す前に、本番と同じプロンプト長と応答長、だいたい同じ並列度で一回負荷を流して、どのくらい余裕があるかざっと見ておく。Foundry のメトリクスは触っていると癖が分かるので、軽く試しておくと後が楽。最初に Quota を見る。TPM と総トークンの上限と利用率がそのまま出ている。ここが張り付くなら増加申請。負荷をかけても上限の手前で止まるなら、そのまま本番に進めていい。

短い入力だけで試すと TPM の動きが本番とずれるので、本番と同じサイズで流すほうがいい。並列で流すと Azure Monitor の Tokens / Requests / 429 が動き始めて、どこでレート制限に当たりやすいかが分かる。TPM を使い切ると RPM も上限に寄ってきて、どちらかを超えると 429。これは普通のレート制限なので、指数バックオフで処理できるなら問題なし。プロンプトとコンプリーションの比率を変えると TPM の揺れ方が少し変わる。プロジェクト側の quota が十分でも、デプロイ側の TPM が低いと普通に 429 が出るので、そこも必ず見る。

まとめると、本番と同じサイズと並列度で負荷を流して余裕を確認して、プロジェクトとデプロイ両方の quota を見て、最後に Azure Monitor の Tokens / Requests / 429 の動きをざっと追えば十分。TPM/RPM の上限に届かず、429 が想定内で収まっていれば、本番でも扱いやすい。