第04章：Caching・Rate limiting・Retry・Fallbackを学ぼう 🛡️

AI Gatewayには、AIアプリを安定させるための機能があります。
ここではCaching、Rate limiting、Retry、Fallbackを整理します。

---

1. Caching ⚡

同じリクエストに同じ回答を返せる場面では、cacheが役立ちます。

同じ質問
  ↓
前回の回答を再利用

コスト削減や高速化につながります。
ただし、個人情報を含むpromptやユーザーごとに違う回答はcacheに注意します。

---

2. Rate limiting 🚦

Rate limitingは、使いすぎを抑える機能です。

1分に何回まで
1ユーザーに何回まで
特定routeだけ制限

AI APIはコストがかかるので、入口を守ることが大切です。

---

3. Retry 🔁

一時的な失敗は、retryで成功することがあります。

AI providerが一時的に5xx
  ↓
少し待って再試行

ただし、入力不正のような失敗はretryしても直りません。

---

4. Fallback 🪂

Fallbackは、あるモデルやproviderが失敗したときに別の候補へ切り替える考え方です。

model Aが失敗
  ↓
model Bで試す

品質、コスト、速度の違いも考えます。

---

5. 章末チェック ✅

• Cachingで高速化やコスト削減ができると分かる
• Rate limitingで使いすぎを防げる
• Retryは一時的な失敗向けだと分かる
• Fallbackで別モデルへ切り替えられる
• 個人情報を含むpromptのcacheに注意できる

この章で覚える一言はこれです。
AI Gatewayの制御機能は、AIアプリを安定して運用するための道具です 🛡️