Zum Inhalt springen

Budgets & Caching

Rate-Limits und Budgets pro Workload, Organisations-Obergrenzen und der Exact-Match-Antwort-Cache, samt Verhalten jedes Limits bei Erreichen.

Budgets & Limits

Jeder Workload hat eigene Rate-Limits (Anfragen und Tokens pro Minute) und ein Ausgabenbudget, das alle seine Zugangsdaten teilen. Zusätzlich gilt eine organisationsweite Gesamtgrenze über alle Workloads.

Wählen Sie einen Budgetzeitraum: total, daily oder monthly. Die Budgetaktion block stoppt Aufrufe über dem Budget, notify lässt sie weiterlaufen.

Wie Limits durchgesetzt werden

  • Über dem Rate-Limit des Workloads gibt der Aufruf 429 mit einem Retry-After-Header zurück: die ganzen Sekunden bis zum nächsten Minutenfenster (1 bis 60). Über einem blockierenden Budget gibt er 402 zurück. In beiden Fällen erreicht die Anfrage nie einen Anbieter.
  • Vor dem Versand prüft das Gateway die abgerechneten Ausgaben und reserviert bei Budgets mit Obergrenze einen geschätzten Betrag. Die tatsächliche Nutzung wird mit dem Live-Preisbuch bepreist und bei der Messung der Antwort abgebucht.
  • Sind die Zähler nicht erreichbar, wird ein blockierendes Budget mit dem unveränderlichen Audit-Register abgeglichen und schlägt geschlossen fehl (fail closed), wenn es sich nicht prüfen lässt. Rate-Fenster schlagen offen fehl (fail open), wenn Redis nicht verfügbar ist, und Budgets im Modus notify blockieren nie.
  • Uploads in das Wissen von Sluis Workspace werden genauso gemessen. Die Embeddings, die ein Dokument braucht, werden wie ein /v1/embeddings-Aufruf bepreist und der Organisation, ihrem Prepaid-Guthaben und dem Budget des hochladenden Mitglieds belastet. Ein Upload wird mit 402 abgelehnt, wenn das Budget oder Guthaben der Organisation aufgebraucht ist.
Nutzung: Prüfen Sie Verbrauch und Ausgaben.
Nutzung: Prüfen Sie Verbrauch und Ausgaben.Englische Oberfläche · illustrative Demodaten. Öffnen Sie das Bild in voller Größe.
# past the workload's rate limit: the request never reaches a provider
# response header: Retry-After: 23 (whole seconds until the next per-minute window)
{
  "error": {
    "message": "rate limit exceeded",
    "type": "rate_limit_error",
    "param": null,
    "code": "rate_limit_exceeded"
  }
}

Caching

Ein optionaler exakter Response-Cache gleicht normalisierte Anfragen ab. Aktivieren Sie ihn in der Cache-Ansicht der Console.

  • Er ist streng pro Organisation isoliert und im Ruhezustand verschlüsselt.
  • Er setzt die Inhaltsaufbewahrung voraus.
Cache: Konfigurieren Sie exaktes Antwort-Caching.
Cache: Konfigurieren Sie exaktes Antwort-Caching.Englische Oberfläche · illustrative Demodaten. Öffnen Sie das Bild in voller Größe.

Neue Audit-Zeilen halten fest, wie der Aufruf bedient wurde: none | exact.

# with retention and exact caching on, a repeat of a cacheable request can come from the cache
curl https://api.sluis.ai/v1/chat/completions \
  -H "Authorization: Bearer $SLUIS_KEY" \
  -H "Content-Type: application/json" \
  -d '{ "model": "mistral/mistral-large-latest", "messages": [{ "role": "user", "content": "Define GDPR" }] }'

# audit row of a cache hit: cache_hit: exact, no provider dispatch, no token cost