Rate-Limits und Budgets pro Workload, Organisations-Obergrenzen und der Exact-Match-Antwort-Cache, samt Verhalten jedes Limits bei Erreichen.
Budgets & Limits
Jeder Workload hat eigene Rate-Limits (Anfragen und Tokens pro Minute) und ein Ausgabenbudget, das alle seine Zugangsdaten teilen. Zusätzlich gilt eine organisationsweite Gesamtgrenze über alle Workloads.
Wählen Sie einen Budgetzeitraum: total, daily oder monthly. Die Budgetaktion block stoppt Aufrufe über dem Budget, notify lässt sie weiterlaufen.
Wie Limits durchgesetzt werden
Über dem Rate-Limit des Workloads gibt der Aufruf 429 mit einem Retry-After-Header zurück: die ganzen Sekunden bis zum nächsten Minutenfenster (1 bis 60). Über einem blockierenden Budget gibt er 402 zurück. In beiden Fällen erreicht die Anfrage nie einen Anbieter.
Vor dem Versand prüft das Gateway die abgerechneten Ausgaben und reserviert bei Budgets mit Obergrenze einen geschätzten Betrag. Die tatsächliche Nutzung wird mit dem Live-Preisbuch bepreist und bei der Messung der Antwort abgebucht.
Sind die Zähler nicht erreichbar, wird ein blockierendes Budget mit dem unveränderlichen Audit-Register abgeglichen und schlägt geschlossen fehl (fail closed), wenn es sich nicht prüfen lässt. Rate-Fenster schlagen offen fehl (fail open), wenn Redis nicht verfügbar ist, und Budgets im Modus notify blockieren nie.
Uploads in das Wissen von Sluis Workspace werden genauso gemessen. Die Embeddings, die ein Dokument braucht, werden wie ein /v1/embeddings-Aufruf bepreist und der Organisation, ihrem Prepaid-Guthaben und dem Budget des hochladenden Mitglieds belastet. Ein Upload wird mit 402 abgelehnt, wenn das Budget oder Guthaben der Organisation aufgebraucht ist.
Nutzung: Prüfen Sie Verbrauch und Ausgaben.Englische Oberfläche · illustrative Demodaten. Öffnen Sie das Bild in voller Größe.
# past the workload's rate limit: the request never reaches a provider# response header: Retry-After: 23 (whole seconds until the next per-minute window)
{
"error": {
"message": "rate limit exceeded",
"type": "rate_limit_error",
"param": null,
"code": "rate_limit_exceeded"
}
}
# a workload budget is used up (a missing plan or credit also returns 402, with its own code and message)
{
"error": {
"message": "budget exceeded",
"type": "insufficient_quota",
"param": null,
"code": "insufficient_quota"
}
}
Caching
Ein optionaler exakter Response-Cache gleicht normalisierte Anfragen ab. Aktivieren Sie ihn in der Cache-Ansicht der Console.
Er ist streng pro Organisation isoliert und im Ruhezustand verschlüsselt.
Er setzt die Inhaltsaufbewahrung voraus.
Cache: Konfigurieren Sie exaktes Antwort-Caching.Englische Oberfläche · illustrative Demodaten. Öffnen Sie das Bild in voller Größe.
Neue Audit-Zeilen halten fest, wie der Aufruf bedient wurde: none | exact.
# with retention and exact caching on, a repeat of a cacheable request can come from the cachecurl https://api.sluis.ai/v1/chat/completions \
-H "Authorization: Bearer $SLUIS_KEY" \
-H "Content-Type: application/json" \
-d '{ "model": "mistral/mistral-large-latest", "messages": [{ "role": "user", "content": "Define GDPR" }] }'# audit row of a cache hit: cache_hit: exact, no provider dispatch, no token cost