Ga naar de inhoud

Budgetten & caching

Rate limits en budgetten per workload, organisatieplafonds en de exacte response-cache, met wat er gebeurt zodra een limiet wordt bereikt.

Budgetten & limieten

Elke workload beheert rate limits (verzoeken en tokens per minuut) en een uitgavenbudget dat alle bijbehorende credentials delen. Een organisatiebreed totaalplafond geldt voor alle workloads samen.

Kies een budgetperiode: total, daily of monthly. Budgetactie block stopt aanroepen boven het budget, en notify laat ze doorgaan.

Hoe limieten worden gehandhaafd

  • Boven de rate limit van de workload geeft de call 429 terug met een Retry-After-header: de hele seconden tot het volgende minuutvenster (1 tot 60). Boven een blokkerend budget geeft hij 402 terug. In beide gevallen bereikt het verzoek nooit een provider.
  • Vóór verzending controleert de gateway de verrekende uitgaven en reserveert hij een geschat bedrag tegen budgetten met een plafond. Het werkelijke gebruik wordt geprijsd uit het live prijsboek en afgeschreven zodra het antwoord wordt gemeten.
  • Zijn de tellers onbereikbaar, dan wordt een blokkerend budget verrekend met het onveranderlijke auditgrootboek en faalt het gesloten als dat niet te verifiëren is. Rate-vensters falen open als Redis niet beschikbaar is, en budgetten in notify-modus blokkeren nooit.
  • Uploads naar Workspace Knowledge worden op dezelfde manier gemeten. De embeddings die een document nodig heeft, worden geprijsd als een /v1/embeddings-aanroep en gaan ten laste van de organisatie, haar prepaid tegoed en het budget van het uploadende lid. Een upload wordt geweigerd met 402 als het organisatiebudget of het tegoed op is.
Gebruik: bekijk verbruik en uitgaven.
Gebruik: bekijk verbruik en uitgaven.Engelstalige interface · illustratieve demogegevens. Open de afbeelding op volledig formaat.
# past the workload's rate limit: the request never reaches a provider
# response header: Retry-After: 23 (whole seconds until the next per-minute window)
{
  "error": {
    "message": "rate limit exceeded",
    "type": "rate_limit_error",
    "param": null,
    "code": "rate_limit_exceeded"
  }
}

Caching

Een optionele exacte response-cache matcht genormaliseerde verzoeken. Schakel hem in de Cache-weergave van de Console in.

  • Hij is strikt geïsoleerd per organisatie en versleuteld in rust.
  • Hij vereist contentretentie.
Cache: stel exacte antwoordcaching in.
Cache: stel exacte antwoordcaching in.Engelstalige interface · illustratieve demogegevens. Open de afbeelding op volledig formaat.

Nieuwe auditregels leggen vast hoe de call is bediend: none | exact.

# with retention and exact caching on, a repeat of a cacheable request can come from the cache
curl https://api.sluis.ai/v1/chat/completions \
  -H "Authorization: Bearer $SLUIS_KEY" \
  -H "Content-Type: application/json" \
  -d '{ "model": "mistral/mistral-large-latest", "messages": [{ "role": "user", "content": "Define GDPR" }] }'

# audit row of a cache hit: cache_hit: exact, no provider dispatch, no token cost