Vai al contenuto

Budget e caching

Limiti di velocità e budget per workload, tetti di organizzazione e cache di risposta esatta, con il comportamento di ogni limite quando viene raggiunto.

Budget e limiti

Ogni workload gestisce limiti di frequenza (richieste e token al minuto) e un budget di spesa condiviso tra le sue credenziali. Un tetto aggregato a livello di organizzazione si applica a tutti i workload.

Scegli un periodo di budget: total, daily o monthly. L’azione di budget block ferma le chiamate oltre il budget, e notify le lascia proseguire.

Come vengono applicati i limiti

  • Superato il rate limit del workload la chiamata restituisce 429 con un header Retry-After: i secondi interi fino alla prossima finestra di un minuto (da 1 a 60). Superato un budget bloccante, 402. In entrambi i casi la richiesta non raggiunge mai un provider.
  • Prima dell’inoltro il gateway controlla la spesa già consolidata e riserva un importo stimato sui budget con tetto. L’uso effettivo viene prezzato dal listino prezzi in tempo reale e addebitato quando la risposta viene misurata.
  • Se i contatori non sono raggiungibili, un budget bloccante viene riconciliato dal registro di audit immutabile e blocca per sicurezza se non può essere verificato. Le finestre di frequenza lasciano passare quando Redis non è disponibile, e i budget in modalità notify non bloccano mai.
  • I caricamenti in Knowledge di Workspace sono misurati allo stesso modo. Gli embedding necessari a un documento sono prezzati come una chiamata a /v1/embeddings e addebitati all’organizzazione, al suo credito prepagato e al budget del membro che carica. Un caricamento viene rifiutato con 402 quando il budget o il credito dell’organizzazione sono esauriti.
Utilizzo: consulta consumi e spese.
Utilizzo: consulta consumi e spese.Interfaccia in inglese · dati dimostrativi illustrativi. Apri l’immagine a dimensione intera.
# past the workload's rate limit: the request never reaches a provider
# response header: Retry-After: 23 (whole seconds until the next per-minute window)
{
  "error": {
    "message": "rate limit exceeded",
    "type": "rate_limit_error",
    "param": null,
    "code": "rate_limit_exceeded"
  }
}

Caching

Una cache esatta delle risposte, opzionale, abbina le richieste normalizzate. Attivala nella vista Cache della Console.

  • È rigorosamente isolata per organizzazione e cifrata a riposo.
  • Richiede la conservazione dei contenuti.
Cache: configura la cache delle risposte esatta.
Cache: configura la cache delle risposte esatta.Interfaccia in inglese · dati dimostrativi illustrativi. Apri l’immagine a dimensione intera.

Le nuove righe di audit registrano come è stata servita la chiamata: none | exact.

# with retention and exact caching on, a repeat of a cacheable request can come from the cache
curl https://api.sluis.ai/v1/chat/completions \
  -H "Authorization: Bearer $SLUIS_KEY" \
  -H "Content-Type: application/json" \
  -d '{ "model": "mistral/mistral-large-latest", "messages": [{ "role": "user", "content": "Define GDPR" }] }'

# audit row of a cache hit: cache_hit: exact, no provider dispatch, no token cost