Limiti di velocità e budget per workload, tetti di organizzazione e cache di risposta esatta, con il comportamento di ogni limite quando viene raggiunto.
Budget e limiti
Ogni workload gestisce limiti di frequenza (richieste e token al minuto) e un budget di spesa condiviso tra le sue credenziali. Un tetto aggregato a livello di organizzazione si applica a tutti i workload.
Scegli un periodo di budget: total, daily o monthly. L’azione di budget block ferma le chiamate oltre il budget, e notify le lascia proseguire.
Come vengono applicati i limiti
Superato il rate limit del workload la chiamata restituisce 429 con un header Retry-After: i secondi interi fino alla prossima finestra di un minuto (da 1 a 60). Superato un budget bloccante, 402. In entrambi i casi la richiesta non raggiunge mai un provider.
Prima dell’inoltro il gateway controlla la spesa già consolidata e riserva un importo stimato sui budget con tetto. L’uso effettivo viene prezzato dal listino prezzi in tempo reale e addebitato quando la risposta viene misurata.
Se i contatori non sono raggiungibili, un budget bloccante viene riconciliato dal registro di audit immutabile e blocca per sicurezza se non può essere verificato. Le finestre di frequenza lasciano passare quando Redis non è disponibile, e i budget in modalità notify non bloccano mai.
I caricamenti in Knowledge di Workspace sono misurati allo stesso modo. Gli embedding necessari a un documento sono prezzati come una chiamata a /v1/embeddings e addebitati all’organizzazione, al suo credito prepagato e al budget del membro che carica. Un caricamento viene rifiutato con 402 quando il budget o il credito dell’organizzazione sono esauriti.
Utilizzo: consulta consumi e spese.Interfaccia in inglese · dati dimostrativi illustrativi. Apri l’immagine a dimensione intera.
# past the workload's rate limit: the request never reaches a provider# response header: Retry-After: 23 (whole seconds until the next per-minute window)
{
"error": {
"message": "rate limit exceeded",
"type": "rate_limit_error",
"param": null,
"code": "rate_limit_exceeded"
}
}
# a workload budget is used up (a missing plan or credit also returns 402, with its own code and message)
{
"error": {
"message": "budget exceeded",
"type": "insufficient_quota",
"param": null,
"code": "insufficient_quota"
}
}
Caching
Una cache esatta delle risposte, opzionale, abbina le richieste normalizzate. Attivala nella vista Cache della Console.
È rigorosamente isolata per organizzazione e cifrata a riposo.
Richiede la conservazione dei contenuti.
Cache: configura la cache delle risposte esatta.Interfaccia in inglese · dati dimostrativi illustrativi. Apri l’immagine a dimensione intera.
Le nuove righe di audit registrano come è stata servita la chiamata: none | exact.
# with retention and exact caching on, a repeat of a cacheable request can come from the cachecurl https://api.sluis.ai/v1/chat/completions \
-H "Authorization: Bearer $SLUIS_KEY" \
-H "Content-Type: application/json" \
-d '{ "model": "mistral/mistral-large-latest", "messages": [{ "role": "user", "content": "Define GDPR" }] }'# audit row of a cache hit: cache_hit: exact, no provider dispatch, no token cost