Limites de débit et budgets par workload, plafonds d’organisation et cache de réponse exact, avec le comportement de chaque limite une fois atteinte.
Budgets et limites
Chaque workload possède ses limites de débit (requêtes et jetons par minute) et un budget de dépenses partagé entre ses identifiants. Un plafond agrégé à l’échelle de l’organisation s’applique à tous les workloads.
Choisissez une période de budget : total, daily ou monthly. L’action de budget block arrête les appels hors budget, et notify les laisse continuer.
Application des limites
Au-delà de la limite de débit du workload, l’appel renvoie 429 avec un en-tête Retry-After : les secondes entières jusqu’à la prochaine fenêtre d’une minute (de 1 à 60). Au-delà d’un budget bloquant, il renvoie 402. Dans les deux cas, la requête n’atteint jamais un fournisseur.
Avant l’envoi, la gateway vérifie les dépenses réglées et réserve un montant estimé sur les budgets plafonnés. L’usage réel est valorisé selon le barème de prix en vigueur et débité lorsque la réponse est mesurée.
Si les compteurs sont inaccessibles, un budget bloquant est rapproché du registre d’audit immuable et échoue en mode fermé s’il ne peut pas être vérifié. Les fenêtres de débit échouent en mode ouvert lorsque Redis est indisponible, et les budgets en mode notify ne bloquent jamais.
Les téléversements Knowledge de Workspace sont mesurés de la même façon. Les embeddings dont un document a besoin sont valorisés comme un appel /v1/embeddings et imputés à l’organisation, à son crédit prépayé et au budget du membre qui téléverse. Un téléversement est refusé avec 402 lorsque le budget ou le crédit de l’organisation est épuisé.
Utilisation : consultez la consommation et les dépenses.Interface en anglais · données de démonstration illustratives. Ouvrez l’image pour la voir en taille réelle.
# past the workload's rate limit: the request never reaches a provider# response header: Retry-After: 23 (whole seconds until the next per-minute window)
{
"error": {
"message": "rate limit exceeded",
"type": "rate_limit_error",
"param": null,
"code": "rate_limit_exceeded"
}
}
# a workload budget is used up (a missing plan or credit also returns 402, with its own code and message)
{
"error": {
"message": "budget exceeded",
"type": "insufficient_quota",
"param": null,
"code": "insufficient_quota"
}
}
Mise en cache
Un cache de réponses exact, facultatif, fait correspondre les requêtes normalisées. Activez-le dans la vue Cache de la Console.
Il est strictement isolé par organisation et chiffré au repos.
Il exige la conservation du contenu.
Cache : configurez le cache de réponses exact.Interface en anglais · données de démonstration illustratives. Ouvrez l’image pour la voir en taille réelle.
Les nouvelles lignes d'audit consignent comment l'appel a été servi : none | exact.
# with retention and exact caching on, a repeat of a cacheable request can come from the cachecurl https://api.sluis.ai/v1/chat/completions \
-H "Authorization: Bearer $SLUIS_KEY" \
-H "Content-Type: application/json" \
-d '{ "model": "mistral/mistral-large-latest", "messages": [{ "role": "user", "content": "Define GDPR" }] }'# audit row of a cache hit: cache_hit: exact, no provider dispatch, no token cost