Limity szybkości i budżety per workload, limity organizacji oraz dokładny cache odpowiedzi, wraz z działaniem każdego limitu po jego osiągnięciu.
Budżety i limity
Każdy workload ma własne limity szybkości (żądania i tokeny na minutę) oraz budżet wydatków wspólny dla jego poświadczeń. Na wszystkie workloady działa też zbiorczy limit całej organizacji.
Wybierz okres budżetu: total, daily lub monthly. Akcja budżetu block zatrzymuje wywołania ponad budżet, a notify pozwala im trwać.
Jak egzekwowane są limity
Po przekroczeniu limitu szybkości workloadu wywołanie zwraca 429 z nagłówkiem Retry-After: pełne sekundy do następnego okna minutowego (od 1 do 60). Po przekroczeniu budżetu blokującego zwraca 402. W obu przypadkach żądanie nigdy nie dociera do dostawcy.
Przed wysyłką gateway sprawdza rozliczone wydatki i rezerwuje szacowaną kwotę w budżetach z limitem. Faktyczne zużycie jest wyceniane według bieżącego cennika i obciążane, gdy odpowiedź zostanie zmierzona.
Gdy liczniki są nieosiągalne, budżet blokujący jest uzgadniany z niezmiennego rejestru audytu i działa w trybie fail closed, gdy nie da się go zweryfikować. Okna szybkości działają w trybie fail open, gdy Redis jest niedostępny, a budżety w trybie notify nigdy nie blokują.
Przesyłanie plików do Workspace Knowledge jest mierzone tak samo. Embeddingi potrzebne dokumentowi są wyceniane jak wywołanie /v1/embeddings i obciążają organizację, jej przedpłacony kredyt oraz budżet przesyłającego członka. Przesyłanie jest odrzucane z kodem 402, gdy budżet organizacji lub kredyt się wyczerpie.
Użycie: sprawdzaj zużycie i wydatki.Interfejs angielski · przykładowe dane demonstracyjne. Otwórz obraz w pełnym rozmiarze.
# past the workload's rate limit: the request never reaches a provider# response header: Retry-After: 23 (whole seconds until the next per-minute window)
{
"error": {
"message": "rate limit exceeded",
"type": "rate_limit_error",
"param": null,
"code": "rate_limit_exceeded"
}
}
# a workload budget is used up (a missing plan or credit also returns 402, with its own code and message)
{
"error": {
"message": "budget exceeded",
"type": "insufficient_quota",
"param": null,
"code": "insufficient_quota"
}
}
Buforowanie
Opcjonalny dokładny cache odpowiedzi dopasowuje znormalizowane żądania. Włącz go w widoku Cache w Console.
Jest ściśle izolowany per organizacja i szyfrowany w spoczynku.
Wymaga retencji treści.
Cache: skonfiguruj dokładny cache odpowiedzi.Interfejs angielski · przykładowe dane demonstracyjne. Otwórz obraz w pełnym rozmiarze.
Nowe wpisy audytu zapisują, jak obsłużono wywołanie: none | exact.
# with retention and exact caching on, a repeat of a cacheable request can come from the cachecurl https://api.sluis.ai/v1/chat/completions \
-H "Authorization: Bearer $SLUIS_KEY" \
-H "Content-Type: application/json" \
-d '{ "model": "mistral/mistral-large-latest", "messages": [{ "role": "user", "content": "Define GDPR" }] }'# audit row of a cache hit: cache_hit: exact, no provider dispatch, no token cost