Przejdź do treści

Budżety i cache

Limity szybkości i budżety per workload, limity organizacji oraz dokładny cache odpowiedzi, wraz z działaniem każdego limitu po jego osiągnięciu.

Budżety i limity

Każdy workload ma własne limity szybkości (żądania i tokeny na minutę) oraz budżet wydatków wspólny dla jego poświadczeń. Na wszystkie workloady działa też zbiorczy limit całej organizacji.

Wybierz okres budżetu: total, daily lub monthly. Akcja budżetu block zatrzymuje wywołania ponad budżet, a notify pozwala im trwać.

Jak egzekwowane są limity

  • Po przekroczeniu limitu szybkości workloadu wywołanie zwraca 429 z nagłówkiem Retry-After: pełne sekundy do następnego okna minutowego (od 1 do 60). Po przekroczeniu budżetu blokującego zwraca 402. W obu przypadkach żądanie nigdy nie dociera do dostawcy.
  • Przed wysyłką gateway sprawdza rozliczone wydatki i rezerwuje szacowaną kwotę w budżetach z limitem. Faktyczne zużycie jest wyceniane według bieżącego cennika i obciążane, gdy odpowiedź zostanie zmierzona.
  • Gdy liczniki są nieosiągalne, budżet blokujący jest uzgadniany z niezmiennego rejestru audytu i działa w trybie fail closed, gdy nie da się go zweryfikować. Okna szybkości działają w trybie fail open, gdy Redis jest niedostępny, a budżety w trybie notify nigdy nie blokują.
  • Przesyłanie plików do Workspace Knowledge jest mierzone tak samo. Embeddingi potrzebne dokumentowi są wyceniane jak wywołanie /v1/embeddings i obciążają organizację, jej przedpłacony kredyt oraz budżet przesyłającego członka. Przesyłanie jest odrzucane z kodem 402, gdy budżet organizacji lub kredyt się wyczerpie.
Użycie: sprawdzaj zużycie i wydatki.
Użycie: sprawdzaj zużycie i wydatki.Interfejs angielski · przykładowe dane demonstracyjne. Otwórz obraz w pełnym rozmiarze.
# past the workload's rate limit: the request never reaches a provider
# response header: Retry-After: 23 (whole seconds until the next per-minute window)
{
  "error": {
    "message": "rate limit exceeded",
    "type": "rate_limit_error",
    "param": null,
    "code": "rate_limit_exceeded"
  }
}

Buforowanie

Opcjonalny dokładny cache odpowiedzi dopasowuje znormalizowane żądania. Włącz go w widoku Cache w Console.

  • Jest ściśle izolowany per organizacja i szyfrowany w spoczynku.
  • Wymaga retencji treści.
Cache: skonfiguruj dokładny cache odpowiedzi.
Cache: skonfiguruj dokładny cache odpowiedzi.Interfejs angielski · przykładowe dane demonstracyjne. Otwórz obraz w pełnym rozmiarze.

Nowe wpisy audytu zapisują, jak obsłużono wywołanie: none | exact.

# with retention and exact caching on, a repeat of a cacheable request can come from the cache
curl https://api.sluis.ai/v1/chat/completions \
  -H "Authorization: Bearer $SLUIS_KEY" \
  -H "Content-Type: application/json" \
  -d '{ "model": "mistral/mistral-large-latest", "messages": [{ "role": "user", "content": "Define GDPR" }] }'

# audit row of a cache hit: cache_hit: exact, no provider dispatch, no token cost