Saltar al contenido

Presupuestos y caché

Límites de velocidad y presupuestos por workload, topes de organización y caché de respuesta exacta, con el comportamiento de cada límite al alcanzarse.

Presupuestos y límites

Cada workload tiene sus propios límites de tasa (peticiones y tokens por minuto) y un presupuesto de gasto compartido entre sus credenciales. Un límite agregado de toda la organización se aplica a todos los workloads.

Elija un periodo de presupuesto: total, daily o monthly. La acción de presupuesto block detiene las llamadas que superan el presupuesto, y notify las deja continuar.

Cómo se aplican los límites

  • Superado el límite de tasa del workload, la llamada devuelve 429 con una cabecera Retry-After: los segundos enteros hasta la siguiente ventana de un minuto (de 1 a 60). Superado un presupuesto con bloqueo, devuelve 402. En ambos casos la petición nunca llega a un proveedor.
  • Antes de despachar, el gateway comprueba el gasto liquidado y reserva un importe estimado en los presupuestos con tope. El uso real se tarifica con el libro de precios en vivo y se descuenta cuando se mide la respuesta.
  • Si no se puede acceder a los contadores, un presupuesto con bloqueo se reconcilia con el libro de auditoría inmutable y falla en cerrado cuando no se puede verificar. Las ventanas de tasa fallan en abierto cuando Redis no está disponible, y los presupuestos en modo notify nunca bloquean.
  • Las subidas a Knowledge de Workspace se miden del mismo modo. Los embeddings que necesita un documento se tarifican como una llamada a /v1/embeddings y se cargan a la organización, a su crédito prepagado y al presupuesto del miembro que sube el archivo. Una subida se rechaza con 402 cuando el presupuesto o el crédito de la organización se ha agotado.
Uso: revise el consumo y los gastos.
Uso: revise el consumo y los gastos.Interfaz en inglés · datos de demostración ilustrativos. Abra la imagen para verla a tamaño completo.
# past the workload's rate limit: the request never reaches a provider
# response header: Retry-After: 23 (whole seconds until the next per-minute window)
{
  "error": {
    "message": "rate limit exceeded",
    "type": "rate_limit_error",
    "param": null,
    "code": "rate_limit_exceeded"
  }
}

Caché

Una caché de respuesta exacta opcional compara peticiones normalizadas. Actívela en la vista Cache de la Consola.

  • Está estrictamente aislada por organización y cifrada en reposo.
  • Requiere retención de contenido.
Caché: configure la caché de respuestas exacta.
Caché: configure la caché de respuestas exacta.Interfaz en inglés · datos de demostración ilustrativos. Abra la imagen para verla a tamaño completo.

Las nuevas filas de auditoría registran cómo se sirvió la llamada: none | exact.

# with retention and exact caching on, a repeat of a cacheable request can come from the cache
curl https://api.sluis.ai/v1/chat/completions \
  -H "Authorization: Bearer $SLUIS_KEY" \
  -H "Content-Type: application/json" \
  -d '{ "model": "mistral/mistral-large-latest", "messages": [{ "role": "user", "content": "Define GDPR" }] }'

# audit row of a cache hit: cache_hit: exact, no provider dispatch, no token cost