Saltar al contenido

Cargas de trabajo

Una carga de trabajo reúne los ajustes de un equipo, usuario, agente o aplicación: modelos, límites y presupuestos. Las claves API son sus credenciales.

Workloads: organice el acceso de las aplicaciones y sus credenciales.
Workloads: organice el acceso de las aplicaciones y sus credenciales.Interfaz en inglés · datos de demostración ilustrativos. Abra la imagen para verla a tamaño completo.

Configure los modelos permitidos, las solicitudes y los tokens por minuto, y un presupuesto diario, mensual o total. Después elija qué ocurre cuando se agota el presupuesto:

  • block detiene con 402 las llamadas que superan el presupuesto.
  • notify permite que continúen.

Plazo de respuesta

En Límites y presupuesto, el plazo de respuesta fija cuánto espera una llamada al modelo la respuesta del proveedor: de 10 a 600 segundos, 300 por defecto.

  • Una llamada sin respuesta a tiempo termina con 504 y no se repite, porque el proveedor puede seguir procesándola.
  • Quien llama puede acortar el plazo por solicitud con la cabecera x-sluis-upstream-timeout, nunca alargarlo.
  • Una respuesta en streaming que ya ha empezado no se corta por este plazo. Solo 600 segundos de silencio a mitad del streaming la terminan.
Límites y presupuesto del workload, incluido el plazo de respuesta del proveedor.
Límites y presupuesto del workload, incluido el plazo de respuesta del proveedor.Interfaz en inglés · datos de demostración ilustrativos. Abra la imagen para verla a tamaño completo.

Excepciones, pausa y claves

  • Un option_overrides vacío hereda la configuración de la organización.
  • Elija un modelo de reconocimiento de IA disponible y ajuste los tipos de entidad y detectores integrados para este workload, también en documentos e imágenes.
  • Pausar una carga de trabajo rechaza sus solicitudes (403) sin revocar las credenciales.
  • Puede rotar las claves sin cambiar la política de la carga de trabajo.
Excepciones del workload: elija las diferencias respecto a los ajustes de la organización.
Excepciones del workload: elija las diferencias respecto a los ajustes de la organización.Interfaz en inglés · datos de demostración ilustrativos. Abra la imagen para verla a tamaño completo.

Control de alcance

El control de alcance comprueba cada llamada al modelo hecha con las claves de la carga de trabajo (salvo embeddings) frente a un alcance que usted redacta en lenguaje llano: lo que la IA de esta carga de trabajo puede y no puede hacer, hasta 4.000 caracteres. Elija un modo:

  • off omite la comprobación.
  • log juzga en segundo plano sin retrasar la llamada y anota en el registro de auditoría las llamadas fuera de alcance.
  • block espera el veredicto y rechaza con 403 scope_violation una llamada fuera de alcance antes de que llegue al proveedor. Si la comprobación no puede completarse, la llamada se rechaza con 503 scope_guard_unavailable.

Cómo juzga

  • Un modelo pequeño alojado en la UE (Mistral Small) juzga cada llamada tras la protección de datos, sobre el texto que recibiría el proveedor.
  • Cada comprobación es un recibo de auditoría aparte, facturado al precio por token del modelo.
  • Su política de residencia debe permitir ese modelo, o el control no se puede activar.
  • Una entrada formada solo por archivos o contenido multimedia que el control no puede inspeccionar se rechaza con 503 en modo block, y se omite en modo log.
Control de alcance del workload: modo Log y alcance guardado que se comprueba en cada llamada.
Control de alcance del workload: modo Log y alcance guardado que se comprueba en cada llamada.Interfaz en inglés · datos de demostración ilustrativos. Abra la imagen para verla a tamaño completo.
Consola