Aller au contenu

Charges de travail

Une charge de travail porte les réglages d’une équipe, d’un utilisateur, d’un agent ou d’une appli : modèles, limites, budgets. Les clés API en dépendent.

Workloads : organisez les accès des applications et leurs identifiants.
Workloads : organisez les accès des applications et leurs identifiants.Interface en anglais · données de démonstration illustratives. Ouvrez l’image pour la voir en taille réelle.

Définissez les modèles autorisés, les requêtes et jetons par minute, et un budget quotidien, mensuel ou total. Choisissez ensuite ce qui se passe quand le budget est épuisé :

  • block arrête les appels hors budget avec 402.
  • notify les laisse se poursuivre.

Délai de réponse

Sous Limites & budget, le délai de réponse fixe combien de temps un appel de modèle attend la réponse du fournisseur : de 10 à 600 secondes, 300 par défaut.

  • Un appel sans réponse à temps échoue avec 504 et n’est pas rejoué, car le fournisseur peut encore le traiter.
  • Un appelant peut raccourcir le délai par requête avec l’en-tête x-sluis-upstream-timeout, jamais l’allonger.
  • Une réponse en streaming déjà commencée n’est pas coupée par ce délai. Seules 600 secondes de silence en cours de flux y mettent fin.
Limites et budget du workload, dont le délai de réponse du fournisseur.
Limites et budget du workload, dont le délai de réponse du fournisseur.Interface en anglais · données de démonstration illustratives. Ouvrez l’image pour la voir en taille réelle.

Surcharges, pause et clés

  • Un option_overrides vide hérite des paramètres par défaut de l’organisation.
  • Choisissez un modèle de reconnaissance IA disponible et ajustez les catégories d’entités et détecteurs intégrés pour ce workload, y compris pour les documents et images.
  • La mise en pause d’une charge de travail refuse ses requêtes (403) sans révoquer les identifiants.
  • Vous pouvez renouveler les clés sans modifier la politique de la charge de travail.
Exceptions du workload : choisissez les écarts aux paramètres de l’organisation.
Exceptions du workload : choisissez les écarts aux paramètres de l’organisation.Interface en anglais · données de démonstration illustratives. Ouvrez l’image pour la voir en taille réelle.

Garde de périmètre

Le garde de périmètre vérifie chaque appel de modèle fait avec les clés de la charge de travail (sauf les embeddings) par rapport à un périmètre que vous rédigez en langage courant : ce que l’IA de cette charge de travail peut et ne peut pas faire, jusqu’à 4 000 caractères. Choisissez un mode :

  • off désactive la vérification.
  • log juge en arrière-plan sans retarder l’appel, et consigne les appels hors périmètre dans le journal d’audit.
  • block attend le verdict et refuse un appel hors périmètre avec 403 scope_violation avant qu’il n’atteigne le fournisseur. Si la vérification ne peut aboutir, l’appel est refusé avec 503 scope_guard_unavailable.

Comment il juge

  • Un petit modèle hébergé dans l’UE (Mistral Small) juge chaque appel après la protection des données, sur le texte que le fournisseur recevrait.
  • Chaque vérification est un reçu d’audit distinct, facturé au prix en jetons du modèle.
  • Votre politique de résidence doit autoriser ce modèle, sinon le garde ne peut pas être activé.
  • Une entrée composée uniquement de fichiers ou de médias que le garde ne peut pas inspecter est refusée avec 503 en mode block, et ignorée en mode log.
Contrôle du périmètre du workload : mode Log et périmètre enregistré vérifié pour chaque appel.
Contrôle du périmètre du workload : mode Log et périmètre enregistré vérifié pour chaque appel.Interface en anglais · données de démonstration illustratives. Ouvrez l’image pour la voir en taille réelle.
Console