Vai al contenuto

Carichi di lavoro

Un carico di lavoro riunisce le impostazioni di un team, utente, agente o app: modelli, limiti e budget. Le chiavi API sono le sue credenziali.

Workloads: organizza gli accessi delle applicazioni e le loro credenziali.
Workloads: organizza gli accessi delle applicazioni e le loro credenziali.Interfaccia in inglese · dati dimostrativi illustrativi. Apri l’immagine a dimensione intera.

Imposta i modelli consentiti, le richieste e i token al minuto e un budget giornaliero, mensile o totale. Poi scegli cosa succede quando il budget finisce:

  • block interrompe le chiamate oltre il budget con 402.
  • notify le lascia proseguire.

Tempo di risposta

In Limiti e budget, il tempo di risposta stabilisce quanto una chiamata al modello attende la risposta del provider: da 10 a 600 secondi, 300 per impostazione predefinita.

  • Una chiamata senza risposta in tempo termina con 504 e non viene ripetuta, perché il provider potrebbe ancora elaborarla.
  • Chi chiama può accorciare il tempo per richiesta con l’header x-sluis-upstream-timeout, mai allungarlo.
  • Una risposta in streaming già iniziata non viene interrotta da questo limite. Solo 600 secondi di silenzio a metà flusso la chiudono.
Limiti e budget del workload, compreso il tempo di risposta del provider.
Limiti e budget del workload, compreso il tempo di risposta del provider.Interfaccia in inglese · dati dimostrativi illustrativi. Apri l’immagine a dimensione intera.

Override, pausa e chiavi

  • Un option_overrides vuoto eredita le impostazioni predefinite dell’organizzazione.
  • Scegli un modello di riconoscimento IA disponibile e modifica i tipi di entità e i rilevatori integrati per questo workload, anche per documenti e immagini.
  • Mettere in pausa un carico di lavoro rifiuta le sue richieste (403) senza revocare le credenziali.
  • Puoi ruotare le chiavi senza cambiare la politica del carico di lavoro.
Eccezioni del workload: scegli le differenze rispetto ai valori predefiniti dell’organizzazione.
Eccezioni del workload: scegli le differenze rispetto ai valori predefiniti dell’organizzazione.Interfaccia in inglese · dati dimostrativi illustrativi. Apri l’immagine a dimensione intera.

Controllo del perimetro

Il controllo del perimetro verifica ogni chiamata al modello fatta con le chiavi del carico di lavoro (embedding esclusi) rispetto a un perimetro che scrivi in linguaggio semplice: ciò che l’IA di questo carico di lavoro può e non può fare, fino a 4.000 caratteri. Scegli una modalità:

  • off salta il controllo.
  • log valuta in background senza ritardare la chiamata e registra nel registro di audit le chiamate fuori perimetro.
  • block attende il verdetto e rifiuta una chiamata fuori perimetro con 403 scope_violation prima che raggiunga il provider. Se il controllo non può completarsi, la chiamata viene rifiutata con 503 scope_guard_unavailable.

Come valuta

  • Un piccolo modello ospitato nell’UE (Mistral Small) valuta ogni chiamata dopo la protezione dei dati, sul testo che il provider riceverebbe.
  • Ogni controllo è una ricevuta di audit separata, fatturata al prezzo per token del modello.
  • La tua politica di residenza deve consentire quel modello, altrimenti il controllo non può essere attivato.
  • Un input fatto solo di file o contenuti multimediali che il controllo non può ispezionare viene rifiutato con 503 in modalità block e saltato in modalità log.
Controllo del perimetro del workload: modalità Log e perimetro salvato verificato per ogni chiamata.
Controllo del perimetro del workload: modalità Log e perimetro salvato verificato per ogni chiamata.Interfaccia in inglese · dati dimostrativi illustrativi. Apri l’immagine a dimensione intera.
Console