Een workload bundelt de instellingen voor een team, gebruiker, agent of applicatie: modeltoegang, limieten, budgetten. API-sleutels zijn de inloggegevens.
Workloads: organiseer toegang voor applicaties en hun inloggegevens.Engelstalige interface · illustratieve demogegevens. Open de afbeelding op volledig formaat.
Stel de toegestane modellen in, de verzoeken en tokens per minuut en een dagelijks, maandelijks of totaal budget. Kies dan wat er gebeurt als het budget op is:
block stopt calls boven het budget met 402.
notify laat ze doorgaan.
Antwoordtermijn
Onder Limieten & budget bepaalt de antwoordtermijn hoe lang een modelcall wacht op het antwoord van de provider: 10 tot 600 seconden, standaard 300.
Een call zonder tijdig antwoord mislukt met 504 en wordt niet opnieuw verstuurd, omdat de provider er nog mee bezig kan zijn.
Een aanroeper kan de termijn per verzoek inkorten met de header x-sluis-upstream-timeout, nooit verlengen.
Een gestreamd antwoord dat al begonnen is, wordt niet door de termijn afgebroken. Alleen 600 seconden stilte midden in de stream beëindigen het.
Limieten en budget van een workload, inclusief de antwoordtermijn van de provider.Engelstalige interface · illustratieve demogegevens. Open de afbeelding op volledig formaat.
Overrides, pauzeren en sleutels
Een lege option_overrides erft de organisatiestandaarden.
Kies een beschikbaar AI-herkenningsmodel en stel entiteitssoorten en ingebouwde detectoren per workload in, ook voor documenten en afbeeldingen.
Een workload pauzeren weigert zijn verzoeken (403) zonder inloggegevens in te trekken.
Je kunt sleutels roteren zonder het beleid van de workload te veranderen.
Workload-uitzonderingen: kies afwijkingen van de organisatiestandaard.Engelstalige interface · illustratieve demogegevens. Open de afbeelding op volledig formaat.
Scopebewaking
De scopebewaking toetst elke modelcall met de sleutels van de workload (embeddings uitgezonderd) aan een scope die je in gewone taal schrijft: wat de AI van deze workload wel en niet mag, tot 4.000 tekens. Kies een modus:
off slaat de controle over.
log beoordeelt op de achtergrond zonder de call te vertragen en legt calls buiten scope vast in het auditlog.
block wacht op het oordeel en weigert een call buiten scope met 403 scope_violation voordat die de provider bereikt. Kan de controle niet afronden, dan wordt de call geweigerd met 503 scope_guard_unavailable.
Hoe de beoordeling werkt
Een klein, in de EU gehost model (Mistral Small) beoordeelt elke call na gegevensbescherming, op de tekst die de provider zou ontvangen.
Elke controle is een apart auditbewijs, afgerekend tegen de tokenprijs van het model.
Je residencybeleid moet dat model toestaan, anders kan de bewaking niet worden ingeschakeld.
Invoer die alleen uit bestanden of media bestaat die de bewaking niet kan inspecteren, wordt in de modus block geweigerd met 503 en in de modus log overgeslagen.
Scopebewaking van een workload: modus Log en de opgeslagen scope die bij elke call wordt gecontroleerd.Engelstalige interface · illustratieve demogegevens. Open de afbeelding op volledig formaat.Console