Workloads

Een workload bundelt de instellingen voor een team, gebruiker, agent of applicatie. API-sleutels zijn de inloggegevens eronder.

Stel modeltoegang, verzoeken en tokens per minuut en een dagelijks, maandelijks of totaal budget in. Kies block om bij overschrijding te stoppen (402), of notify om door te gaan.

Onder Limieten & budget bepaalt de antwoordtermijn hoe lang een modelcall wacht op het antwoord van de provider: 10 tot 600 seconden, standaard 300. Een call zonder tijdig antwoord eindigt met 504 en wordt niet opnieuw verstuurd, omdat de provider er nog mee bezig kan zijn. Een aanroeper kan de termijn per verzoek inkorten met de header x-sluis-upstream-timeout, nooit verlengen. Een gestreamd antwoord dat al begonnen is, wordt er niet door afgebroken; alleen 600 seconden stilte midden in de stream beëindigt het.

Een lege option_overrides erft de organisatiestandaarden. Pauzeren weigert verzoeken (403) zonder sleutels in te trekken. Roteer sleutels zonder het beleid van de workload te veranderen.

De scopebewaking toetst elke modelcall met de keys van de workload (embeddings uitgezonderd) aan een scope die je in gewone taal schrijft: wat de AI van deze workload wel en niet mag, tot 4.000 tekens. Een klein, in de EU gehost model (Mistral Small) beoordeelt elke call na gegevensbescherming, op de tekst die de provider zou ontvangen. off slaat de controle over. log beoordeelt op de achtergrond zonder de call te vertragen en legt calls buiten scope vast in het auditlog. block wacht op het oordeel en weigert een call buiten scope met 403 scope_violation voordat die de provider bereikt; kan de controle niet afronden, dan wordt de call geweigerd met 503. Elke controle is een apart auditbewijs, afgerekend tegen de tokenprijs van het model, en je residency-beleid moet dat model toestaan.