Zum Inhalt springen

Workloads

Ein Workload verwaltet die Einstellungen für Team, Benutzer, Agent oder Anwendung: Modellzugriff, Limits, Budgets. API-Schlüssel sind die Zugangsdaten.

Workloads: Organisieren Sie Anwendungszugriffe und Zugangsdaten.
Workloads: Organisieren Sie Anwendungszugriffe und Zugangsdaten.Englische Oberfläche · illustrative Demodaten. Öffnen Sie das Bild in voller Größe.

Legen Sie die erlaubten Modelle, die Anfragen und Tokens pro Minute sowie ein tägliches, monatliches oder gesamtes Budget fest. Wählen Sie dann, was bei aufgebrauchtem Budget geschieht:

  • block stoppt Aufrufe über dem Budget mit 402.
  • notify lässt sie weiterlaufen.

Antwortfrist

Unter Limits & Budget legt die Antwortfrist fest, wie lange ein Modellaufruf auf die Antwort des Anbieters wartet: 10 bis 600 Sekunden, standardmäßig 300.

  • Ein Aufruf ohne rechtzeitige Antwort endet mit 504 und wird nicht wiederholt, weil der Anbieter noch daran arbeiten kann.
  • Ein Aufrufer kann die Frist pro Anfrage mit dem Header x-sluis-upstream-timeout verkürzen, aber nie verlängern.
  • Eine bereits begonnene gestreamte Antwort wird von der Frist nicht abgeschnitten. Nur 600 Sekunden Stille mitten im Stream beenden sie.
Limits und Budget des Workloads, einschließlich der Antwortfrist des Anbieters.
Limits und Budget des Workloads, einschließlich der Antwortfrist des Anbieters.Englische Oberfläche · illustrative Demodaten. Öffnen Sie das Bild in voller Größe.

Überschreibungen, Pausieren und Schlüssel

  • Ein leeres option_overrides übernimmt die Vorgaben der Organisation.
  • Wählen Sie ein verfügbares KI-Erkennungsmodell und passen Sie Entitätsarten und integrierte Detektoren für diesen Workload an, auch für Dokumente und Bilder.
  • Wenn Sie einen Workload pausieren, werden seine Anfragen abgewiesen (403), ohne dass Zugangsdaten widerrufen werden.
  • Sie können Schlüssel rotieren, ohne die Richtlinie des Workloads zu ändern.
Workload-Ausnahmen: Wählen Sie Abweichungen von den Organisationsvorgaben.
Workload-Ausnahmen: Wählen Sie Abweichungen von den Organisationsvorgaben.Englische Oberfläche · illustrative Demodaten. Öffnen Sie das Bild in voller Größe.

Scope-Guard

Der Scope-Guard prüft jeden Modellaufruf mit den Schlüsseln des Workloads (außer Embeddings) gegen einen Einsatzbereich, den Sie in Klartext beschreiben: was die KI dieses Workloads darf und was nicht, bis zu 4.000 Zeichen. Wählen Sie einen Modus:

  • off überspringt die Prüfung.
  • log urteilt im Hintergrund, ohne den Aufruf zu verzögern, und hält Aufrufe außerhalb des Einsatzbereichs im Audit-Log fest.
  • block wartet auf das Urteil und weist einen Aufruf außerhalb des Einsatzbereichs mit 403 scope_violation ab, bevor er den Anbieter erreicht. Kann die Prüfung nicht abgeschlossen werden, wird der Aufruf mit 503 scope_guard_unavailable abgewiesen.

So urteilt er

  • Ein kleines, in der EU gehostetes Modell (Mistral Small) beurteilt jeden Aufruf nach dem Datenschutz, anhand des Texts, den der Anbieter erhalten würde.
  • Jede Prüfung ist ein eigener Audit-Beleg und wird zum Token-Preis des Modells abgerechnet.
  • Ihre Residency-Richtlinie muss dieses Modell erlauben, sonst lässt sich der Guard nicht einschalten.
  • Eingaben, die nur aus Dateien oder Medien bestehen, die der Guard nicht prüfen kann, werden im Modus block mit 503 abgewiesen und im Modus log übersprungen.
Scope-Guard des Workloads: Modus Log und der gespeicherte Einsatzbereich für jeden Aufruf.
Scope-Guard des Workloads: Modus Log und der gespeicherte Einsatzbereich für jeden Aufruf.Englische Oberfläche · illustrative Demodaten. Öffnen Sie das Bild in voller Größe.
Console