Przejdź do treści

Obciążenia

Obciążenie grupuje ustawienia zespołu, użytkownika, agenta lub aplikacji: dostęp do modeli, limity i budżety. Klucze API to dane uwierzytelniające pod nim.

Workloads: uporządkuj dostęp aplikacji i ich dane uwierzytelniające.
Workloads: uporządkuj dostęp aplikacji i ich dane uwierzytelniające.Interfejs angielski · przykładowe dane demonstracyjne. Otwórz obraz w pełnym rozmiarze.

Ustaw dozwolone modele, żądania i tokeny na minutę oraz budżet dzienny, miesięczny lub całkowity. Potem wybierz, co się dzieje po wyczerpaniu budżetu:

  • block zatrzymuje wywołania ponad budżet kodem 402.
  • notify pozwala im trwać dalej.

Czas na odpowiedź

W zakładce Limity i budżet czas na odpowiedź określa, jak długo wywołanie modelu czeka na odpowiedź dostawcy: od 10 do 600 sekund, domyślnie 300.

  • Wywołanie bez odpowiedzi na czas kończy się kodem 504 i nie jest powtarzane, bo dostawca może nadal je przetwarzać.
  • Wywołujący może skrócić ten czas dla pojedynczego żądania nagłówkiem x-sluis-upstream-timeout, ale nigdy go nie wydłuży.
  • Rozpoczęta odpowiedź strumieniowa nie jest przerywana przez ten czas. Kończy ją dopiero 600 sekund ciszy w trakcie strumienia.
Limity i budżet workloadu, w tym czas oczekiwania na odpowiedź dostawcy.
Limity i budżet workloadu, w tym czas oczekiwania na odpowiedź dostawcy.Interfejs angielski · przykładowe dane demonstracyjne. Otwórz obraz w pełnym rozmiarze.

Nadpisania, wstrzymanie i klucze

  • Pusty option_overrides dziedziczy domyślne ustawienia organizacji.
  • Wybierz dostępny model rozpoznawania AI oraz ustaw rodzaje encji i wbudowane detektory dla tego workloadu, także dla dokumentów i obrazów.
  • Wstrzymanie obciążenia odrzuca jego żądania (403) bez unieważniania danych uwierzytelniających.
  • Klucze możesz rotować bez zmiany polityki obciążenia.
Wyjątki workloadu: wybierz odstępstwa od ustawień domyślnych organizacji.
Wyjątki workloadu: wybierz odstępstwa od ustawień domyślnych organizacji.Interfejs angielski · przykładowe dane demonstracyjne. Otwórz obraz w pełnym rozmiarze.

Strażnik zakresu

Strażnik zakresu sprawdza każde wywołanie modelu wykonane kluczami obciążenia (poza embeddingami) względem zakresu, który opisujesz zwykłym językiem: co AI tego obciążenia może, a czego nie może robić, do 4000 znaków. Wybierz tryb:

  • off pomija sprawdzanie.
  • log ocenia w tle bez opóźniania wywołania i zapisuje wywołania spoza zakresu w dzienniku audytu.
  • block czeka na werdykt i odrzuca wywołanie spoza zakresu kodem 403 scope_violation, zanim dotrze do dostawcy. Jeśli sprawdzenie nie może się zakończyć, wywołanie jest odrzucane kodem 503 scope_guard_unavailable.

Jak ocenia

  • Mały model hostowany w UE (Mistral Small) ocenia każde wywołanie po ochronie danych, na tekście, który otrzymałby dostawca.
  • Każde sprawdzenie to osobne potwierdzenie audytu, rozliczane według ceny tokenów modelu.
  • Twoja polityka rezydencji musi dopuszczać ten model, inaczej strażnika nie da się włączyć.
  • Dane wejściowe złożone wyłącznie z plików lub multimediów, których strażnik nie może sprawdzić, są w trybie block odrzucane kodem 503, a w trybie log pomijane.
Strażnik zakresu workloadu: tryb Log i zapisany zakres sprawdzany dla każdego wywołania.
Strażnik zakresu workloadu: tryb Log i zapisany zakres sprawdzany dla każdego wywołania.Interfejs angielski · przykładowe dane demonstracyjne. Otwórz obraz w pełnym rozmiarze.
Konsoli