Obciążenie grupuje ustawienia zespołu, użytkownika, agenta lub aplikacji: dostęp do modeli, limity i budżety. Klucze API to dane uwierzytelniające pod nim.
Workloads: uporządkuj dostęp aplikacji i ich dane uwierzytelniające.Interfejs angielski · przykładowe dane demonstracyjne. Otwórz obraz w pełnym rozmiarze.
Ustaw dozwolone modele, żądania i tokeny na minutę oraz budżet dzienny, miesięczny lub całkowity. Potem wybierz, co się dzieje po wyczerpaniu budżetu:
block zatrzymuje wywołania ponad budżet kodem 402.
notify pozwala im trwać dalej.
Czas na odpowiedź
W zakładce Limity i budżet czas na odpowiedź określa, jak długo wywołanie modelu czeka na odpowiedź dostawcy: od 10 do 600 sekund, domyślnie 300.
Wywołanie bez odpowiedzi na czas kończy się kodem 504 i nie jest powtarzane, bo dostawca może nadal je przetwarzać.
Wywołujący może skrócić ten czas dla pojedynczego żądania nagłówkiem x-sluis-upstream-timeout, ale nigdy go nie wydłuży.
Rozpoczęta odpowiedź strumieniowa nie jest przerywana przez ten czas. Kończy ją dopiero 600 sekund ciszy w trakcie strumienia.
Limity i budżet workloadu, w tym czas oczekiwania na odpowiedź dostawcy.Interfejs angielski · przykładowe dane demonstracyjne. Otwórz obraz w pełnym rozmiarze.
Wybierz dostępny model rozpoznawania AI oraz ustaw rodzaje encji i wbudowane detektory dla tego workloadu, także dla dokumentów i obrazów.
Wstrzymanie obciążenia odrzuca jego żądania (403) bez unieważniania danych uwierzytelniających.
Klucze możesz rotować bez zmiany polityki obciążenia.
Wyjątki workloadu: wybierz odstępstwa od ustawień domyślnych organizacji.Interfejs angielski · przykładowe dane demonstracyjne. Otwórz obraz w pełnym rozmiarze.
Strażnik zakresu
Strażnik zakresu sprawdza każde wywołanie modelu wykonane kluczami obciążenia (poza embeddingami) względem zakresu, który opisujesz zwykłym językiem: co AI tego obciążenia może, a czego nie może robić, do 4000 znaków. Wybierz tryb:
off pomija sprawdzanie.
log ocenia w tle bez opóźniania wywołania i zapisuje wywołania spoza zakresu w dzienniku audytu.
block czeka na werdykt i odrzuca wywołanie spoza zakresu kodem 403 scope_violation, zanim dotrze do dostawcy. Jeśli sprawdzenie nie może się zakończyć, wywołanie jest odrzucane kodem 503 scope_guard_unavailable.
Jak ocenia
Mały model hostowany w UE (Mistral Small) ocenia każde wywołanie po ochronie danych, na tekście, który otrzymałby dostawca.
Każde sprawdzenie to osobne potwierdzenie audytu, rozliczane według ceny tokenów modelu.
Twoja polityka rezydencji musi dopuszczać ten model, inaczej strażnika nie da się włączyć.
Dane wejściowe złożone wyłącznie z plików lub multimediów, których strażnik nie może sprawdzić, są w trybie block odrzucane kodem 503, a w trybie log pomijane.
Strażnik zakresu workloadu: tryb Log i zapisany zakres sprawdzany dla każdego wywołania.Interfejs angielski · przykładowe dane demonstracyjne. Otwórz obraz w pełnym rozmiarze.Konsoli