Werdykt: Dla organizacji z UE lepszym wyborem jest Sluis, ponieważ dane osobowe są pseudonimizowane, a każde żądanie jest kierowane wyłącznie w UE, zanim opuści system, jedna konsola pokazuje workloady, budżety i audyt pogrupowane per żądanie, zamiast uruchamiać proxy, bazę danych i usługę PII zmieniasz base_url, a w naszym wewnętrznym benchmarku gateway w Rust przewyższył LiteLLM nawet z włączoną bramką bezpieczeństwa.
W skrócie
Oba rozwiązania stawiają jeden endpoint zgodny z OpenAI przed wieloma dostawcami modeli, z kluczami wirtualnymi, budżetami i logowaniem. Różnica polega na tym, na kogo spada reszta pracy. Pozostałe gateway z krótkiej listy znajdziesz w zestawieniu AI gateways for EU organisations compared.
Sluis dostarcza warstwę zgodności jako produkt: każde wywołanie jest sprawdzane, kierowane według polityki rezydencji z priorytetem UE, zapieczętowane w audytowym logu z łańcuchem skrótów i rozliczane, w usłudze zarządzanej hostowanej w UE albo na Twoich serwerach z Sluis Edge. Obsługuje API OpenAI i Anthropic, więc przejście sprowadza się do zmiany base_url.
LiteLLM daje szeroki zestaw narzędzi na licencji MIT, a model operacyjny zostawia Tobie: sam hostujesz usługę, prowadzisz jej bazę danych, podłączasz wykrywanie danych osobowych i decydujesz, jak przypinać regiony. Sluis nie jest open source: kod jest objęty wszystkimi zastrzeżonymi prawami, a samodzielnie hostowana appliance Edge wymaga licencji enterprise.
Na pierwszy rzut oka
| Sluis | LiteLLM | |
|---|---|---|
| Licencja | Własnościowa, wszelkie prawa zastrzeżone | MIT, poza katalogiem enterprise/ na licencji komercyjnej |
| Wdrożenie | Usługa zarządzana hostowana w UE lub samodzielnie hostowany Edge (licencja enterprise) | Samodzielny hosting (obraz Dockera lub pakiet pip) |
| Powierzchnia API | Zgodna z OpenAI i natywne Anthropic Messages, plus gateway MCP | Format OpenAI, plus /responses, /embeddings, /messages, /batches i inne |
| Dostawcy | Określony katalog (dostawcy z UE, USA i Chin) plus własne endpointy zgodne z OpenAI | Ponad 100 dostawców według repozytorium |
| Dane osobowe | Wbudowane: 60 detektorów, opcjonalne rozpoznawanie imion i nazwisk, blokowanie, maskowanie, logowanie lub odwracalna pseudonimizacja | Guardrail Presidio (kontenery Presidio wdrażasz sam): maskowanie lub blokowanie, opcjonalne przywracanie |
| Rezydencja | Polityka per żądanie, domyślnie tylko UE, opcjonalnie tylko dostawcy z UE | Konfiguracja, którą budujesz z wdrożeń i routingu |
| Budżety | Per workload: wydatki, żądania i tokeny na minutę, lista dozwolonych modeli | Per klucz, użytkownik, zespół i członek zespołu; wymaga Postgresa |
| Audyt | Łańcuch skrótów odporny na manipulacje, weryfikowalny offline | Logowanie żądań w wersji OSS; logi audytowe z retencją to funkcja enterprise |
| Cena | Cena katalogowa dostawcy plus 10% lub 0,50 € za 1 mln tokenów z własnymi kluczami | Uruchomienie bezpłatne; licencja enterprise na zapytanie |
| Najlepsze dopasowanie dla organizacji z UE | Sluis | Zespoły, które hostują same i budują własne kontrole rezydencji i PII |
Licencja i hosting
Sluis to usługa zarządzana hostowana w UE, bez niczego do instalowania i łatania. Gdy musisz uruchomić go u siebie, Edge to pełna appliance na Twoim Kubernetesie lub Dockerze: prompty nie przechodzą przez chmurę Sluis, choć ruch wychodzący do dostawców modeli nadal podlega Twojej konfiguracji. Edge jest dostępny tylko w wersji enterprise, z jedną roczną opłatą licencyjną za instalację.
Repozytorium LiteLLM jest na licencji MIT, z wyjątkiem katalogu enterprise/. Jego licencja enterprise dodaje SSO powyżej pięciu użytkowników, SCIM, logi audytowe z retencją, guardrails przypisane do kluczy i zespołów oraz kanał wsparcia; SLA wsparcia 24/7 kosztują extra. Udokumentowany sposób uruchomienia to własna infrastruktura, a dostawca deklaruje, że samodzielnie hostowana instancja nie wysyła telemetrii ani danych na jego serwery.
Ochrona danych i guardrails
Krok Inspect w Sluis jest częścią gatewaya, więc nie wdrażasz niczego dodatkowo. Działa na 60 wbudowanych detektorach (e-mail, IBAN, karta płatnicza, klucze API oraz pakiet krajowych numerów identyfikacyjnych, który waliduje sumy kontrolne w dwunastu krajach UE), a do tego dochodzi opcjonalne rozpoznawanie imion i nazwisk z dwoma poziomami modeli. Polityka decyduje, czy wartość jest blokowana, maskowana, logowana, czy zastępowana stabilnym tokenem, takim jak «EMAIL_1», który jest przywracany w odpowiedzi. Skanowanie prompt injection i kontrola zakresu per workload są opcjonalne. Wykrywanie nie gwarantuje, że znajdzie każdą wrażliwą wartość, a samo korzystanie ze Sluis nie oznacza zgodności z RODO. Zobacz ochrona danych.
Maskowanie danych osobowych w LiteLLM opiera się na Microsoft Presidio. Wdrażasz kontenery analyzera i anonymizera, wybierasz typy encji i ustawiasz każdemu MASK lub BLOCK. Flaga przywracania wstawia oryginalne wartości z powrotem do odpowiedzi. Kilka wbudowanych integracji moderacji, takich jak ukrywanie sekretów i dostawcy wykrywania prompt injection, wymaga licencji enterprise.
Routing i rezydencja
Sluis kieruje ruch według polityki, egzekwowanej przy każdym żądaniu. Domyślnie jest to tylko UE, jurysdykcje takie jak USA czy Chiny dodajesz jawnie, a ograniczenie do dostawców będących własnością podmiotów z UE to osobny przełącznik, ponieważ region UE nie oznacza dostawcy z UE. Odpowiedzi ujawniają wybraną trasę i model. Zarządzane aliasy, takie jak sluis/auto, rozwiązują się w ramach Twojej polityki. W obrębie jednego dostawcy Sluis rozkłada wywołania na kilka kluczy według wag, z ponowieniami i circuit breakingiem; ważone lub oparte na opóźnieniu równoważenie obciążenia między modelami i wdrożeniami jest dostępne na życzenie w umowach enterprise. Zobacz rezydencja i modele.
Router LiteLLM jest mocniejszy w inżynierii ruchu: strategie ważone i oparte na opóźnieniu, routing według kosztu, ponowienia, cooldowny i fallbacki między wdrożeniami. Utrzymanie ruchu w UE oznacza wybór wdrożeń w UE i samodzielne pilnowanie tej konfiguracji.
Budżety, limity i dostęp
W Sluis całą pracę wykonuje jeden obiekt w konsoli. Workload ma limit żądań na minutę, tokenów na minutę, listę dozwolonych modeli oraz łączny, dzienny lub miesięczny budżet współdzielony przez jego klucze, a nad wszystkimi workloadami stoi limit organizacji. Po przekroczeniu limitu zapytań wywołanie zwraca 429, po przekroczeniu budżetu 402, a żądanie nigdy nie dociera do dostawcy. Jeśli liczniki są nieosiągalne, kontrola kończy się odmową (fail closed). Narzędzia MCP przechodzą przez tę samą bramkę: uprawnienia są per klucz i domyślnie zabronione, a każde wywołanie jest sprawdzane, kierowane, pieczętowane i rozliczane. Zobacz budżety i limity.
Oba egzekwują wydatki przed wywołaniem. Budżety LiteLLM są przypisane do kluczy, użytkowników, zespołów i członków zespołów i wymagają bazy danych: bez niej kontrole budżetu są pomijane.
Audyt i logowanie
Sluis zapisuje każde wywołanie w rejestrze z łańcuchem skrótów, który możesz zweryfikować offline poleceniem audit verify-chain, z opcjonalnie szyfrowanymi treściami żądań i odpowiedzi przechowywanymi przez okres retencji. Log audytowy pokazuje jeden wiersz na żądanie, a ten sam rejestr jest zapisem rozliczeniowym, więc audyt i rachunek się zgadzają.
LiteLLM loguje żądania i odpowiedzi oraz eksportuje je do narzędzi obserwowalności. Jego logi audytowe, które rejestrują działania administratorów i zmiany kluczy, są wymienione jako funkcja enterprise.
Wydajność
Sluis jest napisany w Rust dla przewidywalnych opóźnień i bezpieczeństwa pamięci. W naszym wewnętrznym benchmarku, na identycznym sprzęcie z jednym wspólnym mockowym upstreamem przy 256 połączeniach, gateway Sluis obsłużył 3678 żądań na sekundę z włączoną pełną bramką bezpieczeństwa, wobec 298 dla LiteLLM (i 3148 dla Bifrost). Bramka dodaje około 1 ms w medianie. Z wyłączoną bramką Sluis osiągnął 4046 żądań na sekundę. Te wartości są względne, na sprzęcie deweloperskim i mierzone wewnętrznie. Własna wartość LiteLLM, 8 ms P95 przy 1000 RPS, pochodzi z innego harnessu i nie jest bezpośrednio porównywalna. Szczegóły na stronie wydajności.
Cennik
Sluis nie ma abonamentu platformy ani opłaty za stanowisko i nie ma darmowego planu. Samoobsługa jest przedpłacona, od zakupu kredytu za 25 €, z dopłatami zależnymi od metody płatności. Zarządzane użycie modeli kosztuje cenę katalogową dostawcy plus 10%. Z własnymi kluczami opłata Sluis wynosi 0,50 € za 1 mln tokenów wejścia i wyjścia, a opłaty dostawców są rozliczane osobno. Zobacz cennik.
LiteLLM można uruchomić bezpłatnie, więc Twoim kosztem jest infrastruktura, baza Postgres i czas inżynierów; licencja enterprise jest wyceniana na zapytanie.
Kto mimo to może wybrać LiteLLM
- Potrzebujesz open source, który możesz czytać, forkować i audytować.
- Chcesz jednego SDK dla Pythona i proxy z najszerszym pokryciem dostawców i modeli, w tym modeli od pierwszego dnia.
- Potrzebujesz szczegółowej inżynierii ruchu: routingu opartego na opóźnieniu lub koszcie, ważonych pul i własnych fallbacków.
- Twój zespół już prowadzi Postgres i Kubernetes i woli być właścicielem całego stosu.
Nasz werdykt
Sluis wygrywa dla organizacji z UE w czterech sprawach, do których służy gateway. Bezpieczeństwo danych: routing tylko w UE egzekwowany per żądanie, odwracalna pseudonimizacja i łańcuch audytu weryfikowany offline, z certyfikacją ISO 27001. Przejrzystość: jedna konsola z workloadami, budżetami i listami dozwolonych modeli, jeden wiersz audytu na żądanie, jeden rachunek za użycie. Łatwość użycia: skieruj klienta OpenAI lub Anthropic na nowy base_url, z zarządzaną usługą hostowaną w UE i bez niczego do obsługi, albo Sluis Edge, gdy musisz hostować samodzielnie. Wydajność: gateway w Rust, który w naszym wewnętrznym benchmarku przewyższył LiteLLM, z włączoną bramką bezpieczeństwa. Ten sam gateway zasila też Sluis Workspace dla pracowników, więc ludzie i aplikacje dzielą jedną politykę. Zobacz cennik.
FAQ
Czy mogę przejść z LiteLLM na Sluis, zmieniając base URL?
W przypadku większości klientów zgodnych z OpenAI tak. Skieruj klienta na Sluis i użyj nowego klucza. Identyfikatory modeli na powierzchni OpenAI mają prefiks dostawcy, na przykład mistral/mistral-large-latest, a samodzielne identyfikatory zwracają 400. Sprawdź, czy Twoi dostawcy są w katalogu Sluis; innych udostępniamy na życzenie w umowach enterprise.
Czy LiteLLM może trzymać dane w UE?
Tak, jeśli wdrożysz go w UE, skierujesz ruch do wdrożeń modeli w UE i będziesz utrzymywać poprawną konfigurację. W jego dokumentacji nie znaleźliśmy ustawienia polityki dla jurysdykcji ani własności dostawcy, więc ta dyscyplina leży po Twojej stronie.
Czy Sluis jest open source?
Nie. Kod źródłowy jest własnościowy, a wszelkie prawa są zastrzeżone. Zachowanie możesz sprawdzić przez opublikowaną dokumentację API, łańcuch audytu i konsolę, ale nie przez kod.
Czy bramka Sluis dodaje opóźnienie?
W naszym wewnętrznym benchmarku około 1 ms w medianie z włączoną pełną bramką bezpieczeństwa, a gateway w Rust nadal obsługiwał 3678 żądań na sekundę wobec 298 dla LiteLLM. To wartości względne, na sprzęcie deweloperskim, mierzone wewnętrznie. W przypadku żywego modelu bramka mieści się w zmienności dostawcy, więc zmierz własne obciążenie.
Czy mogę uruchomić oba?
Możliwe. Sluis akceptuje własnych dostawców zgodnych z OpenAI, a proxy LiteLLM udostępnia API zgodne z OpenAI. Przetestuj to połączenie; obowiązuje opłata za własnego dostawcę w wysokości 0,50 € za 1 mln tokenów.