W skrócie
Oba rozwiązania stawiają jeden endpoint zgodny z OpenAI przed wieloma dostawcami modeli, z kluczami wirtualnymi, budżetami i logowaniem. Różnica polega na tym, na kogo spada reszta pracy. Pozostałe gateway z krótkiej listy znajdziesz w zestawieniu AI gateways for EU organisations compared.
LiteLLM daje szeroki zestaw narzędzi na licencji MIT, a model operacyjny zostawia Tobie: sam hostujesz usługę, prowadzisz jej bazę danych, podłączasz wykrywanie danych osobowych i decydujesz, jak przypinać regiony. Sluis dostarcza warstwę zgodności jako produkt: każde wywołanie jest sprawdzane, kierowane według polityki rezydencji z priorytetem UE, zapieczętowane w audytowym logu z łańcuchem skrótów i rozliczane, w usłudze zarządzanej hostowanej w UE albo na Twoich serwerach z Sluis Edge.
Sluis nie jest open source. Kod jest objęty wszystkimi zastrzeżonymi prawami, a samodzielnie hostowany plik binarny Edge wymaga licencji enterprise. Jeśli dostęp do kodu źródłowego jest twardym wymogiem, sprawa jest rozstrzygnięta na korzyść LiteLLM.
Na pierwszy rzut oka
| Sluis | LiteLLM | |
|---|---|---|
| Licencja | Własnościowa, wszelkie prawa zastrzeżone | MIT, poza katalogiem enterprise/ na licencji komercyjnej |
| Wdrożenie | Usługa zarządzana hostowana w UE lub samodzielnie hostowany Edge (licencja enterprise) | Samodzielny hosting (obraz Dockera lub pakiet pip) |
| Powierzchnia API | Zgodna z OpenAI i natywne Anthropic Messages, plus gateway MCP | Format OpenAI, plus /responses, /embeddings, /messages, /batches i inne |
| Dostawcy | Określony katalog (dostawcy z UE, USA i Chin) plus własne endpointy zgodne z OpenAI | Ponad 100 dostawców według repozytorium |
| Dane osobowe | Wbudowane: 60 detektorów, opcjonalne rozpoznawanie imion i nazwisk, blokowanie, maskowanie, logowanie lub odwracalna pseudonimizacja | Guardrail Presidio (kontenery Presidio wdrażasz sam): maskowanie lub blokowanie, opcjonalne przywracanie |
| Rezydencja | Polityka per żądanie, domyślnie tylko UE, opcjonalnie tylko dostawcy z UE | Konfiguracja, którą budujesz z wdrożeń i routingu |
| Budżety | Per workload: wydatki, żądania i tokeny na minutę, lista dozwolonych modeli | Per klucz, użytkownik, zespół i członek zespołu; wymaga Postgresa |
| Audyt | Łańcuch skrótów odporny na manipulacje, weryfikowalny offline | Logowanie żądań w wersji OSS; logi audytowe z retencją to funkcja enterprise |
| Cena | Cena katalogowa dostawcy plus 10% lub 0,50 € za 1 mln tokenów z własnymi kluczami | Uruchomienie bezpłatne; licencja enterprise na zapytanie |
Licencja i hosting
Repozytorium LiteLLM jest na licencji MIT, z wyjątkiem katalogu enterprise/. Jego licencja enterprise dodaje SSO powyżej pięciu użytkowników, SCIM, logi audytowe z retencją, guardraile przypisane do kluczy i zespołów oraz kanał wsparcia; wsparcie 24/7 z SLA kosztuje dodatkowo. Udokumentowany sposób uruchomienia to własna infrastruktura, a dostawca deklaruje, że samodzielnie hostowana instancja nie wysyła telemetrii ani danych na jego serwery.
Sluis uruchamia ten sam gateway na dwa sposoby. Usługa zarządzana jest hostowana w UE. Edge to jeden plik binarny na Twoich serwerach, zarządzany z tej samej konsoli: prompty nie przechodzą przez chmurę Sluis, choć ruch wychodzący do dostawców modeli nadal zależy od Twojej konfiguracji. Edge jest dostępny tylko w wersji enterprise, ze stałą roczną licencją za gateway.
Ochrona danych i guardraile
Maskowanie danych osobowych w LiteLLM korzysta z Microsoft Presidio. Samodzielnie wdrażasz kontenery analyzera i anonymizera, wybierasz typy encji i ustawiasz każdą na MASK lub BLOCK. Flaga restore przywraca oryginalne wartości w odpowiedzi. Kilka wbudowanych integracji moderacji, na przykład ukrywanie sekretów i dostawcy wykrywania prompt injection, wymaga licencji enterprise.
Krok Inspect w Sluis jest częścią gateway. Uruchamia 60 wbudowanych detektorów (e-mail, IBAN, karta płatnicza, klucze API oraz pakiet krajowych numerów identyfikacyjnych, który weryfikuje sumy kontrolne w dwunastu krajach UE), a do tego opcjonalne rozpoznawanie imion i nazwisk w dwóch poziomach modeli. Polityka decyduje, czy wartość jest blokowana, maskowana, logowana, czy zastępowana stabilnym tokenem, takim jak «EMAIL_1», przywracanym w odpowiedzi. Skanowanie pod kątem prompt injection i ochrona zakresu per workload są opcjonalne. Wykrywanie nie gwarantuje, że znajdzie każdą wrażliwą wartość, a korzystanie ze Sluis samo w sobie nie oznacza zgodności z RODO. Zobacz ochrona danych.
Routing i rezydencja
Router LiteLLM jest mocniejszy w inżynierii ruchu: strategie ważone i oparte na opóźnieniu, routing według kosztów, ponawianie, okresy wyciszenia i mechanizmy zapasowe między wdrożeniami. Utrzymanie ruchu w UE oznacza wybór wdrożeń w UE i samodzielne pilnowanie tej konfiguracji.
Sluis kieruje ruch według polityki. Domyślnie obowiązuje tylko UE, jurysdykcje takie jak USA czy Chiny dodaje się jawnie, a ograniczenie do dostawców z UE jest osobnym przełącznikiem, ponieważ region w UE nie oznacza dostawcy należącego do UE. Odpowiedzi ujawniają wybraną trasę i model. Zarządzane aliasy, takie jak sluis/auto, rozwiązują się w ramach Twojej polityki. W obrębie jednego dostawcy Sluis rozkłada wywołania na kilka kluczy według wag, z ponawianiem i wyłącznikiem obwodu, ale nie ma ważonego ani opartego na opóźnieniu równoważenia między modelami czy wdrożeniami. Zobacz rezydencja i modele.
Budżety, limity i dostęp
Oba rozwiązania egzekwują wydatki przed wywołaniem. Budżety LiteLLM przypisuje się do kluczy, użytkowników, zespołów i członków zespołów i wymagają one bazy danych: bez niej kontrole budżetu są pomijane. Sluis przypisuje limity do workloadu, który ma własne żądania na minutę, tokeny na minutę, listę dozwolonych modeli oraz łączny, dzienny lub miesięczny budżet współdzielony przez jego klucze. Ponad wszystkimi workloadami działa limit organizacji. Po przekroczeniu limitu szybkości wywołanie zwraca 429, po przekroczeniu budżetu 402, a żądanie nigdy nie dociera do dostawcy. Jeśli liczniki są niedostępne, kontrola kończy się odmową.
Narzędzia MCP przechodzą w Sluis przez tę samą bramkę: uprawnienia są przypisane do klucza i domyślnie odmowne, a każde wywołanie jest sprawdzane, kierowane, pieczętowane i rozliczane. Zobacz budżety i limity.
Audyt i logowanie
LiteLLM loguje żądania i odpowiedzi oraz eksportuje je do narzędzi obserwowalności. Jego logi audytowe, które rejestrują działania administratorów i zmiany kluczy, są wymienione jako funkcja enterprise.
Sluis zapisuje każde wywołanie w księdze z łańcuchem skrótów, którą możesz zweryfikować offline poleceniem audit verify-chain, z opcjonalnie szyfrowanymi treściami żądań i odpowiedzi przechowywanymi przez okres retencji. Ta sama księga jest zapisem rozliczeniowym.
Wydajność
Obaj dostawcy publikują liczby, na różnych stanowiskach testowych, więc nie można ich porównywać wprost. LiteLLM podaje 8 ms P95 przy 1000 RPS. Sluis zmierzył bramkę wewnętrznie: około +1 ms w medianie względem atrapy upstreamu oraz o 9% niższą przepustowość żądań przy syntetycznym nasyceniu. Te wartości są względne, zmierzone na sprzęcie deweloperskim i wewnętrznie. Szczegóły na stronie o wydajności.
Cennik
LiteLLM można uruchomić bezpłatnie, więc Twoim kosztem są infrastruktura, baza Postgres i czas inżynierów; licencja enterprise jest wyceniana na zapytanie. Sluis nie ma abonamentu platformy ani opłaty za stanowisko i nie ma planu bezpłatnego. Rozliczenie samoobsługowe jest przedpłacone, od zakupu kredytu na 25 €, z dopłatami zależnymi od metody płatności. Zarządzane użycie modeli kosztuje cenę katalogową dostawcy plus 10%. Z własnymi kluczami opłata Sluis wynosi 0,50 € za 1 mln tokenów wejściowych i wyjściowych, a opłaty dostawcy są rozliczane osobno. Zobacz cennik.
Kiedy lepszy jest LiteLLM
- Potrzebujesz open source, który możesz czytać, forkować i audytować.
- Chcesz jednego SDK dla Pythona i proxy z najszerszym pokryciem dostawców i modeli, w tym modeli dostępnych od pierwszego dnia.
- Potrzebujesz precyzyjnej inżynierii ruchu: routingu opartego na opóźnieniu lub kosztach, ważonych pul i własnych mechanizmów zapasowych.
- Twój zespół już prowadzi Postgresa i Kubernetes i woli być właścicielem całego stosu.
- Rezydencja w UE i kontrola danych osobowych nie są wymogami albo wolisz zbudować je sam.
Kiedy lepszy jest Sluis
- Musisz pokazać, dokąd każde żądanie mogło trafić, z routingiem z priorytetem UE jako ustawieniem domyślnym.
- Chcesz mieć odwracalną pseudonimizację i weryfikowalny offline łańcuch audytowy bez składania ich samodzielnie.
- Chcesz usługi zarządzanej hostowanej w UE, z opcją samodzielnego hostingu tej samej polityki.
- Pracownicy i agenci, tacy jak Claude Code, powinni mieć jedną politykę i jeden ślad audytowy.
FAQ
Czy mogę przejść z LiteLLM na Sluis, zmieniając tylko base URL?
W przypadku większości klientów zgodnych z OpenAI tak. Wskaż klientowi Sluis i użyj nowego klucza. Identyfikatory modeli na powierzchni OpenAI mają prefiks dostawcy, na przykład mistral/mistral-large-latest, a identyfikatory bez prefiksu zwracają 400. Sluis ma węższy katalog dostawców, więc sprawdź, czy Twoi dostawcy są objęci.
Czy LiteLLM może utrzymać dane w UE?
Tak, jeśli wdrożysz go w UE, skierujesz ruch do wdrożeń modeli w UE i będziesz utrzymywać dokładną konfigurację. W jego dokumentacji nie znaleźliśmy ustawienia polityki dla jurysdykcji ani własności dostawcy, więc ta dyscyplina leży po Twojej stronie.
Czy Sluis jest open source?
Nie. Kod źródłowy jest własnościowy i wszelkie prawa są zastrzeżone. Zachowanie możesz sprawdzić dzięki opublikowanej dokumentacji API, łańcuchowi audytowemu i konsoli, ale nie kodowi.
Czy bramka Sluis dodaje opóźnienie?
W wewnętrznym benchmarku na sprzęcie deweloperskim około +1 ms w medianie oraz o 9% niższa przepustowość, gdy test nasyca gateway. W przypadku działającego modelu różnica mieści się w zmienności dostawcy. Traktuj te liczby jako względne i zmierz własny workload.
Czy mogę uruchomić oba?
Możliwe. Sluis przyjmuje własnych dostawców zgodnych z OpenAI, a proxy LiteLLM udostępnia API zgodne z OpenAI. Przetestuj to połączenie; obowiązuje opłata za własnego dostawcę w wysokości 0,50 € za 1 mln tokenów.