Das Wichtigste in Kürze
Beide stellen einen OpenAI-kompatiblen Endpunkt vor viele Modellanbieter, mit virtuellen Schlüsseln, Budgets und Logging. Der Unterschied liegt darin, wo die Arbeit anfällt. Die weiteren Gateways der Auswahlliste finden Sie unter KI-Gateways für EU-Organisationen im Vergleich.
LiteLLM bietet ein breites, MIT-lizenziertes Toolkit und überlässt Ihnen das Betriebsmodell: Sie hosten es, betreiben die zugehörige Datenbank, binden die PII-Erkennung an und entscheiden, wie Regionen festgelegt werden. Sluis liefert die Compliance-Schicht als Produkt: Jeder Aufruf wird geprüft, nach einer EU-first-Residenzrichtlinie geroutet, in einem hashverketteten Audit-Log versiegelt und abgerechnet, als verwalteter Dienst in der EU oder auf Ihren eigenen Servern mit Sluis Edge.
Sluis ist nicht Open Source. Der Code unterliegt allen Rechten vorbehalten, und das selbst gehostete Edge-Binary benötigt eine Enterprise-Lizenz. Wenn Quellcodezugriff eine harte Anforderung ist, fällt die Entscheidung damit für LiteLLM.
Auf einen Blick
| Sluis | LiteLLM | |
|---|---|---|
| Lizenz | Proprietär, alle Rechte vorbehalten | MIT, außer dem Verzeichnis enterprise/ unter kommerzieller Lizenz |
| Bereitstellung | Verwalteter Dienst in der EU oder selbst gehostetes Edge (Enterprise-Lizenz) | Selbst gehostet (Docker-Image oder pip-Paket) |
| API-Oberfläche | OpenAI-kompatibel und native Anthropic Messages, dazu ein MCP-Gateway | OpenAI-Format, dazu /responses, /embeddings, /messages, /batches und mehr |
| Anbieter | Ein definierter Katalog (Anbieter aus der EU, den USA und China) plus eigene OpenAI-kompatible Endpunkte | 100+ Anbieter laut Repository |
| PII-Behandlung | Integriert: 60 Detektoren, optionale Namenserkennung, Blockieren, Maskieren, Protokollieren oder umkehrbare Pseudonymisierung | Presidio-Guardrail (die Presidio-Container stellen Sie selbst bereit): Maskieren oder Blockieren, optional Wiederherstellen |
| Datenhaltung | Richtlinie pro Anfrage, standardmäßig nur EU, optional nur EU-eigene Anbieter | Konfiguration, die Sie mit Deployments und Routing selbst aufbauen |
| Budgets | Pro Workload: Ausgaben, Anfragen und Tokens pro Minute, Modell-Allowlist | Pro Schlüssel, Benutzer, Team und Teammitglied; benötigt Postgres |
| Audit | Manipulationssichere Hashkette, offline prüfbar | Request-Logging in der OSS-Version; Audit-Logs mit Aufbewahrung sind ein Enterprise-Feature |
| Preis | Listenpreis des Anbieters plus 10 % oder 0,50 € pro 1 Mio. Tokens mit eigenen Schlüsseln | Kostenlos im Betrieb; Enterprise-Lizenz auf Anfrage |
Lizenz und Hosting
Das Repository von LiteLLM ist bis auf das Verzeichnis enterprise/ MIT-lizenziert. Die Enterprise-Lizenz ergänzt SSO für mehr als fünf Benutzer, SCIM, Audit-Logs mit Aufbewahrung, Guardrails auf Schlüssel- und Teamebene sowie einen Support-Kanal; 24/7-Support-SLAs kosten extra. Dokumentiert ist der Betrieb auf der eigenen Infrastruktur, und der Hersteller gibt an, dass eine selbst gehostete Instanz keine Telemetrie und keine Daten an seine Server sendet.
Sluis betreibt dasselbe Gateway auf zwei Arten. Der verwaltete Dienst wird in der EU gehostet. Edge ist ein einzelnes Binary auf Ihren Servern, verwaltet über dieselbe Konsole: Prompts laufen nicht durch die Sluis-Cloud, wobei der Datenabfluss zu den Modellanbietern weiterhin Ihrer Konfiguration folgt. Edge gibt es nur als Enterprise-Angebot, mit einer jährlichen Pauschallizenz pro Gateway.
Datenschutz und Guardrails
Die PII-Maskierung von LiteLLM nutzt Microsoft Presidio. Sie stellen die Analyzer- und Anonymizer-Container bereit, wählen Entitätstypen und setzen jeden auf MASK oder BLOCK. Ein Restore-Flag setzt die Originalwerte in der Antwort wieder ein. Mehrere integrierte Moderationsanbindungen, etwa zum Verbergen von Secrets und für Anbieter von Prompt-Injection-Schutz, erfordern eine Enterprise-Lizenz.
Der Inspect-Schritt von Sluis ist Teil des Gateways. Er führt 60 integrierte Detektoren aus (E-Mail, IBAN, Kreditkarte, API-Schlüssel und ein Paket nationaler Kennnummern, das zwölf EU-Länder per Prüfsumme validiert) sowie eine optionale Namenserkennung mit zwei Modellstufen. Die Richtlinie legt fest, ob ein Wert blockiert, maskiert, protokolliert oder durch ein stabiles Token wie «EMAIL_1» ersetzt wird, das in der Antwort wiederhergestellt wird. Prompt-Injection-Scans und ein Scope-Guard pro Workload sind optional. Die Erkennung garantiert nicht, dass jeder sensible Wert gefunden wird, und die Nutzung von Sluis begründet für sich genommen keine DSGVO-Konformität. Siehe Datenschutz.
Routing und Datenhaltung
Der Router von LiteLLM ist beim Traffic-Engineering stärker: gewichtete und latenzbasierte Strategien, kostenbasiertes Routing, Wiederholungen, Cooldowns und Fallbacks über Deployments hinweg. Den Verkehr in der EU zu halten bedeutet, EU-Deployments zu wählen und diese Konfiguration selbst zu pflegen.
Sluis routet per Richtlinie. Standard ist nur EU, Rechtsräume wie die USA oder China werden ausdrücklich hinzugefügt, und eine Beschränkung auf EU-eigene Anbieter ist ein eigener Schalter, weil eine EU-Region keinen EU-eigenen Anbieter impliziert. Antworten legen die gewählte Route und das Modell offen. Verwaltete Aliase wie sluis/auto werden innerhalb Ihrer Richtlinie aufgelöst. Innerhalb eines Anbieters verteilt Sluis Aufrufe gewichtet auf mehrere Schlüssel, mit Wiederholungen und Circuit Breaking, bietet aber kein gewichtetes oder latenzbasiertes Balancing über Modelle oder Deployments hinweg. Siehe Datenhaltung und Modelle.
Budgets, Limits und Zugriff
Beide setzen die Ausgaben vor dem Aufruf durch. Die Budgets von LiteLLM gelten für Schlüssel, Benutzer, Teams und Teammitglieder und setzen eine Datenbank voraus: Ohne sie werden Budgetprüfungen übersprungen. Sluis bindet Limits an einen Workload, der Anfragen pro Minute, Tokens pro Minute, eine Modell-Allowlist und ein Gesamt-, Tages- oder Monatsbudget besitzt, das sich seine Schlüssel teilen. Eine Obergrenze der Organisation liegt über allen Workloads. Jenseits des Rate-Limits liefert ein Aufruf 429, jenseits des Budgets 402, und die Anfrage erreicht keinen Anbieter. Sind die Zähler nicht erreichbar, schlägt die Prüfung geschlossen fehl (fail closed).
MCP-Tools durchlaufen in Sluis dieselbe Schranke: Freigaben gelten pro Schlüssel und sind standardmäßig verweigert, und jeder Aufruf wird geprüft, geroutet, versiegelt und abgerechnet. Siehe Budgets und Limits.
Audit und Logging
LiteLLM protokolliert Anfragen und Antworten und exportiert in Observability-Tools. Die Audit-Logs, die Admin-Aktionen und Schlüsseländerungen erfassen, sind als Enterprise-Feature aufgeführt.
Sluis schreibt jeden Aufruf in ein hashverkettetes Ledger, das Sie offline mit audit verify-chain prüfen können, optional mit verschlüsselten Request- und Response-Bodys unter einer Aufbewahrungsfrist. Dasselbe Ledger ist der Abrechnungsbeleg.
Performance
Beide Hersteller veröffentlichen Zahlen, auf unterschiedlichen Messaufbauten, sodass sie sich nicht direkt vergleichen lassen. LiteLLM nennt 8 ms P95 bei 1.000 RPS. Sluis hat die Schranke intern gemessen: etwa +1 ms im Median gegenüber einem Mock-Upstream und eine um 9 % niedrigere Anfragerate bei synthetischer Sättigung. Diese Werte sind relativ, auf Entwicklerhardware und intern gemessen. Details stehen auf der Performance-Seite.
Preise
LiteLLM ist im Betrieb kostenlos, Ihre Kosten sind also Infrastruktur, eine Postgres-Datenbank und Engineering-Zeit; die Enterprise-Lizenz wird auf Anfrage bepreist. Sluis hat weder ein Plattform-Abo noch eine Gebühr pro Platz und keinen kostenlosen Tarif. Self-Service ist prepaid, ab einem Guthabenkauf von 25 €, mit Aufschlägen je Zahlungsmethode. Verwaltete Modellnutzung kostet den Listenpreis des Anbieters plus 10 %. Mit eigenen Schlüsseln beträgt die Sluis-Gebühr 0,50 € pro 1 Mio. Input- und Output-Tokens, die Anbieterkosten werden separat berechnet. Siehe Preise.
Wann LiteLLM die bessere Wahl ist
- Sie brauchen Open Source, die Sie lesen, forken und prüfen können.
- Sie wollen ein Python-SDK und einen Proxy mit der größten Anbieter- und Modellabdeckung, einschließlich Modellen ab dem Veröffentlichungstag.
- Sie brauchen feingranulares Traffic-Engineering: latenz- oder kostenbasiertes Routing, gewichtete Pools und eigene Fallbacks.
- Ihr Team betreibt bereits Postgres und Kubernetes und möchte den gesamten Stack selbst besitzen.
- EU-Datenhaltung und PII-Kontrollen sind keine Anforderung, oder Sie bauen sie lieber selbst.
Wann Sluis die bessere Wahl ist
- Sie müssen belegen, wohin jede Anfrage gehen durfte, mit EU-first-Routing als Standard.
- Sie wollen umkehrbare Pseudonymisierung und eine offline prüfbare Audit-Kette, ohne sie selbst zusammenzubauen.
- Sie wollen einen verwalteten, in der EU gehosteten Dienst, mit einer selbst gehosteten Option für dieselbe Richtlinie.
- Mitarbeitende und Agenten, etwa Claude Code, sollen eine gemeinsame Richtlinie und einen gemeinsamen Audit-Trail nutzen.
FAQ
Kann ich von LiteLLM zu Sluis wechseln, indem ich die Base-URL ändere?
Für die meisten OpenAI-kompatiblen Clients ja. Richten Sie den Client auf Sluis aus und verwenden Sie einen neuen Schlüssel. Modell-IDs auf der OpenAI-Oberfläche tragen den Anbieter als Präfix, etwa mistral/mistral-large-latest, und IDs ohne Präfix liefern 400. Sluis hat einen kleineren Anbieterkatalog, prüfen Sie daher, ob Ihre Anbieter abgedeckt sind.
Kann LiteLLM Daten in der EU halten?
Ja, wenn Sie es in der EU betreiben, auf EU-Modell-Deployments routen und die Konfiguration korrekt halten. In der Dokumentation haben wir keine Richtlinieneinstellung für Rechtsraum oder Eigentümerschaft des Anbieters gefunden, diese Sorgfalt liegt also bei Ihnen.
Ist Sluis Open Source?
Nein. Der Quellcode ist proprietär, alle Rechte sind vorbehalten. Das Verhalten können Sie über die veröffentlichte API-Dokumentation, die Audit-Kette und die Konsole nachvollziehen, den Code aber nicht einsehen.
Erhöht die Sluis-Schranke die Latenz?
In einem internen Benchmark auf Entwicklerhardware etwa +1 ms im Median und 9 % weniger Durchsatz, wenn der Test das Gateway sättigt. Gegenüber einem echten Modell liegt der Unterschied innerhalb der Schwankung der Anbieter. Betrachten Sie diese Werte als relativ und messen Sie Ihren eigenen Workload.
Kann ich beide betreiben?
Möglicherweise. Sluis akzeptiert eigene OpenAI-kompatible Anbieter, und der LiteLLM-Proxy stellt eine OpenAI-kompatible API bereit. Testen Sie die Kombination; es gilt die Gebühr für eigene Anbieter von 0,50 € pro 1 Mio. Tokens.