Zum Inhalt springen
Vergleiche

LiteLLM-Alternative, in der EU gehostet: Sluis vs LiteLLM

Sluis ist ein verwaltetes, in der EU gehostetes KI-Gateway, in dem Datenhaltung, Pseudonymisierung und ein versiegelter Audit-Trail eingebaut sind. LiteLLM ist ein Open-Source-Gateway, das Sie selbst hosten und zusammenbauen.

Zuletzt geprüft
4. Oktober 2026
Lesezeit
7 Min.
Verglichen mit
LiteLLM

Fazit: Für EU-Organisationen ist Sluis die bessere Wahl: Personenbezogene Daten werden pseudonymisiert und jede Anfrage wird ausschließlich in der EU geroutet, bevor sie das Haus verlässt. Eine Konsole zeigt Workloads, Budgets und Audit pro Anfrage gruppiert. Sie ändern eine base_url, statt einen Proxy, eine Datenbank und einen PII-Dienst zu betreiben, und in unserem internen Benchmark übertraf das Rust-Gateway LiteLLM selbst bei aktivierter Sicherheitsschranke.

Das Wichtigste in Kürze

Beide stellen einen OpenAI-kompatiblen Endpunkt vor viele Modellanbieter, mit virtuellen Schlüsseln, Budgets und Logging. Der Unterschied liegt darin, wo die Arbeit anfällt. Die weiteren Gateways der Auswahlliste finden Sie unter KI-Gateways für EU-Organisationen im Vergleich.

Sluis liefert die Compliance-Schicht als Produkt: Jeder Aufruf wird geprüft, nach einer EU-first-Residenzrichtlinie geroutet, in einem hashverketteten Audit-Log versiegelt und abgerechnet, als verwalteter Dienst in der EU oder auf Ihren eigenen Servern mit Sluis Edge. Sluis spricht die OpenAI- und die Anthropic-API, ein Wechsel bedeutet also, die base_url zu ändern.

LiteLLM bietet ein breites, MIT-lizenziertes Toolkit und überlässt Ihnen das Betriebsmodell: Sie hosten es, betreiben die zugehörige Datenbank, binden die PII-Erkennung an und entscheiden, wie Regionen festgelegt werden. Sluis ist nicht Open Source: Der Code unterliegt allen Rechten vorbehalten, und die selbst gehostete Edge-Appliance benötigt eine Enterprise-Lizenz.

Auf einen Blick

SluisLiteLLM
LizenzProprietär, alle Rechte vorbehaltenMIT, außer dem Verzeichnis enterprise/ unter kommerzieller Lizenz
BereitstellungVerwalteter Dienst in der EU oder selbst gehostetes Edge (Enterprise-Lizenz)Selbst gehostet (Docker-Image oder pip-Paket)
API-OberflächeOpenAI-kompatibel und native Anthropic Messages, dazu ein MCP-GatewayOpenAI-Format, dazu /responses, /embeddings, /messages, /batches und mehr
AnbieterEin definierter Katalog (EU-, US- und China-Anbieter) plus eigene OpenAI-kompatible EndpunkteLaut Repository über 100 Anbieter
PII-BehandlungEingebaut: 60 Detektoren, optionale Namenserkennung, Blockieren, Maskieren, Protokollieren oder umkehrbare PseudonymisierungPresidio-Guardrail (Sie stellen die Presidio-Container bereit): Maskieren oder Blockieren, optional Wiederherstellen
DatenhaltungRichtlinie pro Anfrage, standardmäßig nur EU, optional nur Anbieter in EU-BesitzKonfiguration, die Sie mit Deployments und Routing selbst aufbauen
BudgetsPro Workload: Ausgaben, Anfragen und Tokens pro Minute, Modell-AllowlistPro Schlüssel, Benutzer, Team und Teammitglied; benötigt Postgres
AuditManipulationssichere Hashkette, offline prüfbarRequest-Logging in der OSS-Version; Audit-Logs mit Aufbewahrung sind ein Enterprise-Feature
PreisListenpreis des Anbieters plus 10 %, oder 0,50 € pro 1 Mio. Tokens mit eigenen SchlüsselnIm Betrieb kostenlos; Enterprise-Lizenz auf Anfrage
Beste Wahl für EU-OrganisationenSluisTeams, die selbst hosten und ihre eigenen Residenz- und PII-Kontrollen aufbauen

Lizenz und Hosting

Sluis bietet Ihnen einen verwalteten Dienst in der EU, ohne etwas zu installieren oder zu patchen. Wenn Sie es selbst betreiben müssen, ist Edge die komplette Appliance auf Ihrem Kubernetes oder Docker: Prompts laufen nicht über die Cloud von Sluis, der Datenabfluss zu Modellanbietern folgt allerdings weiterhin Ihrer Konfiguration. Edge gibt es nur für Enterprise, mit einer pauschalen Jahreslizenz pro Installation.

Das Repository von LiteLLM ist bis auf das Verzeichnis enterprise/ MIT-lizenziert. Die Enterprise-Lizenz ergänzt SSO für mehr als fünf Benutzer, SCIM, Audit-Logs mit Aufbewahrung, Guardrails auf Schlüssel- und Teamebene sowie einen Support-Kanal; 24/7-Support-SLAs kosten extra. Dokumentiert ist der Betrieb auf der eigenen Infrastruktur, und der Hersteller gibt an, dass eine selbst gehostete Instanz keine Telemetrie und keine Daten an seine Server sendet.

Datenschutz und Guardrails

Der Inspect-Schritt von Sluis ist Teil des Gateways, es muss also nichts Zusätzliches bereitgestellt werden. Er führt 60 eingebaute Detektoren aus (E-Mail, IBAN, Kreditkarte, API-Schlüssel und ein Paket für nationale Kennnummern, das zwölf EU-Länder per Prüfsumme validiert), dazu eine optionale Namenserkennung mit zwei Modellstufen. Die Richtlinie legt fest, ob ein Wert blockiert, maskiert, protokolliert oder durch ein stabiles Token wie «EMAIL_1» ersetzt wird, das in der Antwort wiederhergestellt wird. Prompt-Injection-Scans und ein Scope-Guard pro Workload sind optional. Die Erkennung garantiert nicht, dass jeder sensible Wert gefunden wird, und die Nutzung von Sluis begründet für sich genommen keine DSGVO-Konformität. Siehe Datenschutz.

Die PII-Maskierung von LiteLLM nutzt Microsoft Presidio. Sie stellen die Analyzer- und Anonymizer-Container bereit, wählen Entitätstypen und setzen jeden auf MASK oder BLOCK. Ein Restore-Flag setzt die Originalwerte in der Antwort wieder ein. Mehrere integrierte Moderationsanbindungen, etwa zum Verbergen von Secrets und für Anbieter von Prompt-Injection-Schutz, erfordern eine Enterprise-Lizenz.

Routing und Datenhaltung

Sluis routet nach Richtlinie, die bei jeder Anfrage durchgesetzt wird. Standard ist nur EU, Rechtsordnungen wie die USA oder China werden ausdrücklich hinzugefügt, und eine Beschränkung auf Anbieter in EU-Besitz ist ein eigener Schalter, weil eine EU-Region nicht bedeutet, dass der Anbieter in EU-Besitz ist. Antworten legen die gewählte Route und das Modell offen. Verwaltete Aliase wie sluis/auto werden innerhalb Ihrer Richtlinie aufgelöst. Innerhalb eines Anbieters verteilt Sluis Aufrufe gewichtet auf mehrere Schlüssel, mit Wiederholungen und Circuit Breaking; gewichtetes oder latenzbasiertes Balancing über Modelle und Deployments hinweg ist für Enterprise-Verträge auf Anfrage verfügbar. Siehe Datenhaltung und Modelle.

Der Router von LiteLLM ist beim Traffic-Engineering stärker: gewichtete und latenzbasierte Strategien, kostenbasiertes Routing, Wiederholungen, Cooldowns und Fallbacks über Deployments hinweg. Den Verkehr in der EU zu halten bedeutet, EU-Deployments zu wählen und diese Konfiguration selbst zu pflegen.

Budgets, Limits und Zugriff

In Sluis erledigt ein einziges Konsolenobjekt die Arbeit. Ein Workload besitzt Anfragen pro Minute, Tokens pro Minute, eine Modell-Allowlist und ein Gesamt-, Tages- oder Monatsbudget, das sich seine Schlüssel teilen, und eine Obergrenze der Organisation liegt über allen Workloads. Jenseits des Rate-Limits liefert ein Aufruf 429, jenseits des Budgets 402, und die Anfrage erreicht nie einen Anbieter. Sind die Zähler nicht erreichbar, schlägt die Prüfung geschlossen fehl (fail closed). MCP-Tools passieren dieselbe Schranke: Freigaben gelten pro Schlüssel und sind standardmäßig verweigert, und jeder Aufruf wird geprüft, geroutet, versiegelt und abgerechnet. Siehe Budgets und Limits.

Beide setzen die Ausgaben vor dem Aufruf durch. Die Budgets von LiteLLM gelten für Schlüssel, Benutzer, Teams und Teammitglieder und setzen eine Datenbank voraus: Ohne sie werden Budgetprüfungen übersprungen.

Audit und Logging

Sluis schreibt jeden Aufruf in ein hashverkettetes Ledger, das Sie offline mit audit verify-chain prüfen können, optional mit verschlüsselten Request- und Response-Bodies unter einer Aufbewahrungsfrist. Das Audit-Log zeigt eine Zeile pro Anfrage, und dasselbe Ledger ist der Abrechnungsbeleg, sodass Audit und Rechnung übereinstimmen.

LiteLLM protokolliert Anfragen und Antworten und exportiert in Observability-Tools. Die Audit-Logs, die Admin-Aktionen und Schlüsseländerungen erfassen, sind als Enterprise-Feature aufgeführt.

Performance

Sluis ist in Rust geschrieben, für vorhersagbare Latenz und Speichersicherheit. In unserem internen Benchmark verarbeitete das Sluis-Gateway auf identischer Hardware mit einem gemeinsamen Mock-Upstream bei 256 Verbindungen 3.678 Anfragen pro Sekunde bei aktivierter vollständiger Sicherheitsschranke, gegenüber 298 bei LiteLLM (und 3.148 bei Bifrost). Die Schranke fügt im Median etwa 1 ms hinzu. Bei deaktivierter Schranke erreichte Sluis 4.046 Anfragen pro Sekunde. Diese Werte sind relativ, auf Entwicklerhardware und intern gemessen. Der eigene Wert von LiteLLM, 8 ms P95 bei 1.000 RPS, stammt aus einem anderen Messaufbau und lässt sich nicht direkt vergleichen. Details stehen auf der Performance-Seite.

Preise

Sluis hat weder ein Plattform-Abo noch eine Gebühr pro Platz und keinen kostenlosen Tarif. Self-Service ist prepaid, ab einem Guthabenkauf von 25 €, mit Aufschlägen je Zahlungsmethode. Verwaltete Modellnutzung kostet den Listenpreis des Anbieters plus 10 %. Mit eigenen Schlüsseln beträgt die Sluis-Gebühr 0,50 € pro 1 Mio. Input- und Output-Tokens, Anbieterkosten werden separat berechnet. Siehe Preise.

LiteLLM ist im Betrieb kostenlos, Ihre Kosten sind also Infrastruktur, eine Postgres-Datenbank und Engineering-Zeit; die Enterprise-Lizenz wird auf Anfrage bepreist.

Wer sich trotzdem für LiteLLM entscheiden könnte

  • Sie brauchen Open Source, die Sie lesen, forken und prüfen können.
  • Sie wollen ein Python-SDK und einen Proxy mit der größten Anbieter- und Modellabdeckung, einschließlich Modellen ab dem Veröffentlichungstag.
  • Sie brauchen feingranulares Traffic-Engineering: latenz- oder kostenbasiertes Routing, gewichtete Pools und eigene Fallbacks.
  • Ihr Team betreibt bereits Postgres und Kubernetes und möchte den gesamten Stack selbst besitzen.

Unser Fazit

Sluis gewinnt für EU-Organisationen bei den vier Dingen, für die ein Gateway da ist. Datensicherheit: EU-only-Routing, das pro Anfrage durchgesetzt wird, umkehrbare Pseudonymisierung und eine Audit-Kette, die Sie offline prüfen, mit ISO-27001-Zertifizierung. Klarheit: eine Konsole mit Workloads, Budgets und Modell-Allowlists, eine Audit-Zeile pro Anfrage, eine nutzungsbasierte Rechnung. Einfachheit: Sie richten einen OpenAI- oder Anthropic-Client auf eine neue base_url, mit einem verwalteten, in der EU gehosteten Dienst und nichts zu betreiben, oder auf Sluis Edge, wenn Sie selbst hosten müssen. Performance: ein Rust-Gateway, das LiteLLM in unserem internen Benchmark übertraf, bei aktivierter Sicherheitsschranke. Dasselbe Gateway treibt auch Sluis Workspace für Mitarbeitende an, sodass Menschen und Anwendungen eine gemeinsame Richtlinie nutzen. Siehe Preise.

FAQ

Kann ich von LiteLLM zu Sluis wechseln, indem ich die Base-URL ändere?

Für die meisten OpenAI-kompatiblen Clients ja. Richten Sie den Client auf Sluis und verwenden Sie einen neuen Schlüssel. Modell-IDs auf der OpenAI-Oberfläche tragen das Anbieterpräfix, etwa mistral/mistral-large-latest, und reine IDs ohne Präfix liefern 400. Prüfen Sie, ob Ihre Anbieter im Sluis-Katalog stehen; weitere sind für Enterprise-Verträge auf Anfrage verfügbar.

Kann LiteLLM Daten in der EU halten?

Ja, wenn Sie es in der EU bereitstellen, auf EU-Modell-Deployments routen und die Konfiguration korrekt halten. In der Dokumentation haben wir keine Richtlinieneinstellung für Rechtsordnung oder Eigentümerschaft des Anbieters gefunden, diese Disziplin liegt also bei Ihnen.

Ist Sluis Open Source?

Nein. Der Quellcode ist proprietär, alle Rechte sind vorbehalten. Sie können das Verhalten über die veröffentlichte API-Dokumentation, die Audit-Kette und die Konsole prüfen, nicht aber den Code.

Erhöht die Sluis-Schranke die Latenz?

In unserem internen Benchmark etwa 1 ms im Median bei aktivierter vollständiger Sicherheitsschranke, und das Rust-Gateway verarbeitete dennoch 3.678 Anfragen pro Sekunde gegenüber 298 bei LiteLLM. Das sind relative Werte, auf Entwicklerhardware, intern gemessen. Gegenüber einem echten Modell liegt die Schranke innerhalb der Streuung der Anbieter, messen Sie daher Ihren eigenen Workload.

Kann ich beide betreiben?

Möglicherweise. Sluis akzeptiert eigene OpenAI-kompatible Anbieter, und der LiteLLM-Proxy stellt eine OpenAI-kompatible API bereit. Testen Sie die Kombination; es gilt die Gebühr für eigene Anbieter von 0,50 € pro 1 Mio. Tokens.

Quellen

Alle VergleicheNächster VergleichSluis vs Portkey: das EU-KI-Gateway im Vergleich

Unsicher, was passt?

Nennen Sie uns Ihre Anforderungen, dann zeigen wir Ihnen, wie Sluis sie abdeckt.

Mit unserem Team sprechen