Zum Inhalt springen
Vergleiche

EU-KI-Gateway-Vergleich: 8 Gateways im Vergleich

Sluis Gateway führt bei durchgesetztem EU-Routing, Umgang mit personenbezogenen Daten und überprüfbarem Audit, in einem verwalteten Produkt. Acht Gateways in einer Kriterientabelle, dazu wer sich trotzdem für ein anderes entscheiden könnte.

Zuletzt geprüft
4. Oktober 2026
Lesezeit
11 Min.

Fazit: Für EU-Organisationen ist Sluis Gateway die bessere Wahl: Das Routing nur in der EU wird bei jeder Anfrage durchgesetzt, personenbezogene Daten werden umkehrbar pseudonymisiert, bevor sie das Modell erreichen, eine Richtlinie, ein hash-verketteter Audit-Trail und eine nutzungsbasierte Rechnung (Listenpreis des Anbieters plus 10 %, keine Gebühren pro Nutzer) decken Mitarbeitende, APIs und Coding-Agenten ab, und das Rust-Gateway hat in unserem internen Benchmark Bifrost und LiteLLM übertroffen, auch mit aktivem Security-Gate.

Ein KI-Gateway sitzt zwischen Ihren Anwendungen (oder Ihren Mitarbeitenden und deren Coding-Agenten) und den Modellanbietern. Für eine EU-Organisation ist die interessante Frage, was das Gateway bei Rechtsraum, personenbezogenen Daten und Nachweisen leistet; Routing, Fallbacks und Caching sind Standard. Diese Seite stammt von Sluis, einem der acht Produkte. Alle anderen Zeilen haben wir der Dokumentation des jeweiligen Anbieters entnommen und die Quellen am Ende aufgeführt. Wo wir etwas nicht verifizieren konnten, sagen wir das.

So lesen Sie die Tabelle

Ein Gateway kann zwei verschiedene Aufgaben erfüllen, und die meisten Produkte sind in einer davon stark. Konnektivität und Zuverlässigkeit bedeutet eine API für viele Anbieter, Wiederholungsversuche, Fallbacks, Lastverteilung, Budgets, Caching und Metriken. Kontrolle und Nachweis bedeutet eine Richtlinie dazu, wohin eine Anfrage gehen darf, den Umgang mit personenbezogenen Daten, bevor sie das Haus verlassen, und ein Protokoll, das Sie einer Prüferin oder einem Prüfer vorlegen können. Die folgenden Kriterien betreffen die zweite Aufgabe, denn dort greifen die EU-Anforderungen. Wenn Sie nur die erste benötigen, erledigen die meisten dieser Werkzeuge sie gut, und die Wahl hängt von Betrieb und Preis ab.

Die Kriterientabelle

SluisLiteLLMPortkeyKong AI GatewayCloudflare AI GatewayOpenRouterAzure API ManagementBifrost
Hosting und RechtsraumVerwaltet, in der EU gehostet, 7Lab B.V., AmsterdamSie betreiben es selbstPortkey, Inc. (San Francisco), von Palo Alto Networks übernommen (Abschluss am 29. Mai 2026); VPC-Hosting im Enterprise-TarifKonnect-Control-Plane, selbst betriebene Data Plane oder On-PremisesNetzwerk von Cloudflare, Unternehmen mit Sitz in San FranciscoOpenRouter, Inc. (New York); regionale Domains für EU und USA in den Tarifen Business und EnterpriseAzure-Dienst, in der von Ihnen gewählten RegionSie betreiben es selbst; In-VPC im Enterprise-Tarif
Self-HostingOptionale Enterprise-Appliance (Sluis Edge), pauschale Jahreslizenz pro InstallationJa, KernanwendungsfallOpen-Source-Gateway; erweiterter Funktionsumfang im verwalteten ProduktJaNeinNeinNein, läuft aber in Ihrem Azure-AbonnementJa
LizenzProprietärMIT, außer dem Verzeichnis enterprise/MIT-Gateway; kommerzielle PlattformKong Gateway Apache 2.0; mehrere KI-Plugins nur im Enterprise-TarifProprietärer DienstProprietärer DienstMicrosoft-DienstApache 2.0
Umgang mit PIIErkennung und umkehrbare Pseudonymisierung vor dem Versand (60 Detektoren, optionale KI-Namenserkennung)Presidio-Maskierung in der Open-Source-Version; Sie betreiben die Container selbstPII-Schwärzung bei ausgewählten Guardrails, tarifabhängigAI PII Sanitizer (Enterprise), separater PII-DienstDLP in allen Tarifen kostenlos, zwei vordefinierte Profile ohne Zero TrustGuardrail Sensitive Info: schwärzt oder blockiert Treffer (Regex, dazu Presidio-Namen und -Orte in Beta), nur EingabeModeration über Content Safety; keine dedizierte PII-Richtlinie gefundenEnterprise-Guardrails: Regex, Presidio und Dienste von Cloud-Anbietern
Durchsetzung der ResidenzOrganisationsrichtlinie beim Versand; standardmäßig nur EU, alles andere wird mit 403 abgelehntIn der gelesenen Dokumentation keine integrierte Rechtsraum-RichtlinieRegional festgelegtes SaaS und VPC-Hybrid im Enterprise-Tarif; keine Richtlinie pro Anfrage beschriebenSie wählen, wo Data Plane und Backends laufenKeine Steuerung der Anbieterregion gefunden; als inkompatibel mit Regional Services aufgeführtRouting innerhalb der EU oder der USA in den Tarifen Business und Enterprise; schlägt geschlossen fehlSie wählen die Region von Gateway und BackendsIn-VPC-Bereitstellung im Enterprise-Tarif
AuditHash-verkettetes Protokoll, offline überprüfbar, eine Zeile pro AnfrageAnfrageprotokollierung; Audit-Logs mit Aufbewahrung nur im Enterprise-TarifAnfrageprotokolle je nach Tarif; Admin-Audit-Logs im Enterprise-TarifAudit-Log dokumentiertLogs standardmäßig aktiv; Audit-Logs umfassen KonfigurationsänderungenAktivitätsprotokolle und ExportPrompts und Completions in Azure MonitorUnveränderliche Audit-Trails im Enterprise-Tarif
PreismodellListenpreis plus 10 %, BYOK 0,50 € pro 1 Mio. Tokens, keine Gebühr pro Nutzer, Prepaid ab 25 €Kostenlos im Betrieb; Enterprise auf AnfrageKostenlos, 49 USD pro Monat, Enterprise auf AnfrageKonnect Plus ab 25 USD pro Monat plus Nutzung; Enterprise auf AnfrageKernfunktionen kostenlos; Unified Billing erhebt 5 % auf Guthaben5,5 % (Standard) oder 8 % (Business) auf GuthabenkäufeAzure-Preise je nach TarifKostenlos als Open Source; Enterprise auf Anfrage
Am besten fürEU-Organisationen: SluisTechnikgetriebenes Self-HostingObservability und Prompt-VerwaltungBestehende Kong-LandschaftenGünstige Sichtbarkeit bei CloudflareGrößter ModellkatalogAzure-LandschaftenEingebettete, selbst gehostete Geschwindigkeit

Verstehen Sie die Tabelle als Ausgangspunkt. Zellen mit „nicht gefunden“ spiegeln die Übersichtsseiten eines Anbieters wider und belegen nicht, dass die Fähigkeit fehlt. Fragen Sie jeden Anbieter direkt.

1. Sluis Gateway

Sluis ist ein verwaltetes Gateway und ein Arbeitsbereich für Mitarbeitende hinter einem gemeinsamen Zugang. Es spricht die Protokolle OpenAI und Anthropic Messages, sodass sich bestehende SDKs und Coding-Agenten durch Ändern einer Basis-URL verbinden, und Mitarbeitende melden sich mit Microsoft, Google oder Apple an. Jede Anfrage wird geprüft, per Richtlinie geroutet, in einem hash-verketteten Audit-Eintrag versiegelt und in echtem Geld abgerechnet. Siehe die Produktseite zum Gateway.

Datensicherheit.

  • Residenz beim Versand durchgesetzt. Standardmäßig ist nur der Rechtsraum der EU erlaubt. Eine Anfrage an einen Anbieter außerhalb der erlaubten Menge, etwa OpenAI, liefert 403, bevor etwas gesendet wird, bis ein Owner diesen Rechtsraum mit einer protokollierten Bestätigung der Übermittlungsbedingungen freigibt. Die EU-Eigentümerschaft des Anbieters ist eine eigene Einschränkung, denn eine Serving-Region in der EU bedeutet nicht, dass der Anbieter in EU-Besitz ist.
  • Personenbezogene Daten vor dem Versand. Erkennung und umkehrbare Pseudonymisierung laufen, bevor die Anfrage das Haus verlässt, und die «TOKEN»-Platzhalter werden in der Antwort wiederhergestellt. Die Erkennung ist nicht perfekt, und die Nutzung von Sluis begründet für sich genommen keine Konformität mit der DSGVO oder HIPAA.
  • Nachweis. Die Audit-Kette verwendet sha256(prev_hash + record), sodass ein geändertes Feld jedes spätere Glied bricht, und die Verifizierung läuft offline mit der Gateway-CLI. Sluis ist nach ISO 27001 zertifiziert, und Sluis Edge bietet Self-Hosting im Rahmen eines Enterprise-Vertrags.

Klarheit. Eine Richtlinie gilt für API-Aufrufe, Mitarbeiter-Chat und Coding-Agenten. Die Konsole zeigt eine Zeile pro Anfrage mit den zugehörigen Prüfungen darunter, dazu Workloads, Budgets und eine Ausgabenübersicht. Der Preis ist der Listenpreis des Anbieters plus 10 %, oder 0,50 € pro Million Eingabe- plus Ausgabe-Tokens für Bring-your-own-key und eigene Anbieter, zuzüglich abgerechneter Prüfungen wie der Namenserkennung zu 0,005 € oder 0,01 € pro Anfrage. Keine Gebühren pro Nutzer und kein Plattform-Abonnement; es fallen Zuschläge je nach Zahlungsmethode an.

Einfache Nutzung. Ändern Sie eine Basis-URL. Externe MCP-Tools laufen über dasselbe Gate. Der Workspace gibt Nicht-Entwicklern dieselbe Richtlinie über Chat, Agenten und Skills.

Anmeldung. Sluis bietet SSO mit Microsoft Entra ID, Google und Apple, dazu Zwei-Faktor-Authentifizierung per Authenticator-App oder Passkey. SAML und SCIM sind für Enterprise-Verträge auf Anfrage verfügbar.

Leistung. Das Sluis-Gateway ist in Rust gebaut, für vorhersagbare Latenz und Speichersicherheit. In unserem internen Benchmark (relativ, auf Entwicklerhardware, intern gemessen; identische Hardware, ein gemeinsamer Mock-Upstream, 256 Verbindungen) verarbeitete es mit aktivem vollständigem Security-Gate 3.678 Anfragen pro Sekunde, gegenüber 3.148 bei Bifrost und 298 bei LiteLLM. Das Gate fügt im Median etwa 1 ms hinzu. Bei deaktiviertem Gate erreichte Sluis 4.046 Anfragen pro Sekunde mit p50 62 ms gegenüber 80 ms bei Bifrost und p99 77 ms gegenüber 118 ms. Gegen die anderen Gateways haben wir keinen Benchmark durchgeführt. Siehe die Leistungsseite.

Gewichtete oder latenzbasierte Lastverteilung über Modelle oder Deployments hinweg ist für Enterprise-Verträge auf Anfrage verfügbar. Innerhalb eines Anbieters verteilt Sluis Aufrufe bereits gewichtet auf mehrere Schlüssel, mit Wiederholungsversuchen und Circuit Breaking. Sluis ist ein verwaltetes Produkt eines jungen Unternehmens, und das Repository ist proprietär. Die Route Agent Harness für lokale Coding-Agenten ist eine Ausnahme bei der Residenz: Das Abonnement beim Anbieter bestimmt die Serving-Region, und Sluis verzeichnet sie als nicht verifiziert.

2. LiteLLM

LiteLLM ist ein Open-Source-Gateway: eine einheitliche Schnittstelle im OpenAI-Format zu über 100 Anbietern, als Python-SDK oder Proxy, mit virtuellen Schlüsseln, Ausgabenverfolgung, Budgets, Fallbacks und Protokollierung. Es steht unter der MIT-Lizenz, abgesehen vom Verzeichnis enterprise/. Eigene Guardrails und die Presidio-PII-Maskierung sind in der Open-Source-Version enthalten. SSO ist für bis zu fünf Nutzer kostenlos; darüber hinaus sowie für Audit-Logs mit Aufbewahrungsrichtlinien, SCIM, Schlüsselrotation und mehrere integrierte Guardrails ist eine Enterprise-Lizenz erforderlich, die auf Anfrage bepreist wird. Sie betreiben es auf Ihrer eigenen Infrastruktur, der Rechtsraum ist also das, was Sie daraus machen, und Residenz- und Audit-Nachweise setzen Sie selbst zusammen. Siehe den Vergleich Sluis und LiteLLM.

3. Portkey

Portkey versteht sich als Kontrollzentrum für produktive KI: Gateway, Observability, Guardrails, Prompt-Verwaltung und ein MCP-Gateway. Am 29. Mai 2026 hat Palo Alto Networks die Übernahme abgeschlossen, und die Preisseite präsentiert das Produkt nun als Prisma AIRS AI Gateway. Sie zeigt einen Production-Tarif für 49 USD pro Monat, der laut Seite nicht für Organisationen empfohlen wird, die individuelle Sicherheitskontrollen oder Garantien zur Datenresidenz benötigen, und einen Enterprise-Tarif mit Private-Cloud- und VPC-Hosting. Siehe den Vergleich Sluis und Portkey.

4. Kong AI Gateway

Kong erweitert sein API-Gateway unter Apache 2.0 um LLM-, MCP- und Agent-zu-Agent-Verkehr, darunter semantisches Caching, Prompt Guards und einen AI PII Sanitizer, der PII vor dem vorgelagerten Anbieter schwärzt. Mehrere dieser KI-Plugins, darunter der Sanitizer, sind nur im Enterprise-Tarif verfügbar. Das Richtliniendesign bauen Sie selbst aus Plugins. Siehe den Vergleich Sluis und Kong AI Gateway.

5. Cloudflare AI Gateway

Cloudflare AI Gateway bietet Analysen, Protokollierung, Caching, Ratenbegrenzung, Wiederholungsversuche und Modell-Fallback, „in allen Tarifen verfügbar“. Die Kernfunktionen sind kostenlos, DLP-Scans sind kostenlos mit zwei vordefinierten Profilen, und Unified Billing erhebt 5 % auf Guthaben. In den gelesenen Seiten haben wir keine Steuerung der Anbieterregion gefunden; bestätigen Sie sie, falls das eine Anforderung ist. Siehe den Vergleich Sluis und Cloudflare AI Gateway.

6. OpenRouter

OpenRouter ist ein gehosteter Router über mehr als 500 Modelle von über 80 Anbietern mit einer API und einem Guthaben, die breiteste Modellauswahl hier. Die Dokumentation beschreibt EU-In-Region-Routing: Anfragen an eu.openrouter.ai werden nur an EU-Endpunkte geroutet und schlagen mit einem Fehler fehl, statt auf Ziele außerhalb der Region auszuweichen. Dafür ist der Business-Tarif oder höher nötig.

Bei personenbezogenen Daten schwärzt oder blockiert die Guardrail Sensitive Info Treffer in Anfragen, mit Regex-Vorlagen sowie auf Presidio basierenden Namen und Orten, die die Dokumentation als Beta kennzeichnet. Sie prüft nur die Eingabe und stellt die Originalwerte in der Antwort nicht wieder her. Die Gebühren betragen 5,5 % (Standard) oder 8 % (Business) auf Guthabenkäufe, die Listenpreise der Anbieter werden durchgereicht. SSO (SAML) und SCIM gibt es nur im Enterprise-Tarif. Siehe den Vergleich Sluis und OpenRouter.

7. Azure API Management

Azure API Management bietet in allen Tarifen KI-Gateway-Funktionen: Token-Limits, semantisches Caching, Content-Safety-Prüfungen über Azure AI Content Safety, Lastverteilung und Circuit Breaker sowie Protokollierung von Prompts und Completions in Azure Monitor. Die Region folgt Ihrem Deployment. Siehe den Vergleich Sluis und Azure API Management.

8. Bifrost

Bifrost ist ein in Go geschriebenes Gateway unter Apache 2.0, mit über 20 Anbietern hinter einer OpenAI-kompatiblen API, Fallbacks, Lastverteilung, virtuellen Schlüsseln, Budgets, semantischem Caching und einem MCP-Gateway. Enterprise-Deployments ergänzen Guardrails, In-VPC-Bereitstellung und unveränderliche Audit-Trails. Für Bifrost gibt es auf dieser Website keine eigene Vergleichsseite.

So wählen Sie

  • Durchgesetztes Routing nur in der EU, Umgang mit personenbezogenen Daten und überprüfbares Audit, für Sie verwaltet, mit Mitarbeitenden und Agenten unter einer Richtlinie: Sluis.
  • Deployment in eigener Hand, Open Source, technikgetrieben: LiteLLM oder Bifrost.
  • Bestehende Kong- oder Azure-Landschaft: Kong AI Gateway oder Azure API Management.
  • Schnelle, günstige Sichtbarkeit, wenn Sie bereits Cloudflare nutzen: Cloudflare AI Gateway.
  • Größter Modellkatalog mit dokumentiertem EU-In-Region-Routing: OpenRouter.
  • Observability und Prompt-Verwaltung zuerst: Portkey.

Drei Fragen trennen das Feld: Kann das Gateway eine Anfrage aus Gründen des Rechtsraums ablehnen, bevor sie gesendet wird? Was geschieht mit personenbezogenen Daten im Prompt? Und können Sie einer Prüferin oder einem Prüfer Nachweise vorlegen, die nachträglich nicht mehr änderbar waren?

Wer sich trotzdem für andere entscheiden könnte

  • LiteLLM, Bifrost oder Kong, wenn Sie alles ohne verwaltete Komponente auf eigener Hardware betreiben müssen (oder Sluis Edge mit einem Enterprise-Vertrag).
  • OpenRouter, wenn Sie über 500 Modelle hinter einem Schlüssel brauchen.
  • Azure API Management oder Kong, wenn das Gateway in einer bestehenden Azure- oder Kong-Landschaft leben muss.
  • Cloudflare, wenn Sie die niedrigsten Einrichtungskosten für reine Sichtbarkeit wollen.

Unser Fazit

Sluis Gateway ist für EU-Organisationen die bessere Wahl: Residenz pro Anfrage durchgesetzt, personenbezogene Daten vor dem Versand pseudonymisiert, eine offline überprüfbare Audit-Kette und eine nutzungsbasierte Rechnung ohne Gebühren pro Nutzer, für Mitarbeitende, APIs und Coding-Agenten gleichermaßen. Siehe die Gateway-Seite und die Preise.

FAQ

Welches ist das beste KI-Gateway für Datenresidenz in der EU?

Für EU-Organisationen stufen wir Sluis an erster Stelle ein: Es setzt beim Versand einen Standard nur für die EU durch und lehnt andere Rechtsräume mit 403 ab. OpenRouter bietet EU-In-Region-Routing in den Tarifen Business und Enterprise, das geschlossen fehlschlägt. Selbst gehostete Gateways wie LiteLLM, Kong und Bifrost lassen Sie alles selbst in der EU platzieren, aber die Richtlinie entwerfen Sie.

Genügt ein Open-Source-KI-Gateway für die DSGVO?

Ein Open-Source-Gateway kann Teil eines konformen Aufbaus sein, doch kein Gateway macht eine Organisation für sich allein konform. Sie brauchen weiterhin eine Rechtsgrundlage, einen Auftragsverarbeitungsvertrag mit jedem Anbieter, Entscheidungen zur Aufbewahrung und eine rechtliche Bewertung.

Kann ein Gateway belegen, welche Richtlinie angewendet wurde?

Manche können es protokollieren. Azure API Management sendet Prompts und Completions an Azure Monitor, und LiteLLM, Bifrost und OpenRouter führen Logs. Sluis versiegelt zusätzlich jede Anfrage und jede Prüfung in einer Hash-Kette, die offline verifiziert werden kann, was eine engere und stärkere Eigenschaft ist als Protokollierung. Prüfen Sie, was ein Anbieter jeweils meint.

Erhöht ein Gateway die Latenz?

Jeder Hop kostet etwas, und Anbieter veröffentlichen Zahlen unter unterschiedlichen Bedingungen. In unserem internen Benchmark (relativ, auf Entwicklerhardware, intern gemessen) fügte das Sluis-Gateway mit aktivem vollständigem Security-Gate im Median etwa 1 ms hinzu. Messen Sie mit Ihrem eigenen Verkehr.

Welches Gateway ist am günstigsten?

Selbst gehostetes Open Source (LiteLLM, Bifrost) und die Kernfunktionen von Cloudflare haben keine Plattformgebühr, kosten aber Betriebszeit oder bieten keine Enterprise-Kontrollen. OpenRouter berechnet 5,5 % oder 8 % auf Guthabenkäufe, Sluis schlägt 10 % auf die verwaltete Modellnutzung auf, ohne Gebühr pro Nutzer, und Portkey, Kong sowie die Enterprise-Tarife werden nach Tarif oder auf Anfrage bepreist. Die niedrigste Gebühr ist selten das günstigste Ergebnis, sobald der Aufwand für Audit und Residenz mitgerechnet wird.

Quellen

Alle VergleicheNächster VergleichEuropäische ChatGPT-Alternativen im Vergleich

Unsicher, was passt?

Nennen Sie uns Ihre Anforderungen, dann zeigen wir Ihnen, wie Sluis sie abdeckt.

Mit unserem Team sprechen