KI-Gateways für EU-Organisationen im Vergleich

Ein KI-Gateway sitzt zwischen Ihren Anwendungen (oder Ihren Mitarbeitenden und deren Coding-Agenten) und den Modellanbietern. Für eine EU-Organisation ist die interessante Frage, was das Gateway bei Rechtsraum, personenbezogenen Daten und Nachweisen leistet; Routing, Fallbacks und Caching sind Standard. Diese Seite stammt von Sluis, einem der acht Produkte. Alle anderen Spalten haben wir am 1. Oktober 2026 der Dokumentation des jeweiligen Anbieters entnommen und die Quellen am Ende aufgeführt. Wo wir etwas nicht verifizieren konnten, sagen wir das.

So lesen Sie die Tabelle

Ein Gateway kann zwei verschiedene Aufgaben erfüllen, und die meisten Produkte sind in einer davon stark. Konnektivität und Zuverlässigkeit bedeutet eine API für viele Anbieter, Wiederholungsversuche, Fallbacks, Lastverteilung, Budgets, Caching und Metriken. Kontrolle und Nachweis bedeutet eine Richtlinie dazu, wohin eine Anfrage gehen darf, den Umgang mit personenbezogenen Daten, bevor sie das Haus verlassen, und ein Protokoll, das Sie einer Prüferin oder einem Prüfer vorlegen können. Die folgenden Kriterien betreffen die zweite Aufgabe, denn dort greifen die EU-Anforderungen. Wenn Sie nur die erste benötigen, erledigen die meisten dieser Werkzeuge sie gut, und die Wahl hängt von Betrieb und Preis ab.

Die Kriterientabelle

	Sluis	LiteLLM	Portkey	Kong AI Gateway	Cloudflare AI Gateway	OpenRouter	Azure API Management	Bifrost
Hosting und Rechtsraum	Verwaltet, in der EU gehostet, 7Lab B.V., Amsterdam	Sie betreiben es selbst	Portkey, Inc. (San Francisco), von Palo Alto Networks übernommen (Abschluss am 29. Mai 2026); VPC-Hosting im Enterprise-Tarif	Konnect-Control-Plane, selbst betriebene Data Plane oder On-Premises	Netzwerk von Cloudflare, Unternehmen mit Sitz in San Francisco	OpenRouter, Inc. (New York); regionale Domains für EU und USA in den Tarifen Business und Enterprise	Azure-Dienst, in der von Ihnen gewählten Region	Sie betreiben es selbst; In-VPC im Enterprise-Tarif
Self-Hosting	Optionale Enterprise-Data-Plane (Sluis Edge), pauschale Jahreslizenz pro Gateway	Ja, Kernanwendungsfall	Open-Source-Gateway; erweiterter Funktionsumfang im verwalteten Produkt	Ja	Nein	Nein	Nein, läuft aber in Ihrem Azure-Abonnement	Ja
Lizenz	Proprietär	MIT, außer dem Verzeichnis `enterprise/`	MIT-Gateway; kommerzielle Plattform	Kong Gateway Apache 2.0; mehrere KI-Plugins nur im Enterprise-Tarif	Proprietärer Dienst	Proprietärer Dienst	Microsoft-Dienst	Apache 2.0
Umgang mit PII	Erkennung und umkehrbare Pseudonymisierung vor dem Versand (60 Detektoren, optionale KI-Namenserkennung)	Presidio-Maskierung in der Open-Source-Version; Sie betreiben die Container selbst	PII-Schwärzung bei ausgewählten Guardrails, tarifabhängig	AI PII Sanitizer (Enterprise), separater PII-Dienst	DLP in allen Tarifen kostenlos, zwei vordefinierte Profile ohne Zero Trust	Guardrail Sensitive Info: schwärzt oder blockiert Treffer (Regex, dazu Presidio-Namen und -Orte in Beta), nur Eingabe	Moderation über Content Safety; keine dedizierte PII-Richtlinie gefunden	Enterprise-Guardrails: Regex, Presidio und Dienste von Cloud-Anbietern
Durchsetzung der Residenz	Organisationsrichtlinie beim Versand; standardmäßig nur EU, alles andere wird mit 403 abgelehnt	In der gelesenen Dokumentation keine integrierte Rechtsraum-Richtlinie	Regional festgelegtes SaaS und VPC-Hybrid im Enterprise-Tarif; keine Richtlinie pro Anfrage beschrieben	Sie wählen, wo Data Plane und Backends laufen	Keine Steuerung der Anbieterregion gefunden; als inkompatibel mit Regional Services aufgeführt	Routing innerhalb der EU oder der USA in den Tarifen Business und Enterprise; schlägt geschlossen fehl	Sie wählen die Region von Gateway und Backends	In-VPC-Bereitstellung im Enterprise-Tarif
Audit	Hash-verkettetes Protokoll, offline überprüfbar	Anfrageprotokollierung; Audit-Logs mit Aufbewahrung nur im Enterprise-Tarif	Anfrageprotokolle je nach Tarif; Admin-Audit-Logs im Enterprise-Tarif	Audit-Log dokumentiert	Logs standardmäßig aktiv; Audit-Logs umfassen Konfigurationsänderungen	Aktivitätsprotokolle und Export	Prompts und Completions in Azure Monitor	Unveränderliche Audit-Trails im Enterprise-Tarif
Preismodell	Listenpreis plus 10 %, BYOK 0,50 € pro 1 Mio. Tokens, keine Lizenzgebühr pro Nutzer, Prepaid ab 25 €	Kostenlos im Betrieb; Enterprise auf Anfrage	Kostenlos, 49 USD pro Monat, Enterprise auf Anfrage	Konnect Plus ab 25 USD pro Monat plus Nutzung; Enterprise auf Anfrage	Kernfunktionen kostenlos; Unified Billing erhebt 5 % auf Guthaben	5,5 % (Standard) oder 8 % (Business) auf Guthabenkäufe	Azure-Preise je nach Tarif	Kostenlos als Open Source; Enterprise auf Anfrage

Verstehen Sie die Tabelle als Ausgangspunkt. Zellen mit „nicht gefunden“ spiegeln die Übersichtsseiten eines Anbieters wider und belegen nicht, dass die Fähigkeit fehlt. Fragen Sie jeden Anbieter direkt.

Sluis

Sluis ist ein verwaltetes Gateway und ein Arbeitsbereich für Mitarbeitende hinter einem gemeinsamen Zugang. Es spricht die Protokolle OpenAI und Anthropic Messages, sodass sich bestehende SDKs und Coding-Agenten durch Ändern einer Basis-URL verbinden. Jede Anfrage wird geprüft, per Richtlinie geroutet, in einem hash-verketteten Audit-Eintrag versiegelt und in echtem Geld abgerechnet. Siehe die Produktseite zum Gateway.

Residenz beim Versand durchgesetzt. Standardmäßig ist nur der Rechtsraum der EU erlaubt. Eine Anfrage an einen Anbieter außerhalb der erlaubten Menge, etwa OpenAI, liefert 403, bevor etwas gesendet wird, bis ein Owner diesen Rechtsraum mit einer protokollierten Bestätigung der Übermittlungsbedingungen freigibt. Die EU-Eigentümerschaft des Anbieters ist eine eigene Einschränkung, denn eine Serving-Region in der EU bedeutet nicht, dass der Anbieter in EU-Besitz ist.
Personenbezogene Daten vor dem Versand. Erkennung und umkehrbare Pseudonymisierung laufen, bevor die Anfrage das Haus verlässt. Die Erkennung ist nicht perfekt, und die Nutzung von Sluis begründet für sich genommen keine Konformität mit der DSGVO oder HIPAA.
Nachweis. Die Audit-Kette verwendet sha256(prev_hash + record), sodass ein geändertes Feld jedes spätere Glied bricht, und die Verifizierung läuft offline mit der Gateway-CLI. Sluis ist nach ISO 27001 zertifiziert.
Preis. Listenpreis des Anbieters plus 10 %, oder 0,50 € pro Million Eingabe- plus Ausgabe-Tokens für Bring-your-own-key und eigene Anbieter, zuzüglich abgerechneter Prüfungen wie der Namenserkennung zu 0,005 € oder 0,01 € pro Anfrage. Kein Plattform-Abonnement; es fallen Zuschläge je nach Zahlungsmethode an.

Zum Durchsatz: Unser interner Benchmark zeigt in einem kontrollierten Lauf etwa 1 ms zusätzliche Latenz durch das Gate im Median, bei etwa 9 % weniger Anfragen pro Sekunde unter synthetischer Sättigung. Es handelt sich um ein Testsystem auf einem Entwicklerrechner, nicht um einen reproduzierten Benchmark, und wir stützen darauf keine Rangfolge. Siehe die Leistungsseite.

Ehrliche Grenzen: Sluis ist ein verwaltetes Produkt eines jungen Unternehmens, und das Repository ist proprietär. Innerhalb eines Anbieters verteilt es Aufrufe gewichtet auf mehrere Schlüssel, mit Wiederholungsversuchen und Circuit Breaking, bietet aber keine gewichtete oder latenzbasierte Lastverteilung über Modelle oder Deployments hinweg. Es gibt kein SAML-Single-Sign-on und keine SCIM-Bereitstellung. Die Route Agent Harness für lokale Coding-Agenten ist eine Ausnahme bei der Residenz: Das Abonnement beim Anbieter bestimmt die Serving-Region, und Sluis verzeichnet sie als nicht verifiziert.

LiteLLM

LiteLLM ist ein Open-Source-Gateway: eine einheitliche Schnittstelle im OpenAI-Format zu über 100 Anbietern, als Python-SDK oder Proxy, mit virtuellen Schlüsseln, Ausgabenverfolgung, Budgets, Fallbacks und Protokollierung. Es steht unter der MIT-Lizenz, abgesehen vom Verzeichnis enterprise/. Eigene Guardrails und die Presidio-PII-Maskierung sind in der Open-Source-Version enthalten. SSO ist für bis zu fünf Nutzer kostenlos; darüber hinaus sowie für Audit-Logs mit Aufbewahrungsrichtlinien, SCIM, Schlüsselrotation und mehrere integrierte Guardrails ist eine Enterprise-Lizenz erforderlich, die auf Anfrage bepreist wird. Sie betreiben es auf Ihrer eigenen Infrastruktur, der Rechtsraum ist also das, was Sie daraus machen.

Wählen Sie es, wenn Sie Platform Engineers haben und das Deployment selbst verantworten wollen. Residenz und Audit-Nachweise setzen Sie selbst zusammen. Siehe den Vergleich Sluis und LiteLLM.

Portkey

Portkey versteht sich als Kontrollzentrum für produktive KI: Gateway, Observability, Guardrails, Prompt-Verwaltung und ein MCP-Gateway. Am 29. Mai 2026 hat Palo Alto Networks die Übernahme von Portkey abgeschlossen, und die Preisseite präsentiert das Produkt nun als Prisma AIRS AI Gateway. Diese Seite zeigt eine kostenlose Developer-Stufe, einen Production-Tarif für 49 USD pro Monat, der laut Seite nicht für Organisationen empfohlen wird, die individuelle Sicherheitskontrollen oder Garantien zur Datenresidenz benötigen, und einen Enterprise-Tarif mit Private-Cloud- und VPC-Hosting, SSO, konfigurierbarer Aufbewahrung und Compliance-Dokumentation. Das MIT-lizenzierte Gateway wird zusätzlich für Self-Hosting angeboten.

Wählen Sie es, wenn Observability und Prompt-Verwaltung im Mittelpunkt stehen und Sie einen Enterprise-Tarif verhandeln werden, oder wenn Sie bereits bei Palo Alto Networks einkaufen. Siehe den Vergleich Sluis und Portkey.

Kong AI Gateway

Kong erweitert sein API-Gateway unter Apache 2.0 um LLM-, MCP- und Agent-zu-Agent-Verkehr. Die Dokumentation nennt Anbieter-Routing und Lastverteilung, semantisches Caching, Prompt Guards, einen AI PII Sanitizer, der PII vor dem vorgelagerten Anbieter schwärzt, sowie Integrationen mit den Guardrail-Diensten von AWS, Azure und Google. Mehrere dieser KI-Plugins, darunter der Sanitizer, sind nur im Enterprise-Tarif verfügbar. Es läuft über Konnect mit lokaler Data Plane oder On-Premises auf selbst betriebenem Kong Gateway und dokumentiert die Unterstützung von FIPS 140-3.

Wählen Sie es, wenn Kong bereits Ihre APIs vorschaltet und dasselbe Team auch den KI-Verkehr steuern soll. Das Richtliniendesign bauen Sie selbst aus Plugins. Siehe den Vergleich Sluis und Kong AI Gateway.

Cloudflare AI Gateway

Cloudflare AI Gateway bietet vor KI-Anbietern Analysen, Protokollierung, Caching, Ratenbegrenzung, Wiederholungsversuche und Modell-Fallback, „in allen Tarifen verfügbar“. Die Kernfunktionen sind kostenlos. DLP-Scans sind in allen Tarifen kostenlos mit zwei vordefinierten Profilen, umfangreichere Profile gibt es mit einem Zero-Trust-Abonnement. Guardrails nutzen Llama Guard auf Workers AI und werden als Inferenz abgerechnet. Unified Billing erhebt 5 % auf Guthaben, und für ab dem 24. September 2026 angelegte Gateways richten sich die Logs nach der Preisgestaltung von Workers Logs.

Wählen Sie es, wenn Sie bereits Cloudflare nutzen, schnelle Einrichtung und niedrige Kosten wollen und Sichtbarkeit sowie grundlegende Kontrollen statt durchgesetzten Rechtsraums brauchen. In den gelesenen Seiten haben wir keine Steuerung der Anbieterregion gefunden; bestätigen Sie sie, falls das eine Anforderung ist. Siehe den Vergleich Sluis und Cloudflare AI Gateway.

OpenRouter

OpenRouter ist ein gehosteter Router über mehr als 500 Modelle von über 80 Anbietern mit einer API und einem Guthaben. Bei der Modellauswahl ist es hier die breiteste Option. Die Dokumentation beschreibt Zero-Data-Retention-Routing und EU-In-Region-Routing: Anfragen an eu.openrouter.ai werden nur an EU-Endpunkte geroutet und schlagen mit einem Fehler fehl, statt auf Ziele außerhalb der Region auszuweichen. In-Region-Routing erfordert den Business-Tarif oder höher, und Websuche, einige Server-Tools und die Batch API sind auf regionalen Domains nicht verfügbar.

Bei personenbezogenen Daten schwärzt oder blockiert die Guardrail Sensitive Info Treffer in Anfragen, mit Regex-Vorlagen sowie auf Presidio basierenden Namen und Orten, die die Dokumentation als Beta kennzeichnet. Sie prüft nur die Eingabe und stellt die Originalwerte in der Antwort nicht wieder her. Die Gebühren betragen 5,5 % (Standard) oder 8 % (Business) auf Guthabenkäufe, die Listenpreise der Anbieter werden durchgereicht. SSO (SAML) und SCIM gibt es nur im Enterprise-Tarif.

Wählen Sie es, wenn Sie maximale Modellauswahl und glaubwürdiges EU-Routing wollen und eingabeseitige Schwärzung Ihren Anforderungen an personenbezogene Daten genügt. Siehe den Vergleich Sluis und OpenRouter.

Azure API Management

Azure API Management bietet in allen Tarifen KI-Gateway-Funktionen: Token-Limits und Kontingente, semantisches Caching, Authentifizierung per Managed Identity, Content-Safety-Prüfungen über Azure AI Content Safety, Lastverteilung und Circuit Breaker, Bereitstellung von MCP-Servern sowie Protokollierung von Prompts und Completions in Azure Monitor. Es kann Microsoft Foundry, Amazon Bedrock und selbst gehostete Modelle vorschalten. Die Region folgt Ihrem Deployment, und Microsoft empfiehlt, KI-Backends in denselben Regionen wie das Gateway bereitzustellen.

Wählen Sie es, wenn Ihre Landschaft auf Azure läuft und Sie KI-Governance innerhalb bestehender Identitäts-, Netzwerk- und Monitoring-Strukturen wollen. Siehe den Vergleich Sluis und Azure API Management.

Bifrost

Bifrost ist ein in Go geschriebenes Gateway unter Apache 2.0, mit über 20 Anbietern hinter einer OpenAI-kompatiblen API, Fallbacks, Lastverteilung, virtuellen Schlüsseln, Budgets, semantischem Caching, einem MCP-Gateway und Prometheus-Metriken. Enterprise-Deployments ergänzen Guardrails über Dienste von AWS, Azure, Google und Patronus, Clustering, adaptive Lastverteilung, Anbindung von Identitätsanbietern, In-VPC-Bereitstellung und unveränderliche Audit-Trails. Das Projekt gibt in eigenen Benchmarks einen sehr niedrigen Overhead pro Anfrage an.

Wählen Sie es, wenn Sie ein schnelles, selbst gehostetes Open-Source-Gateway zum Einbetten wollen. Funktionen für Nachweis und Residenz stecken im Enterprise-Tarif. Für Bifrost gibt es auf dieser Website keine eigene Vergleichsseite.

So wählen Sie

Durchgesetztes Routing nur in der EU, Umgang mit personenbezogenen Daten und überprüfbares Audit, für Sie verwaltet, mit Mitarbeitenden und Agenten unter einer Richtlinie: Sluis.
Deployment in eigener Hand, Open Source, technikgetrieben: LiteLLM oder Bifrost.
Bestehende Kong- oder Azure-Landschaft: Kong AI Gateway oder Azure API Management.
Schnelle, günstige Sichtbarkeit, wenn Sie bereits Cloudflare nutzen: Cloudflare AI Gateway.
Größter Modellkatalog mit dokumentiertem EU-In-Region-Routing: OpenRouter.
Observability und Prompt-Verwaltung zuerst: Portkey.

Drei Fragen trennen das Feld: Kann das Gateway eine Anfrage aus Gründen des Rechtsraums ablehnen, bevor sie gesendet wird? Was geschieht mit personenbezogenen Daten im Prompt? Und können Sie einer Prüferin oder einem Prüfer Nachweise vorlegen, die nachträglich nicht mehr änderbar waren?

Wann die anderen Produkte die bessere Wahl sind

Sluis ist nicht die bessere Wahl, wenn Sie alles ohne verwaltete Komponente auf eigener Hardware betreiben müssen (nutzen Sie LiteLLM, Bifrost oder Kong, oder Sluis Edge mit einer Enterprise-Lizenz), wenn Sie über 500 Modelle hinter einem Schlüssel brauchen (OpenRouter), wenn Ihr Gateway in einer bestehenden Azure- oder Kong-Landschaft leben muss oder wenn Sie die niedrigsten Einrichtungskosten für reine Sichtbarkeit wollen (Cloudflare). Sluis bietet außerdem kein SAML-Single-Sign-on und keine SCIM-Bereitstellung, die mehrere der oben genannten Enterprise-Tarife aufführen.

FAQ

Welches ist das beste KI-Gateway für Datenresidenz in der EU?

Das hängt davon ab, was durchgesetzt werden soll. Sluis setzt beim Versand einen Standard nur für die EU durch und lehnt andere Rechtsräume mit 403 ab. OpenRouter bietet EU-In-Region-Routing in den Tarifen Business und Enterprise, das geschlossen fehlschlägt. Selbst gehostete Gateways wie LiteLLM, Kong und Bifrost lassen Sie alles selbst in der EU platzieren, aber die Richtlinie entwerfen Sie.

Genügt ein Open-Source-AI-Gateway für die DSGVO?

Ein Open-Source-Gateway kann Teil eines konformen Aufbaus sein, doch kein Gateway macht eine Organisation für sich allein konform. Sie brauchen weiterhin eine Rechtsgrundlage, einen Auftragsverarbeitungsvertrag mit jedem Anbieter, Entscheidungen zur Aufbewahrung und eine rechtliche Bewertung.

Maskiert LiteLLM personenbezogene Daten?

Laut Dokumentation ist die Presidio-PII-Maskierung im Open-Source-Guardrail-Framework enthalten, während auf Schlüssel und Teams bezogene Guardrails und mehrere integrierte Moderations-Callbacks eine Enterprise-Lizenz erfordern. Die Qualität der Maskierung hängt von den konfigurierten Detektoren ab und ist keine Garantie.

Kann ein Gateway belegen, welche Richtlinie angewendet wurde?

Manche können es protokollieren. Azure API Management sendet Prompts und Completions an Azure Monitor, und LiteLLM, Bifrost und OpenRouter führen Logs. Sluis versiegelt zusätzlich jede Anfrage und jede Prüfung in einer Hash-Kette, die offline verifiziert werden kann. Manipulationsnachweis ist eine engere Eigenschaft als Protokollierung, prüfen Sie also, was ein Anbieter jeweils meint.

Erhöht ein Gateway die Latenz?

Jeder Hop kostet etwas. Anbieter veröffentlichen unterschiedliche Zahlen unter unterschiedlichen Bedingungen, und keine sind direkt vergleichbar. Die eigene Messung von Sluis zeigt im Median etwa 1 ms unter kontrollierter Last, aus einem internen Testsystem, das wir nicht als unabhängig darstellen. Messen Sie mit Ihrem eigenen Verkehr.

Welches Gateway ist am günstigsten?

Selbst gehostetes Open Source (LiteLLM, Bifrost) und die Kernfunktionen von Cloudflare haben keine Plattformgebühr, kosten aber Betriebszeit oder bieten keine Enterprise-Kontrollen. OpenRouter berechnet 5,5 % oder 8 % auf Guthabenkäufe, Sluis schlägt 10 % auf die verwaltete Modellnutzung auf, ohne Lizenzgebühr pro Nutzer, und Portkey, Kong sowie die Enterprise-Tarife werden nach Tarif oder auf Anfrage bepreist. Die niedrigste Gebühr ist selten das günstigste Ergebnis, sobald der Aufwand für Audit und Residenz mitgerechnet wird.