Oordeel: Voor Europese organisaties is Sluis de betere keuze, want persoonsgegevens worden gepseudonimiseerd en elk verzoek wordt alleen binnen de EU gerouteerd voordat het vertrekt, één console toont workloads, budgetten en audit per verzoek gegroepeerd, je wijzigt een base_url in plaats van een proxy, een database en een PII-dienst te draaien, en in onze interne benchmark presteerde de Rust-gateway beter dan LiteLLM, zelfs met de beveiligingspoort aan.
De korte versie
Beide zetten één OpenAI-compatibel endpoint voor veel modelproviders, met virtuele sleutels, budgetten en logging. Het verschil zit in waar het werk terechtkomt. Voor de andere gateways op de shortlist, zie AI-gateways voor Europese organisaties vergeleken.
Sluis levert de compliancelaag als product: elk verzoek wordt geïnspecteerd, gerouteerd volgens een EU-eerst-residentiebeleid, verzegeld in een hashgekoppeld auditlogboek en gemeten, in een beheerde dienst die in de EU wordt gehost of op je eigen servers draait met Sluis Edge. Sluis spreekt de OpenAI- en Anthropic-API's, dus overstappen betekent de base_url wijzigen.
LiteLLM geeft je een brede toolkit onder de MIT-licentie en laat het operationele model aan jou over: je hostet het zelf, draait de database, richt PII-detectie in en bepaalt hoe regio's worden vastgezet. Sluis is geen open source: de code valt onder alle rechten voorbehouden en de zelfgehoste Edge-appliance vereist een enterprise-licentie.
In één oogopslag
| Sluis | LiteLLM | |
|---|---|---|
| Licentie | Propriëtair, alle rechten voorbehouden | MIT, behalve de map enterprise/ onder een commerciële licentie |
| Uitrol | Beheerde dienst gehost in de EU, of zelfgehoste Edge (enterprise-licentie) | Zelfgehost (Docker-image of pip-pakket) |
| API-oppervlak | OpenAI-compatibel en native Anthropic Messages, plus een MCP-gateway | OpenAI-formaat, plus /responses, /embeddings, /messages, /batches en meer |
| Providers | Een vaste catalogus (EU-, VS- en Chinese providers) plus eigen OpenAI-compatibele endpoints | 100+ providers volgens de repository |
| PII-afhandeling | Ingebouwd: 60 detectoren, optionele naamherkenning, blokkeren, maskeren, loggen of omkeerbare pseudonimisering | Presidio-guardrail (je zet de Presidio-containers zelf neer): maskeren of blokkeren, optioneel herstellen |
| Residentie | Beleid per verzoek, standaard alleen EU, optioneel alleen EU-eigendom | Configuratie die je zelf opbouwt met deployments en routing |
| Budgetten | Per workload: uitgaven, verzoeken en tokens per minuut, toegestane modellen | Per sleutel, gebruiker, team en teamlid; vereist Postgres |
| Audit | Manipulatiebestendige hashketen, offline te verifiëren | Requestlogging in OSS; auditlogs met bewaartermijn zijn een enterprise-functie |
| Prijs | Lijstprijs van de provider plus 10%, of €0,50 per 1M tokens met eigen sleutels | Gratis om te draaien; enterprise-licentie op offerte |
| Beste keuze voor Europese organisaties | Sluis | Teams die zelf hosten en hun eigen residentie- en PII-controles bouwen |
Licentie en hosting
Sluis geeft je een beheerde dienst die in de EU wordt gehost, zonder iets te installeren of te patchen. Als je het zelf moet draaien, is Edge de complete appliance op je eigen Kubernetes of Docker: prompts passeren niet via de cloud van Sluis, hoewel de uitgaande verbinding naar modelproviders nog steeds jouw configuratie volgt. Edge is alleen voor enterprise, met een vaste jaarlicentie per installatie.
De repository van LiteLLM valt onder de MIT-licentie, op de map enterprise/ na. De enterprise-licentie voegt SSO voor meer dan vijf gebruikers toe, SCIM, auditlogs met bewaartermijn, guardrails op sleutel- en teamniveau en een supportkanaal; 24/7-supportafspraken kosten extra. De gedocumenteerde manier om het te draaien is op je eigen infrastructuur, en de leverancier stelt dat een zelfgehoste instantie geen telemetrie of gegevens naar zijn servers stuurt.
Gegevensbescherming en guardrails
De Inspect-stap van Sluis maakt deel uit van de gateway, dus er hoeft niets extra te worden uitgerold. Die draait 60 ingebouwde detectoren (e-mail, IBAN, creditcard, API-sleutels en een pakket nationale identiteitsnummers dat in twaalf EU-landen de controlecijfers valideert), plus opt-in naamherkenning met twee modelniveaus. Het beleid bepaalt of een waarde wordt geblokkeerd, gemaskeerd, gelogd of vervangen door een stabiel token zoals «EMAIL_1» dat in het antwoord wordt hersteld. Scannen op prompt-injectie en een scopebewaker per workload zijn optioneel. Detectie is geen garantie dat elke gevoelige waarde wordt gevonden, en het gebruik van Sluis maakt je op zichzelf niet AVG-conform. Zie gegevensbescherming.
De PII-maskering van LiteLLM gebruikt Microsoft Presidio. Je zet de analyzer- en anonymizer-containers neer, kiest entiteitstypen en stelt elk in op MASK of BLOCK. Een restore-vlag zet de oorspronkelijke waarden terug in het antwoord. Verschillende ingebouwde moderatie-integraties, zoals het verbergen van geheimen en leveranciers van prompt-injectiedetectie, vereisen een enterprise-licentie.
Routing en residentie
Sluis routeert op beleid, afgedwongen bij elk verzoek. De standaard is alleen EU, rechtsgebieden zoals de VS of China voeg je expliciet toe, en een beperking tot alleen EU-eigendom is een aparte schakelaar, omdat een EU-regio niet betekent dat de provider in EU-handen is. Antwoorden vermelden de gekozen route en het gekozen model. Beheerde aliassen zoals sluis/auto worden binnen jouw beleid opgelost. Binnen één provider verdeelt Sluis verzoeken gewogen over meerdere sleutels, met retries en circuit breaking; gewogen of latentiegebaseerde verdeling over modellen en deployments is op aanvraag beschikbaar voor enterprise-contracten. Zie residentie en modellen.
De router van LiteLLM is sterker in verkeerstechniek: gewogen en latentiegebaseerde strategieën, kostengebaseerde routing, retries, cooldowns en fallbacks over deployments heen. Om verkeer in de EU te houden kies je EU-deployments en onderhoud je die configuratie zelf.
Budgetten, limieten en toegang
In Sluis doet één consoleobject het werk. Een workload beheert verzoeken per minuut, tokens per minuut, een lijst met toegestane modellen en een totaal-, dag- of maandbudget dat door de sleutels wordt gedeeld, en boven alle workloads staat een plafond voor de organisatie. Voorbij de ratelimiet geeft een verzoek 429, voorbij het budget 402, en het verzoek bereikt nooit een provider. Als de tellers onbereikbaar zijn, faalt de controle gesloten. MCP-tools passeren dezelfde poort: toegangsrechten gelden per sleutel en zijn standaard geweigerd, en elke aanroep wordt geïnspecteerd, gerouteerd, verzegeld en gemeten. Zie budgetten en limieten.
Beide handhaven uitgaven vóór het verzoek. De budgetten van LiteLLM hangen aan sleutels, gebruikers, teams en teamleden en vereisen een database: zonder database worden budgetcontroles overgeslagen.
Audit en logging
Sluis schrijft elk verzoek naar een hashgekoppeld grootboek dat je offline kunt verifiëren met audit verify-chain, met optioneel versleutelde request- en responsebodies onder een bewaartermijn. Het auditlogboek toont één rij per verzoek, en hetzelfde grootboek is het factuurrecord, zodat audit en factuur overeenkomen.
LiteLLM logt verzoeken en antwoorden en exporteert naar observability-tools. De auditlogs, die beheeracties en sleutelwijzigingen vastleggen, staan vermeld als enterprise-functie.
Prestaties
Sluis is geschreven in Rust voor voorspelbare latentie en geheugenveiligheid. In onze interne benchmark, op identieke hardware met één gedeelde mock-upstream bij 256 verbindingen, verwerkte de Sluis-gateway 3.678 verzoeken per seconde met de volledige beveiligingspoort aan, tegen 298 voor LiteLLM (en 3.148 voor Bifrost). De poort voegt ongeveer 1 ms toe bij de mediaan. Met de poort uit haalde Sluis 4.046 verzoeken per seconde. Deze cijfers zijn relatief, gemeten op ontwikkelaarshardware en intern gemeten. Het eigen cijfer van LiteLLM, 8 ms P95 bij 1.000 RPS, komt uit een andere testopstelling en is niet direct vergelijkbaar. Details staan op de prestatiepagina.
Prijzen
Sluis heeft geen platformabonnement of kosten per gebruiker en geen gratis laag. Self-service is vooruitbetaald, vanaf een tegoedaankoop van €25, met toeslagen per betaalmethode. Gebruik van beheerde modellen kost de lijstprijs van de provider plus 10%. Met eigen sleutels is de Sluis-vergoeding €0,50 per 1M input- en outputtokens, met kosten van de provider apart gefactureerd. Zie prijzen.
LiteLLM is gratis om te draaien, dus je kosten zijn infrastructuur, een Postgres-database en engineeringtijd; de enterprise-licentie wordt op offerte geprijsd.
Wie toch voor LiteLLM kiest
- Je hebt open source nodig die je kunt lezen, forken en auditen.
- Je wilt één Python-SDK en een proxy met de breedste dekking van providers en modellen, inclusief modellen op dag nul.
- Je hebt fijnmazige verkeerstechniek nodig: latentie- of kostengebaseerde routing, gewogen pools en eigen fallbacks.
- Je team draait al Postgres en Kubernetes en wil de hele stack in eigen beheer.
Ons oordeel
Sluis wint voor Europese organisaties op de vier dingen waar een gateway voor dient. Gegevensbeveiliging: alleen-EU-routing afgedwongen per verzoek, omkeerbare pseudonimisering en een auditketen die je offline verifieert, met ISO 27001-certificering. Duidelijkheid: één console met workloads, budgetten en toegestane modellen, één auditrij per verzoek, één gebruiksgebaseerde factuur. Gebruiksgemak: wijs een OpenAI- of Anthropic-client naar een nieuwe base_url, met een beheerde, in de EU gehoste dienst en niets om te beheren, of Sluis Edge wanneer je zelf moet hosten. Prestaties: een Rust-gateway die in onze interne benchmark beter presteerde dan LiteLLM, met de beveiligingspoort aan. Dezelfde gateway drijft ook Sluis Workspace voor medewerkers, zodat mensen en applicaties één beleid delen. Zie prijzen.
Veelgestelde vragen
Kan ik van LiteLLM naar Sluis overstappen door de base-URL te wijzigen?
Voor de meeste OpenAI-compatibele clients wel. Wijs de client naar Sluis en gebruik een nieuwe sleutel. Model-ids op het OpenAI-oppervlak hebben een providerprefix, zoals mistral/mistral-large-latest, en kale id's geven 400. Controleer of jouw providers in de Sluis-catalogus zitten; andere zijn op aanvraag beschikbaar voor enterprise-contracten.
Kan LiteLLM data in de EU houden?
Ja, als je het in de EU uitrolt, naar EU-modeldeployments routeert en de configuratie correct houdt. In de documentatie vonden we geen beleidsinstelling voor jurisdictie of eigendom van de provider, dus die discipline ligt bij jou.
Is Sluis open source?
Nee. De broncode is propriëtair en alle rechten zijn voorbehouden. Je kunt het gedrag beoordelen via de gepubliceerde API-documentatie, de auditketen en de console, maar niet de code.
Voegt de Sluis-poort latentie toe?
In onze interne benchmark ongeveer 1 ms bij de mediaan met de volledige beveiligingspoort aan, en de Rust-gateway verwerkte nog steeds 3.678 verzoeken per seconde tegen 298 voor LiteLLM. Dit zijn relatieve cijfers, gemeten op ontwikkelaarshardware en intern gemeten. Tegenover een live model valt de poort binnen de variatie van de provider, dus meet je eigen workload.
Kan ik beide draaien?
Mogelijk. Sluis accepteert eigen OpenAI-compatibele providers en de LiteLLM-proxy biedt een OpenAI-compatibele API. Test de combinatie; de vergoeding voor eigen providers van €0,50 per 1M tokens is van toepassing.