Zum Inhalt springen
Leitfäden

Einen KI-Inferenzanbieter in der EU auswählen: eine Bewertungsmatrix

Für den Betrieb von KI-Modellen gibt es inzwischen eine echte Auswahl europäischer Anbieter, von der eigenen Plattform von Mistral bis zu Modelldiensten…

Zuletzt geprüft
23. September 2026
Lesezeit
6 Min.

Ein Sluis-Leitfaden für Plattform-, Beschaffungs- und Sicherheitsteams. Zuletzt geprüft am 23. September 2026.

Für den Betrieb von KI-Modellen gibt es inzwischen eine echte Auswahl europäischer Anbieter, von der eigenen Plattform von Mistral bis zu Modelldiensten europäischer Cloud-Anbieter. Sie unterscheiden sich weit stärker, als ihr Marketing vermuten lässt. Dieser Leitfaden gibt Ihnen sieben Kriterien für die Bewertung, die jeweils anzufordernden Nachweise, einen Überblick über aktuelle Marktereignisse und einen Testplan für zwei Wochen.

Kurz gefasst

  • Bewerten Sie Anbieter nach sieben getrennten Kriterien. Addieren Sie sie nicht zu einer einzigen Zahl: Ein Anbieter, der bei der Kontrolle stark und bei den Fähigkeiten schwach ist, passt zu einer anderen Nutzung als umgekehrt.
  • Verlangen Sie Nachweise, keine Behauptungen. Eine Zertifizierung zählt, wenn Sie das Zertifikat und seinen Geltungsbereich gesehen haben. Eine Region zählt, wenn das Failover im Vertrag steht.
  • Fehlende Informationen sind ein Ergebnis. Bewerten Sie „keinen Nachweis erbracht" mit null und halten Sie es fest. Wie viel ein Anbieter öffentlich dokumentiert, sagt viel darüber aus, wie er sich als Lieferant verhalten wird.
  • Der Markt hat sich 2026 bewegt. Aleph Alpha wurde Berichten zufolge an das kanadische Unternehmen Cohere verkauft, AWS hat eine eigenständig betriebene europäische Cloud gestartet, und Frankreich hat SecNumCloud für einen großen Teil seines öffentlichen Sektors verbindlich gemacht. Prüfen Sie Eigentümerschaft und Zertifizierung bei jeder Vertragsverlängerung.
  • Testen Sie mit Ihren eigenen Prompts, bevor Sie unterschreiben. Latenz aus Ihrer Region, Zuverlässigkeit beim Tool-Calling und Fehlerraten unterscheiden sich zwischen Anbietern stärker, als Modell-Benchmarks vermuten lassen.

Die sieben Kriterien

Bewerten Sie jedes von 0 bis 4. Die Beschreibungen unten definieren 0, 2 und 4; nutzen Sie 1 und 3 für Positionen dazwischen.

1. Rechtsordnung und Kontrolle

Wer den Vertrag unterzeichnet, wem der Anbieter gehört und welche Regierungen ihn verpflichten können.

  • 0 Vertragspartner außerhalb der EU, und keine EU-Einheit verfügbar.
  • 2 Vertragspartner in der EU mit einer Muttergesellschaft außerhalb der EU.
  • 4 In der EU gegründet und unter EU-Kontrolle, ohne Kontroll- oder Vetorechte von außerhalb der EU, bestätigt durch öffentliche Eigentümerregister oder eine Qualifikation, die das prüft, etwa SecNumCloud.

Verlangen Sie: den Vertragspartner und seine Registernummer, die Eigentümerkette und die Richtlinie des Anbieters zu behördlichen Anfragen.

2. Datenverarbeitung

Was der Anbieter mit Ihren Prompts und Ausgaben tut.

  • 0 Inhalte werden standardmäßig für das Training verwendet, ohne vertragliche Widerspruchsmöglichkeit.
  • 2 Kein Training mit Ihren Inhalten; Speicherdauer angegeben; Unterauftragsverarbeiter aufgeführt.
  • 4 Kein Training; Null-Speicherung verfügbar, ohne individuelle Unternehmensvereinbarung; vollständige Liste der Unterauftragsverarbeiter mit Vorankündigung von Änderungen; ein Auftragsverarbeitungsvertrag, den Sie ohne Verhandlung unterzeichnen können.

Verlangen Sie: den Auftragsverarbeitungsvertrag, die Liste der Unterauftragsverarbeiter und die Speicherdauer für Eingaben, Ausgaben, Protokolle und Kopien zur Missbrauchserkennung.

3. Absicherung

Unabhängige Prüfungen des Dienstes, den Sie nutzen werden.

  • 0 Keine einschlägige Zertifizierung.
  • 2 ISO 27001, wobei der KI-Dienst im Geltungsbereich liegt.
  • 4 ISO 27001 plus ein nationales oder EU-Schema, das den KI-Dienst abdeckt, etwa BSI C5 oder SecNumCloud, und eine Zertifizierung des KI-Managementsystems wie ISO 42001.

Verlangen Sie: die Zertifikate und ihre Geltungsbereichserklärungen. Ein Zertifikat für die Unternehmens-IT des Anbieters deckt den KI-Dienst nicht ab.

4. Fähigkeiten

Was der Dienst tatsächlich leisten kann.

Prüfen Sie die aktuelle Modellliste statt der Ankündigungen zum Start: Modellnamen und Versionen, Kontextlänge, offene Gewichte oder proprietär, und die Unterstützung für Tool-Calling, strukturierte Ausgabe, Streaming, Embeddings, Bildverarbeitung, Stapelverarbeitung und Feinjustierung. Bewerten Sie nach dem, was Ihre Anwendungsfälle brauchen, nicht nach der längsten Liste.

5. Betrieb

Ob Sie darauf einen Produktivbetrieb aufbauen können.

  • 0 Kein SLA und keine öffentliche Statusseite.
  • 2 Ein veröffentlichtes SLA und eine Statusseite.
  • 4 Ein SLA mit Service-Gutschriften, eine Statusseite mit Störungshistorie, dokumentierte Ratenbegrenzungen, reservierbare Kapazität und ein Failover, das in der EU bleibt.

Verlangen Sie: das SLA, zwölf Monate Störungshistorie und die Ratenbegrenzungen für Ihre Stufe.

6. Beständigkeit

Ob der Anbieter in drei Jahren noch da ist und noch dasselbe Unternehmen ist.

Betrachten Sie Finanzierung, Umsatzangaben, soweit verfügbar, Eigentümerwechsel in den letzten zwei Jahren und Klauseln zum Kontrollwechsel im Vertrag. Bewerten Sie das Risiko, nicht die Größe: Ein kleiner, profitabler, stabiler Anbieter kann besser abschneiden als ein größerer, der mitten in einem Verkauf steckt.

7. Transparenz

Wie viel des Obigen öffentlich dokumentiert ist, ohne Vertriebsgespräch.

  • 0 Die meisten Antworten nur unter Geheimhaltungsvereinbarung oder gar nicht.
  • 2 Preise, Modelle und Auftragsverarbeitungsvertrag öffentlich; Zertifizierungen und Unterauftragsverarbeiter auf Anfrage.
  • 4 Preise, Modelle, Auftragsverarbeitungsvertrag, Unterauftragsverarbeiter, Zertifikate, SLA und Störungshistorie sind alle öffentlich.

Dieses Kriterium ist der beste uns bekannte Indikator dafür, wie sich ein Anbieter verhält, wenn etwas schiefgeht.

Gewichtung nach Nutzung

NutzungAm stärksten gewichtenAm schwächsten gewichten
Interner Chat-Assistent, keine sensiblen Daten4 Fähigkeiten, 5 Betrieb, 2 Datenverarbeitung1 Rechtsordnung
Funktion in einem kundenseitigen Produkt5 Betrieb, 4 Fähigkeiten, 6 Beständigkeit3 Absicherung
Verarbeitung personenbezogener Daten von Kunden oder Beschäftigten2 Datenverarbeitung, 1 Rechtsordnung, 3 Absicherung4 Fähigkeiten
Öffentlicher oder regulierter Sektor1 Rechtsordnung, 3 Absicherung, 2 Datenverarbeitungkeines

Der Markt 2026: Ereignisse, die Sie kennen sollten

Das sind Tatsachen, die Sie in Ihrer eigenen Prüfung verifizieren sollten, keine Bewertungen. Wo eine Tatsache aus einer Unternehmensmitteilung oder Presseberichten stammt, sagen wir das.

Anbieter oder InitiativeWas geschahQuelle
Mistral AIModellentwickler mit Sitz in Paris, der eine eigene Plattform betreibt. Berichten zufolge baut das Unternehmen eigene Rechenkapazität in Bruyères-le-Châtel auf, mit erster Phase ab Mitte 2026, und hat im Juli 2026 seine Partnerschaft mit Microsoft ausgebautPresseberichte
Aleph AlphaBerichtete Übernahme durch Cohere, ein kanadisches Unternehmen, im April 2026. Die Infrastruktur bleibt Berichten zufolge in DeutschlandPresseberichte
ScalewayCloud-Anbieter der französischen Iliad-Gruppe, der gehostete Modelle mit offenen Gewichten anbietet. Berichten zufolge im Oktober 2025 als Infrastrukturanbieter für den digitalen Euro der EZB ausgewähltPresseberichte
OVHcloud AI EndpointsModelldienst des französischen Cloud-Anbieters, beworben mit Null-Speicherung und einem Katalog von Modellen mit offenen GewichtenOVHcloud
IONOS AI Model HubModelldienst des deutschen Cloud-Anbieters, beworben mit BSI C5IONOS
AWS European Sovereign CloudEigene AWS-Partition in Brandenburg, seit dem 15. Januar 2026 allgemein verfügbar, betrieben von einer deutschen Tochtergesellschaft mit in der EU ansässigem PersonalAWS
EUROPA-KonsortiumIm Juni 2026 von der Europäischen Kommission ausgewählt, um ein quelloffenes Spitzenmodell für alle 24 Amtssprachen der EU zu bauenEuropäische Kommission

Ein Test über zwei Wochen

  1. Wählen Sie drei echte Aufgaben aus Ihrer geplanten Nutzung, mit je 20 bis 50 echten Prompts. Pseudonymisieren Sie diese zuerst.
  2. Führen Sie sie bei jedem Anbieter der engeren Auswahl aus, über dieselbe Schnittstelle, sodass der Anbieter die einzige Variable ist.
  3. Messen Sie Median und 95. Perzentil der Latenz aus Ihrer eigenen Region, Fehler- und Timeout-Raten und, bei Agenten, wie oft Tool-Aufrufe gültig zurückkommen.
  4. Beurteilen Sie die Qualität blind. Lassen Sie die Personen, die die Aufgabe erledigen, die Ausgaben bewerten, ohne zu wissen, welcher Anbieter sie erzeugt hat.
  5. Berechnen Sie die Kosten bei Ihrem erwarteten Monatsvolumen, einschließlich aller Gebühren für reservierte Kapazität oder Unternehmenstarife.
  6. Prüfen Sie den Ausfallpfad. Fragen Sie, was passiert, wenn die Region voll ist, und ob Datenverkehr die EU verlässt.

Checkliste

  • Engere Auswahl nach allen sieben Kriterien bewertet, mit abgelegtem Nachweis für jede Bewertung
  • „Kein Nachweis erbracht" als null erfasst, nicht leer gelassen
  • Gewichtung für die geplante Nutzung vor der Bewertung vereinbart
  • Eigentümerschaft und Geltungsbereich der Zertifizierung an der Quelle bestätigt
  • Zweiwöchiger Test mit echten, pseudonymisierten Prompts durchgeführt
  • Failover und Speicherung im unterzeichneten Vertrag bestätigt
  • Bewertungen bei Vertragsverlängerung und nach jedem Eigentümerwechsel überprüft

Quellen

Alle Leitfäden
Nächster LeitfadenDie KI-Verordnung für Organisationen, die KI einsetzen