Referencja API
Uwierzytelnianie, endpointy, streaming, reasoning i błędy na powierzchni OpenAI, natywne API Anthropic oraz macierz zgodności per endpoint.
Uwierzytelnianie
Każde żądanie do /v1/* uwierzytelnia się wirtualnym kluczem w nagłówku Authorization: Bearer. Klucze tworzysz w Workloadach w Konsoli.
- Sekret jest pokazywany raz, a przechowywany jest tylko jego hash.
- Klucz uwierzytelnia workload. Workload zarządza limitami żądań, budżetem, dozwolonymi modelami i wyjątkami od polityki. Polityka organizacji nadal obowiązuje.
- Klucz może mieć opcjonalną datę wygaśnięcia. Po niej jest odrzucany dokładnie tak jak nieznany klucz.
- Model, którego nie ma na niepustej liście dozwolonych modeli workloadu, zostaje odrzucony zapieczętowanym
403 permission_error, zanim cokolwiek zostanie wysłane. Sama odmowa trafia do łańcucha audytu. - Workload może ograniczyć swoje klucze do rodzin endpointów, na przykład chat i embeddings. Pozostałe rodziny dostają zapieczętowany
403 operation_not_allowed, zanim cokolwiek zostanie wysłane. - Utworzenie klucza produkcyjnego wymaga zweryfikowanego adresu e-mail.
- Jeden wyjątek: podpisane linki do pobrania zanonimizowanych dokumentów, ważne przez ograniczony czas, nie wymagają klucza.

curl https://api.sluis.ai/v1/models \ -H "Authorization: Bearer $SLUIS_KEY" # a model outside the workload's allow-list never dispatches: # → 403 permission_error, and the refusal is sealed in the audit chain
{
"object": "list",
"data": [
{
"id": "mistral/mistral-large-latest",
"object": "model",
"created": 1704067200,
"owned_by": "mistral",
"kind": "text",
"context_window": 128000,
"capabilities": { "tools": true, "vision": false, "reasoning": null },
"residency": { "jurisdiction": "EU", "region": "Paris, France", "country": "FR", "owner_is_eu": true },
"resolves_to": null,
"pricing": {
"input_eur_per_mtok": 0.55,
"output_eur_per_mtok": 1.65,
"cached_input_eur_per_mtok": 0.055,
"audio_input_eur_per_mtok": null,
"audio_output_eur_per_mtok": null,
"long_context": [{ "from_tokens": 200000, "input_eur_per_mtok": 1.1, "output_eur_per_mtok": 3.3 }],
"eur_per_page": null,
"eur_per_minute": null,
"eur_per_image": null,
"estimated": false
}
},
{
"id": "sluis/fast",
"object": "model",
"created": 1704067200,
"owned_by": "sluis",
"kind": "text",
"context_window": 128000,
"capabilities": { "tools": true, "vision": false, "reasoning": null },
"residency": { "jurisdiction": "EU", "region": "Paris, France", "country": "FR", "owner_is_eu": true },
"resolves_to": "mistral/mistral-large-latest",
"pricing": { "input_eur_per_mtok": 0.55, "output_eur_per_mtok": 1.65, "cached_input_eur_per_mtok": 0.055, "audio_input_eur_per_mtok": null, "audio_output_eur_per_mtok": null, "long_context": [{ "from_tokens": 200000, "input_eur_per_mtok": 1.1, "output_eur_per_mtok": 3.3 }], "eur_per_page": null, "eur_per_minute": null, "eur_per_image": null, "estimated": false }
},
{
"id": "sluis/auto",
"object": "model",
"created": 1704067200,
"owned_by": "sluis",
"kind": null,
"context_window": null,
"capabilities": { "tools": null, "vision": null, "reasoning": null },
"residency": null,
"resolves_to": null,
"pricing": null
},
{
"id": "sluis/ocr",
"object": "model",
"created": 1704067200,
"owned_by": "sluis",
"kind": "ocr",
"context_window": null,
"capabilities": { "tools": null, "vision": null, "reasoning": null },
"residency": null,
"resolves_to": null,
"pricing": {
"input_eur_per_mtok": null,
"output_eur_per_mtok": null,
"cached_input_eur_per_mtok": null,
"audio_input_eur_per_mtok": null,
"audio_output_eur_per_mtok": null,
"long_context": [],
"eur_per_page": 0.01,
"eur_per_minute": null,
"eur_per_image": null,
"estimated": false
}
}
]
}Endpointy
Sluis udostępnia poniższą powierzchnię zgodną z OpenAI oraz natywne ścieżki Anthropic opisane dalej.
Endpointy bez dedykowanej obsługi są przekazywane dosłownie do wyznaczonego dostawcy, wraz ze streamingiem, więc zgodne z OpenAI usługi nadrzędne zachowują pełną wierność.
Przeglądarka, która otworzy ścieżkę nieobsługiwaną przez API, na przykład sam host API, zostaje przekierowana do tej dokumentacji. Klienci API nadal dostają zwykłe 404.
| Endpoint | Przeznaczenie |
|---|---|
| POST / | Chat completions, główna powierzchnia: routing, ochrona danych, buforowanie, streaming. |
| POST / | Starsze text completions. |
| POST / | Embeddingi. |
| POST / | Klasyfikacja moderacji. |
| POST / | API OpenAI Responses. |
| POST / | Native System One typed decisions, not OpenAI chat messages. |
| POST / | OCR dokumentów (Mistral, lub w pełni lokalnie z modelem sluis/ocr), rozliczany za stronę. Z włączoną polityką dlp_documents dokumenty inline są anonimizowane przed wysyłką. |
| POST / | Anonimizacja dokumentów: dane osobowe zamieniane na «MERGE_TAG»y, obrazy rozmywane. Rozliczana za stronę lub obraz. |
| POST / | Asynchroniczne zadania anonimizacji: zakolejkuj duży dokument, sprawdzaj /jobs/{id} i pobierz /jobs/{id}/result. Podpisany link do pobrania (/v1/documents/deliverables/{id}) jest ważny przez ograniczony czas i nie wymaga klucza API. |
| GET / | Modele dozwolone przez twoją politykę, poświadczenia i workload, z typem, oknem kontekstu, możliwościami, rezydencją, celem aliasu i końcową ceną tej organizacji w EUR, bez VAT. |
| GET / | Metadane i cena dla organizacji dla jednego modelu, w tym samym formacie co lista. |
| POST / | Transkrypcja, tłumaczenie i mowa, przekazywane do wyznaczonego dostawcy. Z modelem sluis/transcribe POST /v1/audio/transcriptions uruchamia własne rozpoznawanie mowy Sluis z rozpoznawaniem mówców. Zobacz Mowa na tekst. |
| POST / | Generowanie i edycja obrazów, przekazywane. Wyjątkiem jest mistral/image-generation: Mistral udostępnia je wyłącznie przez swój konektor agenta, więc gateway tłumaczy żądanie OpenAI i odpowiada w b64_json, rozliczane za obraz. |
| POST / | Generowanie wideo, przekazywane. |
| / | Operacje na plikach, przekazywane z własnym kluczem Twojej organizacji (BYOK lub własny dostawca). Wyjątkiem są pliki z purpose=batch: przechodzą przez własną bramkę gatewaya i mogą używać kluczy zarządzanych. |
| / | Partie w formacie OpenAI: wyślij plik JSONL z purpose=batch do /v1/files, potem twórz, sprawdzaj i anuluj tutaj. Każdy wiersz przechodzi ochronę danych i rezydencję jak wywołanie na żywo. Wyniki w ciągu 24 godzin, rozliczane po połowie ceny na żywo. Mistral, Azure, OpenAI i Qwen. |
| POST / | Anthropic Message Batches: create, list, get, results i cancel. Wyłączone, o ile wdrożenie ich nie włącza. Wymagają retencji treści i działają tylko na modelach Anthropic. W przeciwnym razie te trasy zwracają 404. |
| POST / | Natywne wejście Anthropic Messages: skieruj dowolne narzędzie z SDK Anthropic na Sluis, z dowolnym podłączonym modelem. |
| POST / | Lokalne oszacowanie tokenów dla zarządzania kontekstem SDK Anthropic. Nic nie jest wysyłane. |
| GET / | Natywne odkrywanie modeli Anthropic (list i get), z katalogu w procesie. Na /v1/models ten sam format wybiera nagłówek anthropic-version. |
| HEAD / | Sonda rozgrzewkowa dla klientów SDK Anthropic, takich jak Claude Code: 200 z pustym ciałem. |
| GET / | WebSocket zgodny z OpenAI Realtime do rozmów głosowych na żywo (speech to speech) z vertex/gemini-3.8-live, hostowany w multiregionie UE w Google Vertex AI. Dostępny także pod /openai/v1/realtime; parametr zapytania model jest wymagany. Uwierzytelnij żądanie upgrade nagłówkiem Authorization: Bearer lub x-api-key. Używa nazw zdarzeń GA; formaty beta OpenAI-Beta: realtime=v1, efemeryczne sekrety klienta, klucze w subprotokole przeglądarki i audio G.711 nie są obsługiwane. Narzędzia po stronie serwera, wznawianie sesji, replikacja głosu i wyjście awatara są odrzucane przy konfiguracji. Tekst jest chroniony jak w każdym endpoincie; ramki audio i wideo są przekazywane bez inspekcji. Sesja kończy się po osiągnięciu limitu wydatków 2 EUR, a dostawca zamyka połączenie po około 10 minutach; połącz się ponownie, aby kontynuować. Rozliczenie za token według stawek modelu dla poszczególnych modalności (tekst, audio, ramki obrazu i wideo), na podstawie raportu zużycia dostawcy. Niedostępne w Sluis Workspace, Playground ani aliasach sluis/*. Pełna lista zdarzeń jest w agent skill. |
| GET / | Natywny WebSocket Gemini Live (BidiGenerateContent), także pod /ws/google.cloud.aiplatform.v1.LlmBidiService/BidiGenerateContent; wersja w nazwie usługi może mieć wartość v1, v1beta, v1beta1 lub v1alpha. SDK google-genai z origin gateway jako bazowym URL łączy się bez zmian. Uwierzytelnij żądanie upgrade nagłówkiem x-goog-api-key, Authorization: Bearer lub x-api-key; parametr zapytania ?key= nie jest akceptowany. Ramki są przekazywane tak, jak definiuje je protokół Gemini Live, a setup.model to gemini-3.8-live. Odmowy przychodzą jako ramka zamknięcia WebSocket z powodem w tekście. Ten sam model, te same limity, ta sama ochrona danych i to samo rozliczanie co /v1/realtime. |
curl https://api.sluis.ai/v1/chat/completions \ -H "Authorization: Bearer $SLUIS_KEY" \ -H "Content-Type: application/json" \ -d '{ "model": "mistral/mistral-large-latest", "messages": [{ "role": "user", "content": "Say hi" }] }'
{
"id": "chatcmpl-9f2e…",
"object": "chat.completion",
"model": "mistral-large-latest",
"choices": [{
"index": 0,
"message": { "role": "assistant", "content": "Hi! How can I help?" },
"finish_reason": "stop"
}],
"usage": { "prompt_tokens": 9, "completion_tokens": 8, "total_tokens": 17 }
}
Każde powyższe ciało JSON może dodatkowo nieść rozszerzenie gateway sluis.remove, wskazujące terminy, które trzeba spseudonimizować w prompcie przed wysyłką. Jest usuwane, zanim żądanie opuści gateway; zobacz Referencji ochrony danych.
# Document OCR, billed per page. Returns pages[] markdown + usage_info.pages_processed. # model "sluis/ocr" runs the gateway's own OCR engine: fully local, no provider egress (inline data: URLs only). curl https://api.sluis.ai/v1/ocr \ -H "Authorization: Bearer $SLUIS_KEY" \ -H "Content-Type: application/json" \ -d '{ "model": "mistral/mistral-ocr-latest", "document": { "type": "document_url", "document_url": "https://example.com/invoice.pdf" } }'
{
"pages": [{
"index": 0,
"markdown": "# Invoice 2026-118\nAcme BV · Keizersgracht 1…",
"images": [],
"dimensions": { "dpi": 150, "height": 1754, "width": 1240 }
}],
"model": "mistral-ocr-latest",
"usage_info": { "pages_processed": 1, "doc_size_bytes": 48213 }
}Mowa na tekst z rozpoznawaniem mówców
Ustaw model sluis/transcribe i wyślij POST /v1/audio/transcriptions. Gateway uruchamia własne rozpoznawanie mowy, bez wysyłania danych do dostawców.
- Wyślij plik multipart
filedo 240 minut. Język jest wykrywany automatycznie. response_formattojson(domyślnie),textlubverbose_json(segmenty z mówcą).- Rozliczane po 0,02 € za minutę nagrania, za każdą rozpoczętą sekundę.
- Tryb DLP organizacji obejmuje transkrypcję, tak jak przy
sluis/ocr. - Odpowiada
503tam, gdzie wdrożenie nie uruchamia transkrypcji.
# Speech to text with speaker detection, billed €0.02 per minute of audio (per started second). # model "sluis/transcribe" runs in the gateway's own worker: no provider egress, language detected automatically. curl https://api.sluis.ai/v1/audio/transcriptions \ -H "Authorization: Bearer $SLUIS_KEY" \ -F model=sluis/transcribe \ -F response_format=verbose_json \ -F file=@meeting.m4a
{
"task": "transcribe",
"duration": 94.2,
"text": "Goedemorgen allemaal.\nGoedemorgen, fijn dat jullie er zijn.",
"segments": [
{ "id": 0, "start": 0.4, "end": 2.1, "text": "Goedemorgen allemaal.", "speaker": "speaker_1" },
{ "id": 1, "start": 2.6, "end": 5.0, "text": "Goedemorgen, fijn dat jullie er zijn.", "speaker": "speaker_2" }
],
"usage": { "type": "duration", "seconds": 95 }
}# Document anonymization, billed per page/image. PII becomes «MERGE_TAG»s; images are blurred. curl https://api.sluis.ai/v1/documents/anonymize \ -H "Authorization: Bearer $SLUIS_KEY" \ -F file=@contract.docx \ -F 'options={ "entities": ["person_name", "email", "iban"], "remove": ["Project Nightingale"] }'
{
"filename": "contract.docx",
"content_type": "application/vnd.openxmlformats-officedocument.wordprocessingml.document",
"content_base64": "UEsDBBQABgAIA…",
"summary": { "pages": 4, "images": 1, "categories": ["EMAIL", "IBAN", "PERSON_NAME"], "downgraded": false },
"mapping": [
{ "token": "«PERSON_NAME_1»", "original": "Jan de Vries" },
{ "token": "«IBAN_1»", "original": "NL91ABNA0417164300" }
]
}
System One typed decisions
# The router behind sluis/auto: send state only, not questions. curl https://api.sluis.ai/v1/systemone \ -H "Authorization: Bearer $SLUIS_KEY" \ -H "Content-Type: application/json" \ -d '{"model":"sluis/typed/router", "state":{"request":"Compare these two supplier contracts clause by clause and list the risks.", "previous":"Here are both contracts.", "attachments":["contract_a.pdf (application/pdf)","contract_b.pdf (application/pdf)"]}}'
{
"model": "sluis/typed/router",
"answers": {
"reasoning": { "type": "noul", "noul": 0.9412,
"probabilities": { "false": 0.0588, "true": 0.9412 },
"confidence": 0.9412, "answer_confidence": 0.9412 },
"complexity": { "type": "score", "score": 2.31,
"legend": { "0": "trivial", "1": "simple", "2": "moderate", "3": "hard" },
"probabilities": { "0": 0.01, "1": 0.12, "2": 0.42, "3": 0.45 },
"confidence": 0.2612, "answer_confidence": 0.45 },
"task": { "type": "choice", "choice": "document",
"probabilities": { "code": 0.01, "writing": 0.03, "translation": 0.01, "extraction": 0.05,
"document": 0.86, "support": 0.02, "smalltalk": 0.01, "action": 0.01 },
"confidence": 0.6888, "answer_confidence": 0.86 }
},
"decision": { "route": "sluis/reasoning", "demand": "strong" },
"revision": ""
} | Local router contract (sluis/typed/router) | Behaviour |
|---|---|
| Model ids | sluis/typed/router is the router Sluis uses for sluis/auto, with its own calibrated questions. For your own questions, use a typesafe/jev-* model with your own TypeSafe key. |
| sluis/ | Send the text a request carries: state.request (required), and optional previous, system and attachments (a string or a list of "name (mime)" strings); a plain string is the request. It answers reasoning (noul, P(needs multi-step reasoning)), complexity (score, 0 trivial to 3 hard, with legend and probabilities per level) and task (choice over code, writing, translation, extraction, document, support, smalltalk, action). decision holds the route and demand sluis/auto would take from this text alone, or null. Files, images, JSON mode, tools, prompt size and your organisation's policy are not part of this input and can change a real sluis/auto route. answers.reasoning keeps the keys it always had; the rest is additional. |
| TypeSafe | Bring your own key only; no sluis/* alias reaches it. Name the model explicitly, for example typesafe/jev-latest. The normal gate applies: it is a US provider, so your residency policy must allow US. The other rows describe sluis/typed/router only. |
| Availability | Every answer comes from verified model weights, reported as revision. If the router is unavailable or cannot be verified, the call fails closed with 503. |
| State | Required JSON object, list (array) or string, at most 128 KiB (131072 bytes) of serialized JSON before DLP. Missing or invalid state returns 422; oversized state returns 413. |
| Questions | sluis/typed/router supplies its own calibrated questions: any questions field, including null or an empty object, returns 400. |
| Response | JSON with model, answers, decision and revision (weights SHA256). Each answer has its type, its typed value (choice, score or noul), confidence, probabilities, legend and answer_confidence. No chat completion or streaming envelope. |
| Latency | sluis/typed/router usually answers well under 200 ms; when busy it returns 503 with Retry-After: 2. |
| Data protection | Tenant DLP applies locally to the state: block refuses; tokenize or mask rewrites what the router is shown. Per-request removal terms are honoured. |
| Residency | Processed on Sluis infrastructure with no outside provider and no upstream residency routing step. |
| Metering | Each successful local decision is sealed and billed per input token at €0.01 per 1M tokens; output is free. The router reports no token count, so input is estimated at about 4 characters per token over the state it was shown. Normal limits, budgets and model allow-lists still apply. |
| Aliases | An existing tenant alias with the same name takes precedence over the local router. |
Dokumenty na wejściu
Dołącz PDF, dokument Word, obraz lub plik tekstowy do żądania czatu jako część treści "type": "file" z adresem data URL file_data w base64.
Zaakceptuje to każdy wybrany model. Dostawcy, którzy natywnie rozumieją części plikowe, dostają je bez zmian. Dla wszystkich pozostałych gateway konwertuje dokument przed wysyłką.
Jak model otrzymuje dokument
- Z rendererem PDF modele z widzeniem dostają każdą stronę PDF jako część
image_url. Budżet to 48 stron na żądanie, wspólny dla wszystkich załączonych dokumentów, a mogą obowiązywać też limity dostawcy. Bez renderera rozwiązanie zastępcze wdrożenia wyodrębnia tekst albo odmawia. - Modele bez wejścia obrazowego dostają możliwy do wyodrębnienia tekst dokumentu jako tekst promptu. Skan ochrony danych obejmuje go potem jak każdy inny tekst.
- Dłuższe lub cięższe dokumenty należą do
/v1/ocr. - API Responses przyjmuje części
input_filezamiast zagnieżdżonego kształtufilez chat completions. - Sluis nie może sprawdzić ani rozwiązać referencji
file_idpo stronie dostawcy. Przechodzą one tylko do dostawcy, który je obsługuje, na Twoim własnym kluczu dostawcy, przy wyłączonej inspekcji dokumentów. W przeciwnym razie osadź bajty jakofile_data.
Ochrona danych dla dokumentów
- Z włączoną polityką
dlp_documentsdokument jest anonimizowany lub odrzucany, zanim cokolwiek opuści gateway. - Gdy jest wyłączona, a tryb DLP jest ochronny (
tokenize,masklubblock), dokumenty, które podróżowałyby jako niemożliwe do zbadania obrazy, są odrzucane. Przyallow_logprzechodzą z jawnym znacznikiem braku skanowania w dzienniku audytu. - Części audio (
input_audio) nie mogą być skanowane.blocklub wymagane rozpoznawanie AI przy włączonej kontroli dokumentów odrzuca je kodem422. W przeciwnym razie mająx-sluis-unscanned: audio.
# Attach a document as an OpenAI-style `file` content part. The gateway # normalizes it for the routed provider, so this works on any model. curl https://api.sluis.ai/v1/chat/completions \ -H "Authorization: Bearer $SLUIS_KEY" \ -H "Content-Type: application/json" \ -d '{ "model": "scaleway/gemma-4-26b-a4b-it", "messages": [{ "role": "user", "content": [ { "type": "file", "file": { "filename": "drawing.pdf", "file_data": "data:application/pdf;base64,'"$(base64 -w0 drawing.pdf)"'" } }, { "type": "text", "text": "Which discipline does this drawing document?" } ] }] }'
import OpenAI from "openai"; import { readFileSync } from "node:fs"; const client = new OpenAI({ baseURL: "https://api.sluis.ai/v1", apiKey: process.env.SLUIS_KEY, }); const pdf = readFileSync("drawing.pdf").toString("base64"); const reply = await client.chat.completions.create({ model: "vertex/gemini-3.1-pro", messages: [{ role: "user", content: [ { type: "file", file: { filename: "drawing.pdf", file_data: `data:application/pdf;base64,${pdf}` } }, { type: "text", text: "Which discipline does this drawing document?" }, ], }], });
Streaming
Ustaw stream: true, a odpowiedź nadejdzie jako server-sent events. Każda ramka to delta chat.completion.chunk, a strumień kończy się data: [DONE].
Strumienie nigdy nie są buforowane w gatewayu: przepływają przez niego rozgałęzieniem (tee), a zapieczętowanie audytu i pomiar następują nawet wtedy, gdy klient rozłączy się wcześniej.
Poproś o stream_options.include_usage, a gateway zażąda od dostawcy końcowej ramki ze zużyciem. Jeśli dostawca jej nie wyśle albo strumień zostanie przerwany, gateway oszacuje zużycie na potrzeby pomiaru.
Chcesz zobaczyć, ile kosztowało Twoją organizację wywołanie ze strumieniowaniem? Wyślij x-sluis-include-cost: true razem z stream_options.include_usage. Końcowy obiekt usage zawiera wtedy sluis_cost_eur, zobacz Koszt wywołania.
Bedrock oddziela rozumowanie od odpowiedzi w reasoning_content i reasoning_signature, także w przesyłanych deltach. Odmowy używają finish_reason: content_filter, a limity wyjścia length, również przy częściowych wywołaniach narzędzi. Nie wykonuj niekompletnych argumentów narzędzi. Wyjątki strumienia AWS stają się ramkami błędów bez poufnych szczegółów.
Keepalive, nagłówki i restarty
- Po 15 sekundach bez ramki gateway zapisuje między zdarzeniami linię komentarza SSE (
: keepalive), aby proxy z limitem bezczynności utrzymywały połączenie, gdy model myśli. Klienci SSE ją ignorują. - Strumienie mają nagłówki
Cache-Control: no-cacheiX-Accel-Buffering: no. - Gdy replika gatewaya się restartuje, obsługuje otwarte strumienie jeszcze do pięciu minut. Strumień otwarty dłużej kończy się zdarzeniem błędu z kodem
server_restarting, więc ponów żądanie. - Strumienie z tokenizacją akceptują pojedyncze zdarzenia do 4 MiB. Większe zdarzenia kończą strumień błędem.
stream = client.chat.completions.create(
model="mistral/mistral-large-latest",
messages=[{"role": "user", "content": "Write a haiku"}],
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
print(chunk.choices[0].delta.content or "", end="")const stream = await client.chat.completions.create({ model: "mistral/mistral-large-latest", messages: [{ role: "user", content: "Write a haiku" }], stream: true, stream_options: { include_usage: true }, }); for await (const chunk of stream) { process.stdout.write(chunk.choices[0]?.delta?.content ?? ""); }
# the raw event stream on the wire
data: {"object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"Water"}}]}
data: {"object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":" finds a way."}}]}
data: {"object":"chat.completion.chunk","choices":[{"index":0,"delta":{},"finish_reason":"stop"}],"usage":{"prompt_tokens":12,"completion_tokens":9,"total_tokens":21}}
data: [DONE]Rozumowanie
Przekaż parametr OpenAI reasoning_effort (minimal | low | medium | high) na dowolnym modelu zdolnym do myślenia. Sluis tłumaczy go zależnie od dostawcy (poziom myślenia Gemini, adaptacyjny wysiłek myślowy Claude) i pomija go tam, gdzie model by go odrzucił, więc jeden parametr działa w całym katalogu.
resp = client.chat.completions.create(
model="vertex/claude-opus-4-8",
messages=[{"role": "user", "content": "Prove it step by step…"}],
reasoning_effort="high", # minimal | low | medium | high
)Cache promptów
Powtarzające się prefiksy promptów (prompty systemowe, narzędzia, historia rozmowy) mogą być cache'owane u dostawcy, co zmniejsza koszt i opóźnienia. Sluis tłumaczy bloki cache_control w stylu Anthropic (opcjonalny TTL 5m lub 1h) oraz najwyższego poziomu prompt_cache_key i prompt_cache_retention z OpenAI, zależnie od dostawcy.
Wiele granic punktów podziału system lub assistant może zostać scalonych podczas tłumaczenia, także przy różnych TTL.
| Dostawca | Zachowanie cache promptów |
|---|---|
| Anthropic | Jawne cache_control na blokach systemowych, treści i narzędziach, wraz z TTL. Odczyty i zapisy są raportowane osobno. |
| Bedrock | cache_control staje się blokami cachePoint Converse w system, messages i toolConfig. |
| OpenAI · Azure | Automatyczny cache. Po włączeniu prompt_cache_key i prompt_cache_retention pozostają w chat i Responses; nieobsługiwane opcje i markery są usuwane. |
| Gemini · Vertex | Działa niejawny cache Gemini i raportowanie zużycia; jawne odwołania cachedContent nie są obsługiwane. Claude na Vertex tłumaczy cache_control i TTL jak Anthropic. |
| xAI · DeepSeek · Mistral · Qwen · Moonshot · Zhipu | Automatyczny cache, jeśli jest dostępny; wszystkie jawne dyrektywy są usuwane. Natywne usage.cached_tokens Moonshot jest rozpoznawane. |
| Scaleway | Automatyczny cache, jeśli jest dostępny; wszystkie jawne dyrektywy są usuwane. Odczyty korzystają z oficjalnej stawki Scaleway w EUR dla wejścia z cache, jeśli jest dostępna, nie z LiteLLM. |
| Nebul | Automatyczny cache, jeśli jest dostępny; wszystkie jawne dyrektywy są usuwane. Odczyty korzystają z oficjalnej stawki w EUR dla wejścia z cache, jeśli jest dostępna. |
| Nebius · nebius-eu | Automatyczny cache, jeśli jest dostępny; wszystkie jawne dyrektywy są usuwane. Oficjalne ceny nie używają rabatów cache LiteLLM; fallback LiteLLM może dostarczyć stawkę cache, gdy brak oficjalnej ceny modelu. |
| Custom | Po włączeniu przez organizację dyrektywy są przekazywane bez zmian; obsługa zależy od umowy operatora. |
Jawny cache promptów jest opcjonalny
Jawny cache promptów to ustawienie na poziomie organizacji (provider_prompt_cache). Jest domyślnie wyłączony i niezależny od retencji treści Sluis oraz cache identycznych odpowiedzi. Włącz go w Konsola › Ochrona danych.
- Zbuforowane prefiksy pozostają u dostawcy po przefiltrowaniu przez ochronę danych Sluis.
- Gdy jest wyłączony, gate usuwa
prompt_cache_key,prompt_cache_retention,prompt_cache_options,cache_controliprompt_cache_breakpoint. Nie wyłącza własnego, automatycznego cache dostawcy. - Bez własnego klucza do dostawcy wywołania korzystają z poświadczeń Sluis współdzielonych z innymi organizacjami. W OpenAI i Azure Sluis ustawia
prompt_cache_keywyprowadzony z Twojej organizacji zamiast Twojego. U każdego innego dostawcy liczby tokenów z cache w Twoim zużyciu pokazują 0. Rozliczenie nadal stosuje prawdziwy rabat za cache.
Rozliczenia i limity
- Odczyty i zapisy cache są częścią łącznej liczby tokenów promptu, nie dodatkowym wejściem. Odczyty używają dostępnej stawki cache.
- Zapisy Anthropic 1h używają stawki dla danego TTL, gdy dostępny jest podział zużycia i taryfa. W przeciwnym razie obowiązuje domyślna stawka tworzenia.
- Brak taryfy cache oznacza zwykłą cenę wejścia, nigdy zerowe rozliczenie.
- Zużycie cache widać w panelu audytu oraz w Zużycie i budżet.
- Długie prompty są rozliczane po stawce długiego kontekstu dostawcy. Gdy prompt (wraz z tokenami z cache) przekroczy próg modelu, całe wywołanie jest rozliczane po tej stawce. Widać ją pod ceną w tabeli Modele.
Na kluczu zarządzanym przez Sluis żądanie jest odrzucane z 400, zanim cokolwiek zostanie wysłane, gdy wybiera dopłatę, której Sluis nie potrafi zmierzyć:
cache_controlzttlinnym niż5m, tam gdzie dostawca go respektuje (Anthropic, Bedrock, Claude na Vertex)service_tierinny niżauto,default,flexlubstandard_only- beta długiego kontekstu Anthropic (
context-1m) na modelu, dla którego Sluis nie ma stawki długiego kontekstu
Twój własny klucz dostawcy przekazuje wszystkie trzy bez zmian.
Kody błędów
Błędy używają koperty błędów OpenAI; wartość error.type odzwierciedla status HTTP, więc obsługa błędów w Twoim SDK działa bez zmian.
| Kod | Kiedy |
|---|---|
| 400 invalid_request_error | Nieprawidłowe body żądania lub parametry. |
| 400 invalid_request_error | Identyfikator modelu bez prefiksu dostawcy. Każdy wywoływalny identyfikator to provider/model, na przykład mistral/mistral-large-latest. Komunikat brzmi: model must be provider-prefixed. |
| 400 invalid_request_error | Żądanie niesie usunięty nagłówek x-sluis-dlp. Nadpisania per żądanie zastąpiono nadpisaniami opcji workloadu: skonfiguruj je w Konsola › Workloady. |
| 401 authentication_error | Brakujący lub nieznany klucz API. |
| 402 insufficient_quota | Brak aktywnego planu lub osiągnięty budżet. Aktywuj plan albo podnieś budżet. Żądanie nigdy nie dociera do dostawcy. |
| 403 permission_error | Klucz nie ma uprawnień, na przykład model nie jest na liście dozwolonych modeli workloadu. |
| 422 invalid_request_error | Odrzucone przed wysyłką, na przykład ochrona danych w trybie block dopasowała żądanie. |
| 422 document_too_large_to_scan | Dokument jest zbyt duży dla obranej ścieżki: strona wciąż przekracza limit pikseli renderowania przy minimalnej rozdzielczości skanowania albo plik przekracza limit bajtów ekstrakcji tekstu. Strony wielkoformatowe (rysunki A0 i A1) są automatycznie pomniejszane. Zmniejsz lub podziel dokument i wyślij ponownie. |
| 429 rate_limit_error | Osiągnięty limit zapytań. Egzekwowany na gatewayu, więc żądanie nigdy nie dociera do dostawcy. |
| 403 permission_error | Zablokowane przez politykę rezydencji: żadna dozwolona jurysdykcja nie obsłuży żądania. Body zawiera powód. |
| 403 scope_violation | Odrzucone przez strażnika zakresu workloadu w trybie block: wywołanie wykracza poza zakres zapisany dla tego workloadu. Komunikat podaje powód strażnika, a żądanie nigdy nie trafia do dostawcy. |
| 422 malware_detected | Przesłany plik pasuje do sygnatury złośliwego oprogramowania i został odrzucony przed zapisaniem lub przetworzeniem. Nazwa sygnatury nigdy nie jest zwracana. |
| 503 pdf_renderer_unavailable | Osadzony PDF musiał zostać wysłany jako obrazy stron, ponieważ wybrany model przyjmuje dane obrazowe, ale to wdrożenie nie ma renderera PDF. Żądanie jest odrzucane zamiast obsłużone na podstawie wyodrębnionego tekstu, co odrzuciłoby wszystko, co pokazuje rysunek lub skan. |
| 503 malware_scan_unavailable | Nie udało się sprawdzić przesłanego pliku pod kątem złośliwego oprogramowania (skaner niedostępny lub wolny albo plik przekracza limit skanowania 100 MiB), więc nie został przyjęty. Nic nie zapisano. Ponów z backoffem. |
| 503 scope_guard_unavailable | Strażnik zakresu workloadu działa w trybie block, ale nie wydał werdyktu, więc wywołanie jest odrzucane zamiast przepuszczone. Ponów z rosnącym odstępem (backoff). |
| 503 auth_unavailable | Gateway nie mógł odczytać swojego magazynu kluczy, więc nie mógł zweryfikować klucza. Nie wiadomo, czy klucz jest nieprawidłowy. Ponów z backoffem i respektuj Retry-After. |
| 504 api_error | Dostawca nie odpowiedział w czasie oczekiwania na odpowiedź ustawionym dla workloadu: domyślnie 300 sekund, od 10 do 600, jeśli ustawi to workload, krócej, jeśli żądanie wysłało x-sluis-upstream-timeout. error.sluis.cause ma wartość timeout. Gateway nie powtórzył wywołania, bo dostawca może je nadal przetwarzać. Skróć prompt albo poproś o dłuższy czas, zanim wyślesz je ponownie. |
| 5xx api_error | Awaria dostawcy nadrzędnego po ponowieniach. Bezpiecznik kieruje ruch z pominięciem niesprawnych dostawców. Body niesie komunikat samego dostawcy oraz obiekt error.sluis wskazujący przyczynę i każdą próbę, z jej statusem nadrzędnym lub błędem transportu i czasem trwania. |
{
"error": {
"message": "model must be provider-prefixed, e.g. \"mistral/mistral-large-latest\"",
"type": "invalid_request_error",
"param": null,
"code": "invalid_request"
}
}{
"error": {
"message": "model not permitted for this API key",
"type": "permission_error",
"param": null,
"code": "permission_denied"
}
}{
"error": {
"message": "provider `openai` (jurisdiction `US`) is not permitted by the tenant's residency policy",
"type": "permission_error",
"param": null,
"code": "permission_denied"
}
}Anthropic Messages API
Sluis natywnie obsługuje API Anthropic Messages. Skieruj Claude Code lub dowolne SDK Anthropic na gateway i wywołaj POST /v1/messages. /anthropic/v1/messages to jednoznaczna ścieżka z prefiksem do tego samego handlera.
Żądanie jest tłumaczone na kształt wewnętrzny, przechodzi ten sam potok Inspect, Route, Seal i Meter co każde inne wywołanie i wraca w formacie Anthropic, wraz ze streamingiem.
Uwierzytelnianie
- Wyślij klucz Sluis w nagłówku Anthropic
x-api-keyalbo w zwykłym nagłówkuAuthorization: Bearer. Oba są akceptowane. - Nagłówek
anthropic-versionjest akceptowany z dowolną wartością i nigdy nie jest wymagany. NaGET /v1/modelsjego obecność wybiera format Anthropic. - Parsowanie jest celowo otwarte: nieznane pola body, nieznane typy bloków treści, nieznane wartości
anthropic-betaoraz zapytanie?beta=truewysyłane przez Claude Code są tolerowane, nie odrzucane. - Flagi beta trafiają bajt w bajt do usług nadrzędnych z rodziny Anthropic i są ignorowane wszędzie indziej.
Endpointy
| Endpoint | Przeznaczenie |
|---|---|
| POST / | Messages, buforowane lub strumieniowe. Obsługuje prompty systemowe (string lub bloki), narzędzia i wyniki narzędzi (w tym wyniki błędów i obrazy w nich), obrazy, bloki dokumentów, bloki thinking i redacted_thinking w historii oraz znaczniki cache_control na każdej pozycji, którą można cache'ować. |
| POST / | Lokalne oszacowanie tokenów dla zarządzania kontekstem SDK. Nic nie jest wysyłane, zatrzymywane ani mierzone. |
| GET / | Natywne odkrywanie modeli w formacie Anthropic, z katalogu w procesie. Na ścieżce głównej format wybiera nagłówek anthropic-version, a bez niego dostajesz format OpenAI. Pod /anthropic obowiązuje zawsze. Kursory before_id, after_id i limit działają w miarę możliwości, a created_at to stały zapychacz, bo katalog nie ma daty wydania dla poszczególnych modeli. |
| HEAD / | Sonda rozgrzewkowa wysyłana przez Claude Code przed sesją: tylko HEAD, odpowiedź 200 z pustym ciałem. |
Routing modeli
Format przewodowy nigdy nie ogranicza modelu: wejście jest kodekiem, a trasę wyznacza identyfikator modelu.
- Goły identyfikator, taki jak
claude-sonnet-5, jest rozwiązywany przez domyślnego dostawcę tego wejścia,anthropic, chyba że organizacja wskaże innego (na przykładvertexdla Claude hostowanego w UE). Bramka rezydencji nadal decyduje, czy ten cel może obsłużyć żądanie. - Przypnij cel jawnie identyfikatorem z prefiksem dostawcy, takim jak
vertex/claude-opus-4-8. - Albo przekaż alias
sluis/*. Narzędzie z SDK Anthropic działa wtedy na dowolnym podłączonym dostawcy, w ramach Twojej polityki.
Streaming
Z "stream": true odpowiedź ma pełną gramatykę zdarzeń Anthropic:
message_start, potemcontent_block_start,content_block_deltaicontent_block_stopdla każdego bloku, potemmessage_deltaze skumulowanym zużyciem (w tym tokenami odczytu i tworzenia cache), potemmessage_stop.- Tekst przychodzi jako
text_delta, argumenty narzędzi jakoinput_json_delta, a rozumowanie jakothinking_deltaplussignature_delta, gdy wyznaczony dostawca je wygenerował. message_startniesie liczbę tokenów wejściowych, gdy dostawca raportuje ją w pierwszym fragmencie. W przeciwnym razie zaczyna od zera, amessage_deltaraportuje zaktualizowane zużycie.- Zdarzenie
pingnastępuje pomessage_starti powtarza się po mniej więcej 15 sekundach ciszy z usługi nadrzędnej, więc długa tura myślenia nigdy nie uruchomi watchdoga klienta. - Awaria w trakcie strumienia jest ponownie kodowana jako zdarzenie
errorzamiast urwanego strumienia. stop_sequenceniesie dopasowaną sekwencję, gdy odpowiedź pochodziła od dostawcy z rodziny Anthropic, a w przeciwnym razie jest null.- Wyślij
x-sluis-include-cost: true, a zużycie wmessage_deltazawiera teżsluis_cost_eur, cenę wywołania dla Twojej organizacji w EUR, orazsluis_cost_estimated: truetylko przy szacunku. Zobacz Koszt wywołania.
# native Anthropic Messages: the model id owns the route, not the wire format curl https://api.sluis.ai/v1/messages \ -H "x-api-key: $SLUIS_KEY" \ -H "anthropic-version: 2023-06-01" \ -H "Content-Type: application/json" \ -d '{ "model": "vertex/claude-opus-4-8", "max_tokens": 256, "system": "Be concise.", "messages": [{ "role": "user", "content": "Say hi" }] }' # /anthropic/v1/messages is the unambiguous prefixed path for the same handler
{
"id": "msg_01f7…",
"type": "message",
"role": "assistant",
"model": "claude-opus-4-8",
"content": [{ "type": "text", "text": "Hi! How can I help?" }],
"stop_reason": "end_turn",
"stop_sequence": null,
"usage": {
"input_tokens": 9,
"output_tokens": 8,
"cache_read_input_tokens": 0,
"cache_creation_input_tokens": 0
}
}# "stream": true: the full event grammar, ping keep-alives included
event: message_start
data: {"type":"message_start","message":{"id":"msg_01f7…","role":"assistant","model":"claude-opus-4-8","usage":{"input_tokens":9,"output_tokens":0}}}
event: ping
data: {"type":"ping"}
event: content_block_start
data: {"type":"content_block_start","index":0,"content_block":{"type":"text","text":""}}
event: content_block_delta
data: {"type":"content_block_delta","index":0,"delta":{"type":"text_delta","text":"Hi!"}}
event: ping
data: {"type":"ping"}
event: content_block_stop
data: {"type":"content_block_stop","index":0}
event: message_delta
data: {"type":"message_delta","delta":{"stop_reason":"end_turn","stop_sequence":null},"usage":{"output_tokens":8,"cache_read_input_tokens":0}}
event: message_stop
data: {"type":"message_stop"}Błędy
Błędy z handlerów Messages używają koperty Anthropic: najwyższego poziomu "type": "error" z typem błędu dostawcy. Dotyczy to też odmów, które nigdy nie docierają do modelu, takich jak nieznany klucz czy blokada ochrony danych.
Typy błędów dostawcy to invalid_request_error, authentication_error, billing_error, permission_error, not_found_error, conflict_error, request_too_large, rate_limit_error, api_error i overloaded_error.
- Odpowiedź niesie nagłówek
request-idi pole bodyrequest_id, czyli identyfikator korelacji dla Twojego klienta. - Gdy wywołanie wytworzyło wiersz audytu, nagłówek
x-sluis-request-ididentyfikuje ten wiersz. Błąd uwierzytelnienia nie ma wiersza audytu. - Odpowiedzi HTTP 5xx obsługiwane przez gateway mają też osobny diagnostyczny
x-request-id. Bezpieczny identyfikator klienta jest zwracany również w innych odpowiedziach. Gwarancja nie obejmuje błędów proxy przed gatewayem. - Odmowy na poziomie gatewaya, które zdarzają się przed handlerem, takie jak backpressure rejestru lub przeciążenie, mogą wrócić w formacie błędu OpenAI.
# failures from the Messages handlers are Anthropic-shaped: auth and # data-protection refusals included { "type": "error", "error": { "type": "rate_limit_error", "message": "rate limit exceeded" }, "request_id": "req_9f2e…" }
# mcp_servers is refused, not quietly passed through: an external MCP # server called by the model would sit outside the Sluis gate { "type": "error", "error": { "type": "invalid_request_error", "message": "`mcp_servers` is not supported: an external MCP server reached from the model would bypass the Sluis tool gate. Register the server with Sluis and call it through the compliance-native MCP gateway (`/v1/mcp`), which audits and meters every tool call." }, "request_id": "req_4c81…" }
Niepusta tablica mcp_servers jest odrzucana z 400 invalid_request_error zamiast przekazana dalej. Model wywołujący zewnętrzny serwer MCP samodzielnie znalazłby się poza bramką Sluis. Zarejestruj serwer w Konsoli i wywołuj jego narzędzia przez gateway MCP, gdzie każde wykonane wywołanie narzędzia jest sprawdzane, routowane, pieczętowane i mierzone.
Macierz zgodności
Co natywne wejścia obejmują dziś, endpoint po endpoincie. Ta tabela jest deklaracją: czego nie ma tu jako obsługiwane, jest na roadmapie, świadomie odrzucane albo należy do innej powierzchni produktu, nigdy nie jest sugerowane po cichu.
| Anthropic | Status | Uwagi |
|---|---|---|
| POST / | ✓ natywne | Buforowane i strumieniowe, narzędzia, obrazy, bloki dokumentów, round-trip thinking i znaczniki cache promptów. |
| POST / | ✓ lokalne oszacowanie | Obsługiwane lokalnie. Nic nie jest wysyłane. |
| GET / | ✓ natywne | Natywny format list i get z katalogu w procesie. Na ścieżce głównej negocjowany nagłówkiem, pod /anthropic bezwarunkowy. |
| HEAD / | ✓ | Sonda rozgrzewkowa Claude Code, tylko HEAD. |
| Message Batches | ✓ opcjonalne | Dostępne, gdy wdrożenie je włącza: create, list, get, results i cancel, dla modeli rozwiązywanych do Anthropic. W przeciwnym razie 404. Dla innych dostawców użyj /v1/batches w formacie OpenAI. |
| Files | ✗ w planach | Files API nie jest mostkowane. Osadzone bloki dokumentów i file_data pokrywają typową ścieżkę. |
| mcp_servers | ✗ odrzucane | Niepusta tablica jest odrzucana z 400 zamiast przekazana dalej. Zarejestruj serwer i użyj gatewaya MCP Sluis. |
| Skills · Agents · Admin | ✗ poza zakresem | Skills, agenci zarządzani oraz API administracyjne, użycia i kosztów to inna powierzchnia produktu, nie zgodność inferencji. |
Routing między protokołami
Pola specyficzne dla dostawcy przetrwają, dopóki żądanie trafia do dostawcy mówiącego tym samym protokołem. Żądanie Anthropic obsłużone przez dostawcę z rodziny Anthropic zachowuje bloki thinking, znaczniki cache, flagi beta i dopasowane stop_sequence.
Przy routingu między protokołami te pola są odrzucane przy wysyłce, nigdy przy wejściu. Wiersz audytu zapisuje zarówno format przewodowy, jak i rozwiązanego dostawcę, więc każde pogorszenie da się przypisać.
Nieprzezroczyste wartości nigdy nie są przepisywane: podpisy thinking i ładunki redacted_thinking są przekazywane dosłownie albo wcale. Dlatego zaparkowany blok thinking oznaczony przez skan ochrony danych jest usuwany, a nie maskowany: przepisany blok niósłby nieprawidłowy podpis.