Integrationsleitfaden
Die Textmodelle hier sprechen die Protokolle, die Ihr SDK bereits spricht: Chat Completions, die zustandslose Responses-Teilmenge, Anthropic Messages und Google generateContent. Interessant wird es bei Parametern, die das Zielmodell nie deklariert hat.
Die Herausforderung
Der klassische Fehler ist kein 500. Es ist ein Parameter, den Ihr Gateway angenommen, verworfen und nie erwähnt hat – das Modell lief ohne Ihre temperature, Ihre Werkzeugdefinitionen oder Ihr Antwortformat, und das Ergebnis wirkte nur enttäuschend statt kaputt.
01
messages, tools, tool_choice, response_format, max_tokens, temperature und top_p bilden auf die deklarierten Felder des Modells ab. Alles andere geht an das Modellschema und ergibt 400, wenn das Modell es nicht kennt. Stillschweigen ist nie die Antwort.
02
Auf /v1 ist der Körper ein OpenAI- oder Anthropic-Fehlerobjekt, nicht der Umschlag {code, msg, data, request_id} von /api/v1. Wer beide Flächen nutzt, behandelt beide Formen.
03
stream: true liefert chat.completion.chunk-Ereignisse, abgeschlossen mit data: [DONE]. Abgerechnet wird weiterhin nach gemessener Nutzung; ein abgebrochener Stream ist keine kostenlose Anfrage.
Der Ansatz
Ändern Sie base_url und api_key, ersetzen Sie die Modellzeichenkette durch einen Wert aus GET /v1/models und lassen Sie Ihre bestehende Testsuite laufen. Ein 400 für einen Parameter heißt: das gewählte Modell hat ihn nie unterstützt – eine Information, die die stille Variante nie geliefert hat.
Jeder OpenAI-kompatible Client funktioniert. Es ändern sich nur Basis-URL und model-Wert.
POST /v1/chat/completions
from openai import OpenAI
client = OpenAI(
base_url="https://api.spicyapi.ai/v1",
api_key=os.environ["SPICY_API_KEY"],
)
stream = client.chat.completions.create(
model="<publisher>/<model>/chat", # exact value from GET /v1/models
messages=[{"role": "user", "content": "Summarise these notes in three bullets."}],
temperature=0.7,
stream=True,
)
for chunk in stream:
print(chunk.choices[0].delta.content or "", end="")text/event-stream
data: {"object":"chat.completion.chunk","choices":[{"delta":{"content":"- "}}]}
data: {"object":"chat.completion.chunk","choices":[{"delta":{"content":"Ships"}}]}
data: [DONE]Vertrag
| Feld oder Header | Wert oder Grenze |
|---|---|
| POST /v1/chat/completions | chat.completion · SSE with stream: true |
| GET /v1/models | every callable model value |
| Authorization: Bearer · x-api-key · x-goog-api-key | accepted on /v1 |
| undeclared parameter | 400 · never silently dropped |
Horizontal wischen, um alle Spalten zu sehen.
Integration
Passung
Belege
/v1/chat/completions, /v1/responses, /v1/messages und /v1beta/models/{model}:generateContent authentifizieren alle mit demselben Schlüssel. Authorization: Bearer, x-api-key und x-goog-api-key werden dort akzeptiert, wo das SDK sie erwartet.
GET /v1/models liefert genau die Bezeichner, die jede /v1- und /api/v1-Operation akzeptiert, mit dem Anbieter in owned_by. Preise stehen in /api/v1/models und sind kontospezifisch und damit privat.
Die Kompatibilitätsschicht nutzt dieselbe Authentifizierung, dieselben Rate Limits, dieselbe Eingabeprüfung, dieselbe Preisbildung und dieselbe Reservierung wie die native Fläche. Nur der Umschlag unterscheidet sich.
Vor dem Start
Häufige Fragen
Modelle
Jeder Link führt auf die Seite der jeweiligen Modellfamilie: Eingaben, Grenzen, Inhaltsrichtlinie und der aktuelle Preis je Einheit.
Weiter
Bestehende OpenAI-, Anthropic- oder Google-Clients hierher zeigen lassen. Was durchgereicht wird, was bewusst abgelehnt wird und wie Text abgerechnet wird.
