Dokumentace k API: LLM bez omezení

Ověření a základní URL

Základní URL je HTTPS://api.webtheon.com/v1. Předáte svůj klíč API v Authorization hlavička. Klíč se zobrazí ihned po vytvoření. Použijte jej s jakýmkoli standardním SDK OpenAI.

Endpoint Chat completions

Pošlete zprávy na POST /v1/chat/completions. ID modelu je uncensored. Tento endpoint zpracovává pouze text. Žádné obrázky, žádné audio, žádné vektory (embeddings).

Požadavky musí být menší než 8 MB. Okno kontextu má celkem 100 000 tokenů. To zahrnuje kombinaci tokenů promptu a dokončení. Výstup je omezen na 16 000 tokenů na požadavek. Toto omezení můžete upravit pomocí max_tokens parametr.

Koncový bod pro výpis modelů

Pošlete požadavek GET /v1/models pro ověření dostupnosti. Tento endpoint vrací metadata o modelu bez omezení. Potvrzuje ID modelu a podporované parametry. Použijte ho k rychlému ladění konfigurace klienta.

Odpověď zahrnuje ID modelu, typ objektu a pole owned by. To vám pomůže zajistit, že vaše knihovna klientů ukazuje na správnou službu. Je to jednoduchá kontrola stavu pro vaši integraci.

Streamování a využití tokenů

Povolte streamování nastavením stream: true. Odpovědi přicházejí jako Server-Sent Events (SSE). Podrobnosti o spotřebě tokenů se objeví v posledním chunku streamu.

Tento přístup snižuje vnímanou latenci u dlouhých výstupů. Text můžete zpracovávat ihned po jeho příjmu. Je ideální pro rozhraní v reálném čase. Stream končí čistě s údaji o využití.

Parametry a možnosti

Podpora zahrnuje teplotu, top_p, sekvence stop, seed a penalizace. Režim JSON můžete vynutit přes response_format. Volání funkcí (nástroje) je plně podporováno.

Nastavit temperature pro kreativitu. Upravte top_p pro nucleus sampling. Použijte seed pro reprodukovatelné výstupy. Tyto parametry vám poskytují přesnou kontrolu nad kvalitou generování. Model reaguje na standardní názvy parametrů OpenAI.

Zpracování chyb a limity

Limity rychlosti jsou 300 požadavků za minutu. Souběžnost je omezena na 8 současných požadavků na klíč. Těla požadavků nesmí překročit 8 MB.

Chyby zpracovávejte elegantně. Stav 401 znamená, že je váš klíč neplatný. Stav 402 indikuje nedostatek kreditu. Stav 429 signalizuje omezení rychlosti. Chyby jsou zdarma, takže nespotřebovávají vaše předplacené tokeny. To chrání váš zůstatek při ladění.

cURL

Copycurl https://api.webtheon.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "what is the capital of france"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.webtheon.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.webtheon.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Streamování

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)