API dokumentáció: Uncensored LLM

Hitelesítés és base URL

Az alap URL: HTTPS://api.webtheon.com/v1. Add meg az API-kulcsodat a Authorization header. A kulcs azonnal megjelenik létrehozás után. Használja bármely szabványos OpenAI SDK-val.

Chat completions végpont

Küldjön üzeneteket a POST /v1/chat/completions végpontra. A modell azonosítója uncensored. Ez a végpont csak szöveggenerálást végez. Nincsenek képek, nincsenek hangok, nincsenek beágyazások.

A kérések mérete nem haladhatja meg a 8 MB-ot. A kontextusablak összesen 100,000 tokenre terjed ki. Ez magában foglalja a prompt és a kiegészítés tokenjeinek együttes összegét. A kimenet kéréstenként 16,000 tokenre van korlátova. Ezt a limitet a következő segítségével állíthatja be: max_tokens paraméter.

Modell listázási végpont

Query GET /v1/models az elérhetőség ellenőrzéséhez. Ez a végpont metaadatokat ad vissza az uncensored modellről. Megerősíti a modell azonosítóját és a támogatott paramétereket. Használja ezt a kliens konfigurációk gyors hibakereséséhez.

A válasz tartalmazza a modell azonosítóját, az objektum típusát és az owned by mezőt. Ez segít biztosítani, hogy az ügyfél könyvtár a megfelelő szolgáltatásra mutatson. Ez egy egyszerű egészségügyi ellenőrzés az integrációjához.

Streamelés és token használat

Engedélyezze a streamelést úgy, hogy stream: true. A válaszok Server-Sent Events (SSE) formájában érkeznek. A token-használati adatok a stream utolsó darabjában jelennek meg.

Ez a megközelítés csökkenti a hosszú kimenetek észlelt késleltetését. A szöveg feldolgozását már az érkezésével elkezdheted. Ideális valós idejű felületekhez. A stream tisztán zárul a felhasználási adatokkal.

Paraméterek és opciók

A támogatás tartalmaz hőmérsékletet, top_p értéket, stop szekvenciákat, seed-et és büntetéseket. A JSON módot a response_format. A függvényhívás (eszközök) teljesen támogatott.

Beállítás temperature kreativitás. Állítsa top_p nukleáris mintavételezéshez. Használja seed a reprodukálható kimenetekhez. Ezek a paraméterek pontos kontrollt biztosítanak a generálás minősége felett. A modell a szabványos OpenAI paraméternevekre reagál.

Hibakezelés és korlátok

A kérelemezési korlát percenként 300 kérelem. A párhuzamosság kulcsonként 8 egyidejű kérésben van korlátozva. A kérelem törzsei nem haladhatják meg a 8 MB-ot.

Kezeld gracefully a hibákat. A 401-es állapot azt jelenti, hogy a kulcs érvénytelen. A 402-es állapot elégtelen hitelt jelez. A 429-es állapot sebességkorlátozást jelez. A hibák ingyenesek, tehát nem fogyasztják a előre fizetett tokenjeidet. Ez védi az egyenlegedet hibakeresés közben.

cURL

Copycurl https://api.webtheon.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "what is the capital of france"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.webtheon.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.webtheon.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Streamelés

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)