เอกสาร API: LLM uncensored

Authentication and base URL

URL ฐานคือ HTTPS://api.webtheon.com/v1 ส่งคีย์ API ของคุณใน Authorization header. คีย์จะแสดงทันทีหลังจากสร้าง ใช้ร่วมกับ SDK มาตรฐานของ OpenAI ใดๆ ก็ได้

จุดจบ API Chat completions

ส่งข้อความไปยัง POST /v1/chat/completations ID โมเดลคือ uncensored. เอนด์พอยต์นี้จัดการการสร้างข้อความเท่านั้น ไม่มีรูปภาพ ไม่มีเสียง ไม่มี embeddings

คำขอต้องมีขนาดไม่เกิน 8 MB หน้าต่างบริบทรองรับโทเค็นรวมกันได้ 100,000 โทเค็น ซึ่งรวมถึงโทเค็นของคำสั่งเริ่มต้นและผลลัพธ์รวมกัน ผลลัพธ์จะถูกจำกัดไว้ที่ 16,000 โทเค็นต่อคำขอ คุณสามารถปรับจำกัดนี้โดยใช้ max_tokens พารามิเตอร์

เอนด์พอยต์รายการโมเดล

ส่ง Query GET /v1/models เพื่อตรวจสอบความพร้อมใช้งาน endpoint นี้จะคืน metadata ของโมเดล uncensored เพื่อยืนยัน model ID และพารามิเตอร์ที่รองรับ ใช้ขั้นตอนนี้เพื่อแก้ปัญหาการตั้งค่า client ได้อย่างรวดเร็ว

การตอบสนองรวมถึง ID ของโมเดล ประเภทออบเจ็กต์ และฟิลด์ owned โดย สิ่งนี้ช่วยให้คุณตรวจสอบให้แน่ใจว่าไลบรารีไคลเอนต์ของคุณชี้ไปยังบริการที่ถูกต้อง เป็นการตรวจสอบสถานะแบบง่ายสำหรับการผสานรวมของคุณ

การสตรีมมิ่งและการใช้งานโทเค็น

เปิดใช้งานการสตรีมโดยตั้งค่า stream: true. การตอบกลับจะมาในรูปแบบ Server-Sent Events (SSE) รายละเอียดการใช้โทเค็นจะปรากฏในชิ้นสุดท้ายของสตรีม

วิธีนี้ช่วยลดความล่าช้าที่ผู้ใช้รู้สึกเมื่อได้รับคำตอบยาว คุณสามารถเริ่มประมวลผลข้อความได้ทันทีที่ข้อมูลมาถึง เหมาะสำหรับอินเทอร์เฟซแบบเรียลไทม์ การสตรีมจะจบลงอย่างเรียบร้อยพร้อมข้อมูลการใช้งาน

Parameters and options

รองรับ temperature, top_p ลำดับ stop seed และค่าปรับ คุณสามารถบังคับใช้โหมด JSON ผ่าน response_format. การเรียกใช้ฟังก์ชัน (เครื่องมือ) รองรับอย่างเต็มที่

ตั้งค่า temperature สำหรับความคิดสร้างสรรค์ ปรับ top_p สำหรับการสุ่มแบบ nucleus ใช้ seed เพื่อความ Outputs ที่ทำซ้ำได้ พารามิเตอร์เหล่านี้ให้คุณควบคุมคุณภาพการสร้างได้อย่างแม่นยำ โมเดลตอบสนองต่อชื่อพารามิเตอร์มาตรฐานของ OpenAI

การจัดการข้อผิดพลาดและขีดจำกัด

อัตราจำกัดการเรียกใช้คือ 300 ครั้งต่อนาที การเรียกใช้พร้อมกันจำกัดไว้ที่ 8 ครั้งต่อคีย์ บอดี้ของการเรียกใช้ต้องมีขนาดไม่เกิน 8 MB

จัดการข้อผิดพลาดอย่างสุภาพ สถานะ 401 หมายถึงคีย์ของคุณไม่ถูกต้อง สถานะ 402 หมายถึงเครดิตไม่เพียงพอ สถานะ 429 หมายถึงการจำกัดอัตราการใช้งาน ข้อผิดพลาดไม่คิดเงิน ดังนั้นจึงไม่ใช้โทเค็นที่ชำระล่วงหน้าของคุณ สิ่งนี้ปกป้องยอดคงเหลือของคุณระหว่างการดีบัก

cURL

Copycurl https://api.webtheon.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "what is the capital of france"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.webtheon.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.webtheon.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

การสตรีม

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)