Tài liệu API: LLM không kiểm duyệt

Xác thực và base URL

URL cơ sở là HTTPS://api.webtheon.com/v1. Truyền khóa API của bạn trong Authorization header. Khóa được hiển thị ngay sau khi tạo. Sử dụng nó với bất kỳ SDK OpenAI tiêu chuẩn nào.

Endpoint hoàn thành trò chuyện

Gửi tin nhắn đến POST /v1/chat/completions. Model ID là uncensored. Điểm cuối này chỉ xử lý tạo văn bản. Không có hình ảnh, không có âm thanh, không có embedding.

Yêu cầu phải dưới 8 MB. Cửa sổ ngữ cảnh bao gồm tổng cộng 100,000 token. Điều này bao gồm cả token prompt và token kết hợp. Đầu ra bị giới hạn ở 16,000 token mỗi yêu cầu. Bạn có thể điều chỉnh giới hạn này bằng cách sử dụng max_tokens tham số.

Điểm cuối danh sách mô hình

Gửi yêu cầu GET /v1/models để xác minh tính khả dụng. Endpoint này trả về siêu dữ liệu về mô hình uncensored. Nó xác nhận ID mô hình và các tham số được hỗ trợ. Hãy sử dụng bước này để gỡ lỗi nhanh chóng các cấu hình client.

Phản hồi bao gồm ID mô hình, loại đối tượng và trường owned by. Điều này giúp bạn đảm bảo thư viện client của mình đang trỏ đến dịch vụ đúng. Đây là một kiểm tra sức khỏe đơn giản cho tích hợp của bạn.

Streaming và sử dụng token

Bật phát trực tiếp bằng cách đặt stream: true. Phản hồi đến dưới dạng Server-Sent Events (SSE). Chi tiết sử dụng token xuất hiện trong chunk cuối cùng của luồng dữ liệu.

Cách tiếp cận này giảm độ trễ cảm nhận đối với các đầu ra dài. Bạn có thể bắt đầu xử lý văn bản khi nó được gửi đến. Phương pháp này lý tưởng cho các giao diện thời gian thực. Luồng dữ liệu kết thúc sạch sẽ kèm theo dữ liệu sử dụng.

Tham số và tùy chọn

Hỗ trợ bao gồm nhiệt độ, top_p, chuỗi dừng, seed và các hình phạt. Bạn có thể buộc chế độ JSON thông qua response_format. Gọi hàm (công cụ) được hỗ trợ đầy đủ.

Đặt temperature để sáng tạo. Điều chỉnh top_p để lấy mẫu nucleus. Sử dụng seed để có đầu ra có thể tái lập. Các tham số này cho phép bạn kiểm soát chính xác chất lượng đầu ra. Mô hình phản hồi với các tên tham số tiêu chuẩn của OpenAI.

Xử lý lỗi và giới hạn

Giới hạn tốc độ là 300 yêu cầu mỗi phút. Độ đồng thời được giới hạn ở 8 yêu cầu đồng thời mỗi khóa. Thân yêu cầu không được vượt quá 8 MB.

Xử lý lỗi một cách mượt mà. Trạng thái 401 có nghĩa là khóa của bạn không hợp lệ. Trạng thái 402 cho biết số dư không đủ. Trạng thái 429 báo hiệu đã vượt quá giới hạn tốc độ. Lỗi là miễn phí, vì vậy chúng không tiêu tốn token trả trước của bạn. Điều này bảo vệ số dư của bạn trong quá trình gỡ lỗi.

cURL

Copycurl https://api.webtheon.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "what is the capital of france"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.webtheon.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.webtheon.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Phát trực tiếp

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)