中文 ▾

廉价无审查 LLM API:托管与自托管成本

廉价的无审查 LLM API 主要取决于用量:用量低或不稳定时按 token 付费,用量高且稳定时再租用或购买硬件。以下是基于该 API 每 1M token 输入 $0.15、输出 $0.50 费率的计算。

通往服务器机架的长路旁有一条短小的加密货币管道,形象地展示了托管与自托管的成本对比

最后更新于

总结

  • 在 4:1 的输入输出比例下,托管使用计费每 1M token 成本为 $0.22。
  • 一台假设的每月 $100 的服务器,在每月约 455M token 时实现盈亏平衡。
  • 自托管增加了工作量:设置、更新、监控以及你仍需付费的空闲时间。
  • $0.50 的试用额度在相同比例下可覆盖约 2.3M token,足以进行真实测试。

最便宜的选项取决于你的用量

如果你想获取廉价的无审查 LLM API,答案包含两部分。对于中小规模负载,按 token 计费的托管 API 几乎总是更便宜,因为空闲时不产生费用。对于超大规模且持续的负载,在你控制的硬件上自托管模型可能在单 token 价格上胜出,前提是你计算了自己的时间成本。

决定性的数字是本文计算得出的数值:当固定服务器成本等于按 token 计费时的月度 token 量。我们收取每 1M 输入 token $0.15 和每 1M 输出 token $0.50 的费用,从预付额度中扣除,无订阅费。失败或被拒绝的请求不收费,且额度永不过期。以下内容将这两个数字转化为可复用的对比。

托管使用计费成本

从单次请求的角度开始。一次包含 1,500 个输入 token 和 500 个输出 token 的对话轮次,输入成本为 1,500 / 1,000,000 x $0.15 = $0.000225,输出成本为 500 / 1,000,000 x $0.50 = $0.00025。总计 $0.000475。一千次此类请求的成本为 $0.475。

月度负载输入输出成本
个人机器人,3,000 次对话450 万150 万$0.675 + $0.75 = $1.425
小型应用,30,000 轮对话45M1,500 万$6.75 + $7.50 = $14.25
繁忙服务,300,000 轮对话450M150M$67.50 + $75.00 = $142.50

成本呈线性增长,且从 0 开始。表中没有任何一项需要比前两行最低 $20 更高的押金。

充值金额为 $20 到 $500 之间的任意整数,通过加密货币支付(TRC20 链上的 USDT 或 Base 链上的 USDC)。赠送额度从 $50 起 +5%,从 $100 起 +10%,从 $200 起 +15%。因此,$200 的充值将变为 $230 的额度。其中 $30 为赠送部分,约占额度的 13%。

输出是账单集中的地方。在小应用行中,输出仅占 token 的四分之一,但占成本的过半($14.25 中的 $7.50)。如果你想减少支出,首先要求更短的回复。将该行的输出长度减半每月可节省 $3.75,而将输入减半仅节省 $3.375。两者都值得做,且输出节省付出更少的精力。

自托管的真实成本

自行运行无审查的开放权重模型看起来是免费的,因为权重是公开的。成本在其他地方:

  • 硬件。 生成效果好的模型需要显存充足的 GPU,无论是购买还是按小时/月租用。查看你打算使用的提供商的当前租赁价格;我们在此不报价。
  • 空闲时间。 租赁服务器无论处理一个请求还是上千个请求都会计费。
  • 设置与维护。 服务软件、量化选择、更新、监控、重启以及 OpenAI 兼容的封装都是你的工作。
  • 吞吐量规划。 并发数和上下文长度争夺相同的 GPU 显存,因此你需要调整它们或排队请求。
  • 扩展。 流量高峰需要更多服务器。API 会在其限制范围内为你处理高峰。

这些都不是避免自托管的理由。这是在比较之前,先量化你投入的时间的理由。

盈亏平衡点

使用 4:1 的输入输出比例混合两种费率,这在带历史记录的聊天中很常见。输入占比:0.8 x $0.15 = $0.12。输出占比:0.2 x $0.50 = $0.10。混合价格:每 1M token $0.22。

现在用月度服务器成本除以该混合价格。这些服务器成本仅为示例,用于展示方法,并非报价:

月度服务器成本(示例)盈亏平衡量与 1,600 输入 / 400 输出的对话轮次总量相同
$50$50 / $0.22 = 约 2.27 亿 token约 113,600
$100$100 / $0.22 = 约 4.55 亿 token约 227,300
$300$300 / $0.22 = 约 13.6 亿 token约 681,800

低于这些用量时,托管 API 更便宜,即使不计入你自己的时间。高于这些用量时,服务器可以胜出,但前提是它实际处于忙碌状态,并且能够跟上你的峰值并发。此处正式密钥支持 8 个并发请求和每分钟 300 个请求,因此请检查你的峰值是否匹配,或考虑第二个服务器实例的成本。

输出密集型工作会使混合价格上升。在 1:1 的比例下,混合价格为每 1M token $0.325,这使得 $100 服务器的盈亏平衡点降至约 3.08 亿 token。

控制账单的方法

无论选择哪条路线,你都可以降低 token 总量。

  1. 裁剪历史。 旧的对话轮次在每次调用时都作为输入计费。保留最后 10 到 20 条消息,或总结其余部分。
  2. 缩短系统提示词。 30,000 次调用中,1,500 token 的系统提示词总计 4500 万 token,即 $6.75。
  3. 设置输出上限。 输出是更昂贵的部分。对于已知长度的任务使用 max_tokens,并要求简洁的回答。
  4. 不要盲目重试。 遇到 HTTP 429 时,读取 Retry-After 并等待。错误码为 rate_limited 和 concurrency。
  5. 缓存重复内容。 如果你一天内问两次同样的问题,请保存答案。

本站的 成本与权衡分析 更深入地探讨了使用无审查模型时你放弃和获得的内容。

托管侧的隐藏成本

使用计费并非没有权衡,公平起见应列出这些权衡。

  • 限制。 正式密钥允许 8 个并发请求和每分钟 300 个请求。需要多得多的工作负载必须分散到多个密钥或迁移到本地部署。
  • 仅支持一种模型。 你只能使用服务商提供的模型。你无法替换自己的权重或微调模型。
  • 上下文窗口上限。 上下文窗口为 100,000 个 token,包含提示词和补全。
  • 支付渠道。 充值使用加密货币,部分团队可能无法使用。
  • 依赖。 你依赖外部提供商的可用性。不要向你的用户发布依赖于特定正常运行时间指标的承诺,因为此处未说明任何指标。

提示词不用于训练,这回答了部分隐私问题,但如果你的数据高度敏感,始终保留在你网络内的自托管设置仍然是最安全的方案。

简短决策清单

按顺序回答这些问题,并在第一个满足条件的问题处停止。

  1. 你的月用量是否低于租用最便宜服务器的盈亏平衡点?使用托管 API。
  2. 你的数据是否必须保留在你控制的硬件上?自托管,无论价格如何。
  3. 你需要修改模型或运行特定版本吗?自托管。
  4. 你的流量是突发性的还是不可预测的?使用托管 API,按实际运行量付费。
  5. 你的团队中没有人能维护 GPU 服务器吗?使用托管 API。

大多数小团队在前几个月选择托管方案,只有当月度账单接近他们以高利用率运行服务器的价格时才会重新考虑。

花费 $0.50 试用

你无需猜测。新用户只需在 API 密钥页面 点击一次即可领取 $0.50 免费试用额度,有效期 7 天,每人限领一次,无需提供支付信息。按每 1M token 混合费率 $0.22 计算,这约等于 2.27M token,或约 1,050 轮 1,500/500 规模的对话。

此快速检查测量你每次调用的实际成本,你可以将其乘以预期用量:

curl https://api.webtheon.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a 150-word scene opening for a space-western."}]
  }'

响应包含一个 usage 块,X-Balance-USD 标头显示你的剩余额度。试用密钥以 2 个并发请求和每分钟 60 个请求的速度运行,这足以满足测试需求。文档 和 定价页面 涵盖其余内容。注意适用范围:一个文本模型,100,000 token 上下文,无图像、音频、嵌入或微调。

常见问题

使用无审查 LLM 最便宜的方式是什么?

对于低或不稳定的用量,按 token 付费的托管 API 更划算,因为空闲时不收费。在 4:1 的输入输出比例下,该 API 的成本约为每 1M token $0.22。

自托管何时更便宜?

当你的月度 token 量超过服务器成本除以混合价格时。以 $100 服务器和每 1M token $0.22 为例,这大约是每月 455M token,尚未计算你的时间。

有免费方式测试此 API 吗?

新用户可在 API 密钥页面一键领取 $0.50 免费试用额度。有效期 7 天,无需支付信息,每人限领一次。

我该如何付款?

使用加密货币:TRC20 上的 USDT 或 Base 上的 USDC。充值金额从 $20 到 $500 不等,较高金额可获得 5%、10% 和 15% 的额外额度。

未使用的额度会过期吗?

不是。额度为预付,永不过期,且无订阅。

即时获取 API 密钥

注册,复制 token,更新基础 URL。完成。