gpt-oss-120b；避免把不同模型的速度差误算到 Provider。
Providers
API Provider 性能
同一个模型由不同 API 服务商提供时，生成速度、价格和稳定性仍可能相差数倍。
开始返回后每秒生成的 Token 数，数值越高越快。
来源指标会随近期开通区域、负载和服务配置变化。
| Provider | 上下文 | 函数调用 | JSON | 许可 | 单任务成本 | 生成速度 | 首块延迟 | 完整响应 | 推理耗时 |
|---|---|---|---|---|---|---|---|---|---|
| Groq | 131k | 支持 | 支持 | Open | US$0.05 | 479 Token/s | 0.71 秒 | 5.92 秒 | 4.17 秒 |
| Scaleway | 128k | 支持 | 支持 | Open | US$0.07 | 173 Token/s | 1.19 秒 | 15.6 秒 | 11.53 秒 |
| Cloudflare | 116k | 支持 | 支持 | Open | — | 116 Token/s | 1.03 秒 | 22.6 秒 | 17.25 秒 |
| DeepInfra | 131k | 支持 | 支持 | Open | US$0.02 | 49 Token/s | 0.63 秒 | 51.81 秒 | 40.94 秒 |
| Microsoft Azure | 131k | 支持 | 支持 | Open | US$0.06 | 349 Token/s | 0.68 秒 | 7.85 秒 | 5.73 秒 |
| CoreWeave | 131k | 支持 | 支持 | Open | — | 86 Token/s | 1.39 秒 | 30.45 秒 | 23.24 秒 |
| DeepInfra (Turbo) | 131k | 支持 | 支持 | Open | — | 347 Token/s | 0.58 秒 | 7.78 秒 | 5.76 秒 |
| Makora | 128k | — | — | Open | — | 133 Token/s | 0.93 秒 | 19.76 秒 | 15.07 秒 |
| Cerebras | 131k | 支持 | 支持 | Open | US$0.12 | 1,938 Token/s | 0.51 秒 | 1.8 秒 | 1.03 秒 |
| Google Vertex | 131k | 支持 | 支持 | Open | — | 399 Token/s | 0.41 秒 | 6.68 秒 | 5.01 秒 |
| Clarifai | 131k | 支持 | 支持 | Open | — | — | — | — | — |
| Baseten | 128k | 支持 | 支持 | Open | US$0.04 | 320 Token/s | 0.3 秒 | 8.11 秒 | 6.25 秒 |
| SambaNova | 131k | 支持 | 支持 | Open | — | 700 Token/s | 0.95 秒 | 4.52 秒 | 2.86 秒 |
| Parasail | 131k | 支持 | 支持 | Open | — | 185 Token/s | 0.81 秒 | 14.36 秒 | 10.84 秒 |
| CompactifAI | 131k | — | — | Open | US$0.02 | — | — | — | — |
| Fireworks | 131k | 支持 | 支持 | Open | — | 707 Token/s | 2.46 秒 | 6 秒 | 2.83 秒 |
| Nebius | 128k | 支持 | 支持 | Open | — | 308 Token/s | 1.02 秒 | 9.14 秒 | 6.5 秒 |
| Hyperbolic | 131k | — | 支持 | Open | — | — | — | — | — |
| Databricks | 128k | 支持 | 支持 | Open | US$0.06 | 335 Token/s | 0.66 秒 | 8.11 秒 | 5.96 秒 |
| Amazon Bedrock | 131k | 支持 | 支持 | Open | US$0.06 | 116 Token/s | 1.13 秒 | 22.66 秒 | 17.22 秒 |
| Together AI | 131k | 支持 | 支持 | Open | — | 579 Token/s | 0.6 秒 | 4.92 秒 | 3.45 秒 |
| Novita | 131k | 支持 | 支持 | Open | US$0.02 | 111 Token/s | 0.85 秒 | 23.4 秒 | 18.04 秒 |