lijiaoqiao/docs/llm_gateway_competitor_function_business_2026-03-16.md

# 商用 LLM 通用转发网关竞品全景调研（功能清单 + 商业模型 + 技术优劣）

- 版本：v1.0（可评审版）
- 日期：2026-03-16
- 阶段定位：产品与市场阶段（非技术实现设计）
- 适用对象：产品负责人、商业负责人、技术管理层、投融资材料准备

## 0. 阶段声明

本文档用于回答“是否值得做、怎么切入、先做什么”三类问题。

本阶段**不展开**数据库、服务拆分、接口实现细节；仅输出：

1. 竞品功能清单与覆盖差异
2. 竞品商业模型与定价逻辑
3. 技术能力优劣（平台成熟度层面）
4. 我方可执行的产品切入与机会空白

## 1. 研究边界与方法

## 1.1 目标产品定义

目标产品是“商用 LLM 通用转发网关”，核心能力是：

1. 多模型统一接入（OpenAI 兼容/原生协议）
2. 路由与回退（成本、延迟、可用性、多策略）
3. 治理与风控（预算、配额、权限、审计）
4. 可观测与经营（成本看板、告警、账单、归因）

## 1.2 样本分层

本次样本分三层：

1. 商业化 AI 网关（直接竞争）：OpenRouter、Portkey、Cloudflare AI Gateway、Helicone、Kong AI Gateway
2. 开源网关（价格天花板竞争）：LiteLLM OSS、One-API、New-API、Sub2API
3. 云厂商平台（替代竞争）：AWS Bedrock、Google Vertex AI、Azure AI

## 1.3 信息来源原则

1. 优先官方文档、官方定价页、官方仓库/官方 API
2. 对无法完全核验的字段，标注“公开信息未完全披露”
3. 开源热度采用 GitHub 官方 API（2026-03-16 当天采集）

## 2. 竞品分层与定位地图

| 层级 | 代表产品 | 主要购买方 | 主要卖点 | 主要短板/风险 |
|---|---|---|---|---|
| 商业 AI 网关 | OpenRouter / Portkey / Cloudflare / Helicone / Kong | AI 团队、平台团队、企业采购 | 快速上线、平台化治理、SLA/支持 | 价格与锁定、功能边界受平台约束 |
| 开源网关 | LiteLLM OSS / One-API / New-API / Sub2API | 成本敏感团队、DevOps 能力团队 | 零 license、可控可改、上线快 | 运维/合规/SLA 自担 |
| 云厂商替代 | Bedrock / Vertex / Azure AI | 已重度上云企业 | 合规与采购便利、生态整合 | 跨云治理弱、迁移成本高 |

## 3. 核心竞品标准化卡片（商业 + 开源）

## 3.1 OpenRouter

- 定位：多模型聚合与交易型路由平台，强调“统一 API + 提升可用性”。
- 目标客户：独立开发者、中小团队、需要快速接入多模型的产品团队。
- 关键能力：
  1. 提供 provider routing（排序、fallback、参数兼容约束）
  2. 支持按价格/延迟/吞吐路由偏好
  3. 支持 BYOK 与数据策略控制字段
- 商业模型：
  1. 推理价格按上游透传
  2. 充值时收取平台费（FAQ 公布 5.5%，最低 0.8 美元）
  3. BYOK 超阈值后按比例收取服务费
- 优势：模型覆盖广、接入速度快、路由能力产品化强。
- 短板：企业私有化与深度合规能力相对有限，采购链路偏“开发者自助”。

## 3.2 Portkey

- 定位：AI Gateway + Guardrails + Observability 一体化生产平台。
- 目标客户：中大型 AI 团队、强调治理与生产稳定性的组织。
- 关键能力：
  1. 配置化路由（负载、回退、可组合策略）
  2. 观测、告警、策略控制、治理能力并列提供
  3. 强调组织级运营能力（跨项目管理）
- 商业模型：
  1. 公开套餐化（官网展示免费/成长/企业路径）
  2. 企业合同与支持服务并行
  3. 常见模式为平台订阅 + 用量增长
- 优势：功能面完整，偏“生产控制台”而非单纯转发器。
- 短板：对小团队可能偏重，学习和治理配置复杂度高于轻量网关。

## 3.3 Cloudflare AI Gateway

- 定位：依托 Cloudflare 网络边缘能力的 AI 网关与观测层。
- 目标客户：已使用 Cloudflare 的开发团队与企业平台团队。
- 关键能力：
  1. OpenAI 兼容统一端点
  2. 日志、缓存、限流、重试与回退
  3. 动态路由（条件、比例、预算限制、版本管理）
- 商业模型：
  1. 核心功能免费（文档明确）
  2. 持久日志与 Logpush 基于配额/计划计费
  3. 企业版价格走客户经理/合同
- 优势：边缘网络与全球可用性、与现有 Cloudflare 体系集成紧密。
- 短板：跨云中立能力虽有，但企业常会被其生态绑定。

## 3.4 Helicone

- 定位：LLM 观测与成本优化平台，内含网关能力。
- 目标客户：先监控再治理的成长型 AI 团队。
- 关键能力：
  1. 请求级追踪、分析、评估
  2. 网关能力（缓存、限流、fallback 等）
  3. 注重成本可视化与运营闭环
- 商业模型：
  1. 公开分层：Hobby 免费、Pro/Team/Enterprise
  2. 座席 + 用量计费并行
  3. 企业版提供 SSO、私有化、合同能力
- 优势：观测产品成熟、上手快、性价比高。
- 短板：在“企业级治理深度”上通常弱于重平台化网关。

## 3.5 Kong AI Gateway

- 定位：从 API Gateway 领军平台延展至 AI 流量治理与安全。
- 目标客户：大型企业、已有 API 平台治理基础的组织。
- 关键能力：
  1. Universal API（多模型统一接入）
  2. AI 插件体系（安全、治理、路由、观测、RAG 注入）
  3. 企业级身份、审计、控制面整合
- 商业模型：
  1. 平台订阅（Konnect Plus/Enterprise）
  2. AI 能力作为 add-on 或模型代理配额收费
  3. 企业合同主导
- 优势：企业采购成熟、治理与安全体系完整、组织落地能力强。
- 短板：成本和引入门槛较高，中小团队早期采用摩擦大。

## 3.6 LiteLLM OSS / Enterprise

- 定位：开发者友好的多模型统一 SDK + Proxy（OpenAI 兼容）。
- 目标客户：平台工程团队、希望自建网关的组织。
- 关键能力：
  1. 多 provider 统一调用与代理
  2. 虚拟 Key、预算、团队治理、回退与负载
  3. 企业版补充 SSO/SCIM/JWT/支持服务
- 商业模型：
  1. OSS 免费（MIT）
  2. Enterprise 合同收费（SaaS 或自管）
- 优势：生态活跃、扩展快、可作为自建底座。
- 短板：OSS 到企业级落地仍需工程投入，复杂场景需要二次治理。

## 3.7 One-API（开源）

- 定位：经典 API 聚合与二次分发系统。
- 目标客户：预算敏感、追求快速上线的团队。
- 关键能力：
  1. 多模型统一入口
  2. 基础分发与额度管理
  3. 部署简单、社区基础大
- 商业模型：开源为主（MIT）。
- 优势：部署快、学习成本低。
- 短板：高级调度、企业治理、可观测深度相对有限。

## 3.8 New-API（开源）

- 定位：高活跃多协议聚合平台，强调 OpenAI/Claude/Gemini 兼容。
- 目标客户：需要多协议快速接入的中小团队。
- 关键能力：
  1. 协议覆盖广
  2. 预扣/结算计费链路、重试与通道治理
  3. 高迭代发布节奏
- 商业模型：开源为主，AGPLv3。
- 优势：功能覆盖广、更新频繁。
- 短板：AGPL 合规约束对闭源商用影响显著。

## 3.9 Sub2API（开源，高增长）

- 定位：面向订阅配额分发的 AI API Gateway。
- 目标客户：对成本非常敏感、希望快速中转的团队。
- 关键能力：
  1. 多账户/多 key/精细计费
  2. 调度策略较深（会话粘性 + 负载）
  3. 运营控制面完整度在开源项目中较强
- 商业模型：开源（MIT），以社区传播驱动。
- 优势：增长快、调度与运营字段较完整。
- 短板：企业合规、条款风险、商业支持体系需自担。

## 4. 竞品功能清单（54 项）

说明：以下为“商用 LLM 网关”功能全景清单，按产品能力域分组。建议你们把它作为 PRD 功能池与版本裁剪基线。

## 4.1 接入与协议（A01-A10）

| ID | 功能项 | 业务价值 |
|---|---|---|
| A01 | OpenAI 兼容接口 | 降低迁移成本 |
| A02 | 原生协议透传（Anthropic/Gemini 等） | 覆盖更多场景 |
| A03 | 多模型统一模型目录 | 减少模型选择成本 |
| A04 | 多 provider 凭证管理 | 支持多供应商并行 |
| A05 | BYOK（自带上游 Key） | 满足企业合规与成本控制 |
| A06 | 统一 SDK/客户端 | 降低接入复杂度 |
| A07 | 流式输出兼容 | 保障交互体验 |
| A08 | 多模态接口支持（图像/音频） | 拓展业务边界 |
| A09 | 批处理接口 | 降本增效 |
| A10 | 模型能力标签（上下文、工具调用、响应格式） | 提高路由准确率 |

## 4.2 路由与弹性（R01-R10）

| ID | 功能项 | 业务价值 |
|---|---|---|
| R01 | 基础负载均衡 | 提升吞吐稳定性 |
| R02 | 主备回退链 | 提升可用性 |
| R03 | 重试策略（指数退避） | 降低瞬时失败 |
| R04 | 会话粘性路由 | 保障上下文连续性 |
| R05 | 按成本排序路由 | 降低单位调用成本 |
| R06 | 按延迟排序路由 | 优化用户体验 |
| R07 | 按吞吐排序路由 | 优化批量任务效率 |
| R08 | 条件路由（用户分层/场景） | 精细化运营 |
| R09 | 灰度/比例路由（A/B） | 降低模型切换风险 |
| R10 | 熔断与自动恢复 | 避免故障扩散 |

## 4.3 治理与安全（G01-G10）

| ID | 功能项 | 业务价值 |
|---|---|---|
| G01 | 多租户隔离 | 支持企业组织结构 |
| G02 | RBAC 权限模型 | 降低误操作风险 |
| G03 | API Key 生命周期管理 | 保障密钥安全 |
| G04 | SSO/OIDC/SAML | 企业集成必备 |
| G05 | 审计日志 | 满足审计与追责 |
| G06 | 敏感信息脱敏/PII 处理 | 合规要求 |
| G07 | 模型白名单/黑名单 | 规范调用范围 |
| G08 | 提示词防护/内容安全 | 降低安全与品牌风险 |
| G09 | 区域与数据边界策略 | 满足数据驻留要求 |
| G10 | 策略版本与回滚 | 降低配置变更风险 |

## 4.4 成本与计费（C01-C08）

| ID | 功能项 | 业务价值 |
|---|---|---|
| C01 | 请求级 token 成本核算 | 精准经营 |
| C02 | 预扣-结算-退款链路 | 账实一致 |
| C03 | 预算（租户/团队/key） | 防止失控消费 |
| C04 | 配额周期管理（日/周/月） | 可运营化控制 |
| C05 | 成本归因（项目/用户/功能） | ROI 分析 |
| C06 | 成本告警（阈值/异常） | 及时止损 |
| C07 | 成本优化建议（模型替代） | 持续降本 |
| C08 | 发票/账单导出 | 财务对账 |

## 4.5 可观测与运维（O01-O08）

| ID | 功能项 | 业务价值 |
|---|---|---|
| O01 | 请求日志检索 | 故障排查 |
| O02 | 成功率/延迟监控 | SLA 管理 |
| O03 | 模型级性能对比 | 路由优化 |
| O04 | Trace 级链路追踪 | 定位瓶颈 |
| O05 | 自定义标签/元数据 | 业务分析 |
| O06 | 告警中心（邮件/IM/Webhook） | 快速响应 |
| O07 | 仪表盘与运营看板 | 管理层可视化 |
| O08 | 长期日志归档与检索 | 审计与复盘 |

## 4.6 生态与交付（E01-E08）

| ID | 功能项 | 业务价值 |
|---|---|---|
| E01 | SaaS 部署 | 快速上线 |
| E02 | 私有化部署 | 满足合规 |
| E03 | 混合部署 | 平衡灵活与安全 |
| E04 | Terraform/声明式配置 | 平台工程标准化 |
| E05 | Webhook/事件订阅 | 与业务系统联动 |
| E06 | 插件机制 | 可扩展能力 |
| E07 | SIEM/Observability 集成 | 融合企业工具链 |
| E08 | 商业支持与 SLA | 降低生产风险 |

## 5. 关键能力覆盖矩阵（P0 级 20 项）

说明：`✅`=公开明确支持，`◐`=部分/需组合实现，`-`=未见公开明确说明。

| 功能 | OpenRouter | Portkey | Cloudflare | Helicone | Kong | LiteLLM OSS | One-API | New-API | Sub2API |
|---|---|---|---|---|---|---|---|---|---|
| OpenAI 兼容接口 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| 多 provider 路由 | ✅ | ✅ | ✅ | ◐ | ✅ | ✅ | ◐ | ✅ | ✅ |
| 自动 fallback | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ◐ | ✅ | ✅ |
| 负载均衡 | ◐ | ✅ | ✅ | ◐ | ✅ | ✅ | ◐ | ✅ | ✅ |
| BYOK | ✅ | ✅ | ✅ | ◐ | ✅ | ✅ | ◐ | ◐ | ◐ |
| 缓存 | ◐ | ✅ | ✅ | ✅ | ✅ | ✅ | ◐ | ◐ | ◐ |
| 限流 | ◐ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| 预算管理 | ◐ | ✅ | ✅（动态路由预算节点） | ◐ | ✅ | ✅ | ◐ | ✅ | ✅ |
| 成本看板 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ◐ | ✅ | ✅ |
| 组织/团队管理 | ◐ | ✅ | ◐ | ✅ | ✅ | ✅ | ◐ | ✅ | ✅ |
| SSO/SAML/OIDC | 企业版 | 企业版 | Cloudflare 体系 | 企业版 | 企业版 | 企业版 | - | - | - |
| 审计日志 | ◐ | ✅ | ✅ | ✅ | ✅ | 企业版 | - | ◐ | ◐ |
| 可观测追踪 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ◐ | ✅ | ✅ |
| 灰度/比例路由 | ◐ | ✅ | ✅ | ◐ | ✅ | ◐ | - | ◐ | ◐ |
| 数据策略/隐私控制 | ✅ | ✅ | ✅ | ✅ | ✅ | ◐ | - | ◐ | ◐ |
| 策略可组合 | ◐ | ✅ | ✅ | ◐ | ✅ | ◐ | - | ◐ | ◐ |
| 私有化部署 | - | 可选 | - | 企业版 | ✅ | ✅ | ✅ | ✅ | ✅ |
| 插件/扩展能力 | ◐ | ◐ | ◐ | ◐ | ✅ | ✅ | ◐ | ✅ | ✅ |
| 企业 SLA 支持 | 企业版 | ✅ | ✅ | ✅ | ✅ | 企业版 | - | - | - |
| 合规能力（SOC2/HIPAA 等） | ◐ | 企业版 | Cloudflare 体系 | Team/Enterprise 提供 | 企业版 | 企业版 | - | - | - |

## 6. 商业模型矩阵（重点）

## 6.1 模型类型

| 商业模型 | 代表玩家 | 收费逻辑 | 对客户吸引点 | 对我方的启示 |
|---|---|---|---|---|
| 推理透传 + 平台费 | OpenRouter | 模型价透传，充值/服务费 | 成本透明、上手快 | 可作为“低摩擦入口”模型 |
| 订阅 + 用量 | Helicone、Portkey（常见） | 基础套餐 + 请求/存储/事件增量 | 可预测支出 + 可扩展 | 适合 SaaS 中腰部客户 |
| 平台订阅 + AI Add-on | Kong | 基础平台 + AI 模块附加 | 企业治理统一采购 | 高客单价但销售周期长 |
| 云生态捆绑计费 | Cloudflare | 计划配额 + 增量特性计费 | 与现有云资源整合 | 强生态对抗靠跨云中立 |
| 开源免费 + 企业授权 | LiteLLM | OSS 免费，企业版收费 | 先试后买、开发者友好 | 建议采用双轮驱动策略 |
| 开源自建 | One-API/New-API/Sub2API | license 免费，运维自担 | 最低软件成本 | 迫使商用版必须提供“非代码价值” |

## 6.2 定价指标（行业常见）

1. 按请求量（requests）
2. 按日志事件/存储量（logs/events/storage）
3. 按模型代理数（model proxy）
4. 按组织/座席（org/seats）
5. 按账单量或平台分润（billing volume/fee）
6. 按企业功能包（SSO/审计/私有化/SLA）

## 6.3 商业模型优劣

| 模式 | 优点 | 缺点 | 适配阶段 |
|---|---|---|---|
| 纯加价分润 | 规则简单、现金流快 | 同质化强、被价格战击穿 | 不建议作为主模式 |
| 纯订阅 | 收入稳定、可预测 | 初期成交门槛高 | 中后期可强化 |
| 混合（BYOK + 订阅 + 企业年约） | 可兼顾增长与利润 | 产品和销售复杂度更高 | 建议主路径 |

## 7. 技术优劣（平台成熟度视角）

评分范围：1（弱）-5（强），用于商业判断，不代表代码质量绝对值。

| 维度 | OpenRouter | Portkey | Cloudflare | Helicone | Kong | LiteLLM | One-API | New-API | Sub2API |
|---|---:|---:|---:|---:|---:|---:|---:|---:|---:|
| 接入广度 | 5 | 5 | 4 | 4 | 5 | 5 | 4 | 5 | 4 |
| 路由策略深度 | 5 | 5 | 4 | 3 | 5 | 4 | 3 | 4 | 4 |
| 成本治理能力 | 4 | 5 | 4 | 4 | 4 | 4 | 3 | 4 | 4 |
| 企业治理能力 | 3 | 5 | 4 | 4 | 5 | 4 | 2 | 3 | 3 |
| 可观测成熟度 | 4 | 5 | 4 | 5 | 5 | 4 | 2 | 4 | 4 |
| 部署灵活性 | 2 | 4 | 2 | 4 | 5 | 5 | 5 | 5 | 5 |
| 合规与采购友好 | 3 | 4 | 5 | 4 | 5 | 4 | 2 | 2 | 2 |
| 生态与渠道能力 | 4 | 4 | 5 | 3 | 5 | 4 | 3 | 3 | 3 |

### 关键观察

1. 商业化赛道中，Portkey/Kong 更偏“企业治理平台”；OpenRouter 更偏“交易聚合路由”。
2. Cloudflare 的边缘与平台集成强，但跨云中立价值是其薄弱环节。
3. Helicone 在观测与运营视角强，适合作为“先观测后治理”的切入。
4. 开源赛道在“基础能力”上已足够成熟，商业产品必须强化治理、合规、SLA、组织协同价值。

## 8. 开源项目运营信号（GitHub 官方 API）

采样时间：2026-03-16。

| 项目 | Star | Fork | License | 最近推送 | 备注 |
|---|---:|---:|---|---|---|
| LiteLLM | 39,228 | 6,434 | MIT（仓库 API 显示 NOASSERTION，仓库内 LICENSE 为 MIT） | 2026-03-16 | 社区与生态最强 |
| One-API | 30,599 | 5,838 | MIT | 2026-01-09 | 中文社区影响力大 |
| New-API | 21,019 | 4,067 | AGPLv3 | 2026-03-16 | 高活跃，高合规约束 |
| Sub2API | 5,915 | 894 | MIT | 2026-03-16 | 增长快，运营导向明显 |

## 9. 机会空白（可用于你们产品定位）

## 9.1 市场尚未被充分满足的需求

1. 多租户 FinOps 自动化：不仅展示成本，还要自动给出路由降本建议并可回放验证。
2. 业务语义路由：按“场景目标（准确率/速度/预算）”驱动路由，而非仅按模型名。
3. 财务对账闭环：预算、账单、团队归因、异常追责一体化。
4. 合规策略模板：按行业（金融/医疗/出海）提供可落地策略包。
5. “开源友好 + 企业可升级”：让技术团队先低成本接入，再平滑升级到企业治理版。

## 9.2 建议定位语（可选）

“不是另一个 API 转发器，而是企业 AI 成本与治理控制面。”

## 10. 对你项目的可执行结论

1. 基础接入和转发能力不是壁垒，必须用“治理 + FinOps + 合规”打差异化。
2. 商业模型建议从第一天就采用混合：
   - 自助版（BYOK + 免费额度）
   - 增长版（订阅 + 用量）
   - 企业版（年约 + 私有化 + SLA）
3. 首发版本不要追“模型最多”，而要追“企业采购可解释价值”：
   - 成本可控
   - 风险可控
   - 责任可追溯

## 11. 下一轮补充调研（建议 2 周内）

1. 客户访谈：
   - 10 家中型 AI 团队（技术负责人）
   - 5 家企业安全/合规负责人
2. 商务访谈：
   - 5 位有采购权的 IT/平台负责人
3. 定价调研：
   - 做一轮 Van Westendorp（100+ 样本）
   - 验证“按组织 + 按请求 + 企业功能包”接受度
4. 竞品实测：
   - 选 3 家商业网关做 2 周试运行
   - 对比接入时长、治理能力、成本可解释性

## 12. 参考来源（官方优先）

- OpenRouter Provider Routing: https://openrouter.ai/docs/features/provider-routing
- OpenRouter FAQ（费用与 BYOK）: https://openrouter.ai/docs/faq
- Portkey 官网: https://portkey.ai/
- Portkey Fallbacks: https://docs.portkey.ai/docs/product/ai-gateway/fallbacks
- Portkey Load Balancing: https://docs.portkey.ai/docs/product/ai-gateway/load-balancing
- Cloudflare AI Gateway 概览: https://developers.cloudflare.com/ai-gateway/
- Cloudflare Unified API: https://developers.cloudflare.com/ai-gateway/usage/chat-completion/
- Cloudflare Dynamic Routing: https://developers.cloudflare.com/ai-gateway/features/dynamic-routing/
- Cloudflare Pricing: https://developers.cloudflare.com/ai-gateway/reference/pricing/
- Helicone Pricing: https://www.helicone.ai/pricing
- Kong AI Gateway 产品页: https://konghq.com/products/kong-ai-gateway
- Kong AI Gateway 文档: https://developer.konghq.com/ai-gateway/
- Kong AI Proxy 插件: https://docs.konghq.com/hub/kong-inc/ai-proxy/
- Kong Pricing: https://konghq.com/pricing
- LiteLLM 官网: https://www.litellm.ai/
- LiteLLM Enterprise: https://www.litellm.ai/enterprise
- LiteLLM Virtual Keys: https://docs.litellm.ai/docs/proxy/virtual_keys
- GitHub API - one-api: https://api.github.com/repos/songquanpeng/one-api
- GitHub API - new-api: https://api.github.com/repos/QuantumNous/new-api
- GitHub API - litellm: https://api.github.com/repos/BerriAI/litellm
- GitHub API - sub2api: https://api.github.com/repos/Wei-Shaw/sub2api