237 lines
7.3 KiB
Markdown
237 lines
7.3 KiB
Markdown
# 商用 LLM 通用转发网关 PRD v1（冻结版）
|
||
|
||
- 版本：v1.0（冻结稿）
|
||
- 日期：2026-03-25
|
||
- 文档类型：产品需求文档（冻结版，含执行映射）
|
||
- 关联文档：
|
||
- `llm_gateway_competitor_function_business_2026-03-16.md`
|
||
- `llm_gateway_product_strategy_roadmap_2026-03-16.md`
|
||
- `llm_gateway_subapi_evolution_plan_v4_2_2026-03-24.md`
|
||
- `supply_button_level_prd_v1_2026-03-25.md`
|
||
- `supply_api_contract_openapi_draft_v1_2026-03-25.yaml`
|
||
- `supply_ui_test_cases_executable_v1_2026-03-25.md`
|
||
|
||
## 1. 背景与问题定义
|
||
|
||
## 1.1 背景
|
||
|
||
企业与团队正在同时使用多个 LLM 供应商，常见问题是：
|
||
|
||
1. 调用入口分散，难以统一管理
|
||
2. 成本快速增长但不可解释
|
||
3. 供应商波动导致业务不稳定
|
||
4. 预算、权限、审计缺少统一控制面
|
||
|
||
## 1.2 目标问题
|
||
|
||
构建一个统一网关产品，帮助客户完成：
|
||
|
||
1. 统一接入（降低研发复杂度）
|
||
2. 统一路由（提升可用性与效率）
|
||
3. 统一治理（预算、权限、审计）
|
||
4. 统一经营（成本归因、告警、账单）
|
||
|
||
## 1.3 非目标（v0 阶段）
|
||
|
||
1. 不做模型训练与微调平台
|
||
2. 不做复杂 Agent 工作流编排
|
||
3. 不做行业化应用层模板市场
|
||
|
||
## 2. 用户画像与 JTBD
|
||
|
||
## 2.1 角色画像
|
||
|
||
1. 平台管理员（Admin）
|
||
- 负责组织级策略、预算、权限
|
||
2. AI 应用开发者（Developer）
|
||
- 负责接入模型与业务落地
|
||
3. 财务/运营负责人（Ops/FinOps）
|
||
- 负责成本追踪、对账与预算控制
|
||
|
||
## 2.2 JTBD
|
||
|
||
1. 作为平台管理员，我要在一个控制台里管理团队与 key，确保调用可控。
|
||
2. 作为开发者，我要用统一 API 调用多个模型，减少改造成本。
|
||
3. 作为运营负责人，我要按团队/项目看到成本和异常，便于追责与优化。
|
||
|
||
## 3. 价值主张与成功标准
|
||
|
||
## 3.1 价值主张
|
||
|
||
1. 更简单：统一 API 和统一控制台
|
||
2. 更可控：预算、限流、回退、审计
|
||
3. 更省钱：可追踪、可归因、可优化
|
||
|
||
## 3.2 成功标准（产品层）
|
||
|
||
1. 首次接入时间：新团队 1 天内完成接入
|
||
2. 成本可解释率：90%+ 调用可归因到团队/项目
|
||
3. 预算风控有效率：预算超限前告警命中率 95%+
|
||
4. 月活团队留存：30 天留存 >= 40%
|
||
|
||
## 4. 需求范围与优先级
|
||
|
||
## 4.1 P0（首发必须）
|
||
|
||
1. 统一 API 接入
|
||
- OpenAI 兼容调用
|
||
- 模型目录展示与选择
|
||
2. 基础路由与稳定性
|
||
- 多 provider 负载与 fallback
|
||
- 请求重试与错误可见
|
||
3. 身份与密钥管理
|
||
- 组织、团队、API Key 管理
|
||
- Key 状态与权限控制
|
||
4. 预算与配额
|
||
- 团队级预算阈值
|
||
- 基础限流策略
|
||
5. 成本看板
|
||
- 按团队/模型/时间维度查看调用成本
|
||
6. 告警与通知
|
||
- 预算、错误率、异常波动告警
|
||
7. 账单导出
|
||
- 周期账单汇总与 CSV 导出
|
||
|
||
## 4.2 P1（3-6 个月）
|
||
|
||
1. 多角色权限（管理员、开发者、只读）
|
||
2. 审计日志（策略与 key 变更）
|
||
3. 项目级成本归因
|
||
4. 路由策略模板（按场景）
|
||
5. 可观测增强（失败聚类、异常洞察）
|
||
|
||
## 4.3 P2（6-12 个月）
|
||
|
||
1. 企业身份集成（SSO/SAML/OIDC）
|
||
2. 合规能力包（审计报表、策略模板）
|
||
3. 更长周期账务与财务对接
|
||
4. 生态集成（工单/告警/数据平台）
|
||
|
||
## 5. 核心用户流程
|
||
|
||
## 5.1 流程 1：组织开通与初始化
|
||
|
||
1. 管理员创建组织
|
||
2. 创建团队与成员
|
||
3. 设置默认预算与告警阈值
|
||
4. 生成首个 API Key
|
||
|
||
验收标准：首次开通流程在 30 分钟内可完成。
|
||
|
||
## 5.2 流程 2：开发者接入调用
|
||
|
||
1. 开发者获取组织 API Key
|
||
2. 替换 base URL 与 key 完成调用
|
||
3. 在控制台查看请求结果与成本
|
||
|
||
验收标准：开发者无需修改业务协议即可发起调用。
|
||
|
||
## 5.3 流程 3：预算与告警
|
||
|
||
1. 管理员设置预算阈值
|
||
2. 系统实时监测并触发告警
|
||
3. 管理员查看告警上下文并调整策略
|
||
|
||
验收标准：阈值触发后 1 分钟内完成通知。
|
||
|
||
## 5.4 流程 4：账单与复盘
|
||
|
||
1. 运营负责人按周期查看账单
|
||
2. 按团队/模型拆分成本
|
||
3. 导出账单用于财务核对
|
||
|
||
验收标准：账单数据和调用数据一致性可验证。
|
||
|
||
## 6. 关键产品规则
|
||
|
||
1. 所有请求必须可追踪到组织与团队。
|
||
2. 预算阈值触发后必须有可操作建议（降级/限流/告警升级）。
|
||
3. 用户可在同一控制台查看“调用结果 + 成本 + 告警”。
|
||
4. 策略变更必须可审计（谁、何时、改了什么）。
|
||
|
||
## 7. 指标体系（KPI）
|
||
|
||
## 7.1 增长指标
|
||
|
||
1. 新增组织数
|
||
2. 激活团队数（周活/月活）
|
||
3. 试用转付费转化率
|
||
|
||
## 7.2 价值指标
|
||
|
||
1. 受管调用量
|
||
2. 预算告警命中率
|
||
3. 成本归因覆盖率
|
||
|
||
## 7.3 商业指标
|
||
|
||
1. MRR
|
||
2. 付费客户数
|
||
3. 续费率/扩容率
|
||
|
||
## 8. 发布计划
|
||
|
||
## 8.1 里程碑
|
||
|
||
1. Alpha（内部可用）
|
||
- 完成 P0 主流程闭环
|
||
2. Beta（设计合作伙伴）
|
||
- 引入 5-10 家团队试用
|
||
3. GA（正式发布）
|
||
- 推出 Free/Growth 套餐
|
||
|
||
## 8.2 发布门槛（Go/No-Go）
|
||
|
||
1. 关键流程无阻塞（开通、调用、预算、账单）
|
||
2. 数据可追踪与可归因达标
|
||
3. 客户试用反馈达到最低满意度阈值（内部定义）
|
||
|
||
## 9. 依赖与风险
|
||
|
||
## 9.1 关键依赖
|
||
|
||
1. 供应商接入稳定性
|
||
2. 计费与账单口径统一
|
||
3. 告警渠道与通知系统稳定
|
||
4. 数据库跨域模型完整（Core/IAM/Auth/Billing/Supply/Audit）
|
||
5. 依赖版本兼容审计机制可执行（SBOM + 锁文件差异 + 兼容矩阵 + 风险清单）
|
||
|
||
## 9.2 主要风险
|
||
|
||
1. 功能边界过宽导致首发延期
|
||
2. 缺少真实客户数据导致价值表达不足
|
||
3. 定价方案与客户价值感知不匹配
|
||
4. 依赖版本漂移导致线上兼容故障
|
||
5. 阶段门禁不完整导致实现偏离需求主线
|
||
|
||
## 9.3 风险缓解
|
||
|
||
1. 坚持 P0 边界，P1/P2 延后
|
||
2. 以设计合作伙伴反馈驱动迭代
|
||
3. 发布前完成小规模定价验证访谈
|
||
4. 将依赖兼容审计和分阶段质量门禁纳入发布前阻断条件
|
||
|
||
## 10. 已冻结决策（v1.0 生效）
|
||
|
||
1. 首发主轴：`成本治理 + 合规可审计` 双主轴并行，不做二选一。
|
||
2. Growth 套餐核心计价指标：以“受管成本”为主，请求量作为辅助观测指标。
|
||
3. 企业版首批必含能力（三项）：
|
||
- SSO/SAML/OIDC 企业身份接入
|
||
- 审计报表与策略留痕导出
|
||
- 账务争议 SLA 与补偿闭环
|
||
4. 凭证边界：用户A仅向平台供给上游凭证，用户B仅使用平台凭证，不得获取上游凭证。
|
||
|
||
## 11. 需求到执行映射（P0）
|
||
|
||
| Requirement ID | 需求 | 接口契约 | 测试用例 | 门禁指标 |
|
||
|---|---|---|---|---|
|
||
| PRD-P0-01 | 供应账号挂载与验证 | `POST /api/v1/supply/accounts/verify`、`POST /api/v1/supply/accounts` | `UI-SUP-ACC-001~006` | M-013/M-014 |
|
||
| PRD-P0-02 | 套餐发布与上下架 | `POST /api/v1/supply/packages/*` | `UI-SUP-PKG-001~006` | M-011 |
|
||
| PRD-P0-03 | 收益结算与提现 | `POST /api/v1/supply/settlements/withdraw` 等 | `UI-SUP-SET-001~005` | 账务差错率 M-004 |
|
||
| PRD-P0-04 | 凭证边界强制约束 | 鉴权与导出相关全部接口 | `SEC-SUP-001~002`、`CB-001~004` | M-013~M-016 |
|
||
## 12. 术语表
|
||
|
||
1. 受管成本：通过本平台网关记录并可归因的模型调用成本。
|
||
2. 预算账户：具备独立预算阈值与告警规则的组织单元。
|
||
3. 成本归因：将调用成本映射到组织/团队/项目/模型维度。
|