2026-03-26 20:06:14 +08:00
|
|
|
|
# 商用 LLM 通用转发网关 PRD v1(冻结版)
|
|
|
|
|
|
|
|
|
|
|
|
- 版本:v1.0(冻结稿)
|
|
|
|
|
|
- 日期:2026-03-25
|
|
|
|
|
|
- 文档类型:产品需求文档(冻结版,含执行映射)
|
|
|
|
|
|
- 关联文档:
|
|
|
|
|
|
- `llm_gateway_competitor_function_business_2026-03-16.md`
|
|
|
|
|
|
- `llm_gateway_product_strategy_roadmap_2026-03-16.md`
|
|
|
|
|
|
- `llm_gateway_subapi_evolution_plan_v4_2_2026-03-24.md`
|
|
|
|
|
|
- `supply_button_level_prd_v1_2026-03-25.md`
|
|
|
|
|
|
- `supply_api_contract_openapi_draft_v1_2026-03-25.yaml`
|
|
|
|
|
|
- `supply_ui_test_cases_executable_v1_2026-03-25.md`
|
|
|
|
|
|
|
|
|
|
|
|
## 1. 背景与问题定义
|
|
|
|
|
|
|
|
|
|
|
|
## 1.1 背景
|
|
|
|
|
|
|
|
|
|
|
|
企业与团队正在同时使用多个 LLM 供应商,常见问题是:
|
|
|
|
|
|
|
|
|
|
|
|
1. 调用入口分散,难以统一管理
|
|
|
|
|
|
2. 成本快速增长但不可解释
|
|
|
|
|
|
3. 供应商波动导致业务不稳定
|
|
|
|
|
|
4. 预算、权限、审计缺少统一控制面
|
|
|
|
|
|
|
|
|
|
|
|
## 1.2 目标问题
|
|
|
|
|
|
|
|
|
|
|
|
构建一个统一网关产品,帮助客户完成:
|
|
|
|
|
|
|
|
|
|
|
|
1. 统一接入(降低研发复杂度)
|
|
|
|
|
|
2. 统一路由(提升可用性与效率)
|
|
|
|
|
|
3. 统一治理(预算、权限、审计)
|
|
|
|
|
|
4. 统一经营(成本归因、告警、账单)
|
|
|
|
|
|
|
|
|
|
|
|
## 1.3 非目标(v0 阶段)
|
|
|
|
|
|
|
|
|
|
|
|
1. 不做模型训练与微调平台
|
|
|
|
|
|
2. 不做复杂 Agent 工作流编排
|
|
|
|
|
|
3. 不做行业化应用层模板市场
|
|
|
|
|
|
|
|
|
|
|
|
## 2. 用户画像与 JTBD
|
|
|
|
|
|
|
|
|
|
|
|
## 2.1 角色画像
|
|
|
|
|
|
|
|
|
|
|
|
1. 平台管理员(Admin)
|
|
|
|
|
|
- 负责组织级策略、预算、权限
|
|
|
|
|
|
2. AI 应用开发者(Developer)
|
|
|
|
|
|
- 负责接入模型与业务落地
|
|
|
|
|
|
3. 财务/运营负责人(Ops/FinOps)
|
|
|
|
|
|
- 负责成本追踪、对账与预算控制
|
|
|
|
|
|
|
|
|
|
|
|
## 2.2 JTBD
|
|
|
|
|
|
|
|
|
|
|
|
1. 作为平台管理员,我要在一个控制台里管理团队与 key,确保调用可控。
|
|
|
|
|
|
2. 作为开发者,我要用统一 API 调用多个模型,减少改造成本。
|
|
|
|
|
|
3. 作为运营负责人,我要按团队/项目看到成本和异常,便于追责与优化。
|
|
|
|
|
|
|
|
|
|
|
|
## 3. 价值主张与成功标准
|
|
|
|
|
|
|
|
|
|
|
|
## 3.1 价值主张
|
|
|
|
|
|
|
|
|
|
|
|
1. 更简单:统一 API 和统一控制台
|
|
|
|
|
|
2. 更可控:预算、限流、回退、审计
|
|
|
|
|
|
3. 更省钱:可追踪、可归因、可优化
|
|
|
|
|
|
|
|
|
|
|
|
## 3.2 成功标准(产品层)
|
|
|
|
|
|
|
|
|
|
|
|
1. 首次接入时间:新团队 1 天内完成接入
|
|
|
|
|
|
2. 成本可解释率:90%+ 调用可归因到团队/项目
|
|
|
|
|
|
3. 预算风控有效率:预算超限前告警命中率 95%+
|
|
|
|
|
|
4. 月活团队留存:30 天留存 >= 40%
|
|
|
|
|
|
|
|
|
|
|
|
## 4. 需求范围与优先级
|
|
|
|
|
|
|
|
|
|
|
|
## 4.1 P0(首发必须)
|
|
|
|
|
|
|
|
|
|
|
|
1. 统一 API 接入
|
|
|
|
|
|
- OpenAI 兼容调用
|
|
|
|
|
|
- 模型目录展示与选择
|
|
|
|
|
|
2. 基础路由与稳定性
|
|
|
|
|
|
- 多 provider 负载与 fallback
|
|
|
|
|
|
- 请求重试与错误可见
|
|
|
|
|
|
3. 身份与密钥管理
|
|
|
|
|
|
- 组织、团队、API Key 管理
|
|
|
|
|
|
- Key 状态与权限控制
|
|
|
|
|
|
4. 预算与配额
|
|
|
|
|
|
- 团队级预算阈值
|
|
|
|
|
|
- 基础限流策略
|
|
|
|
|
|
5. 成本看板
|
|
|
|
|
|
- 按团队/模型/时间维度查看调用成本
|
|
|
|
|
|
6. 告警与通知
|
|
|
|
|
|
- 预算、错误率、异常波动告警
|
|
|
|
|
|
7. 账单导出
|
|
|
|
|
|
- 周期账单汇总与 CSV 导出
|
|
|
|
|
|
|
|
|
|
|
|
## 4.2 P1(3-6 个月)
|
|
|
|
|
|
|
|
|
|
|
|
1. 多角色权限(管理员、开发者、只读)
|
|
|
|
|
|
2. 审计日志(策略与 key 变更)
|
|
|
|
|
|
3. 项目级成本归因
|
|
|
|
|
|
4. 路由策略模板(按场景)
|
|
|
|
|
|
5. 可观测增强(失败聚类、异常洞察)
|
|
|
|
|
|
|
|
|
|
|
|
## 4.3 P2(6-12 个月)
|
|
|
|
|
|
|
|
|
|
|
|
1. 企业身份集成(SSO/SAML/OIDC)
|
|
|
|
|
|
2. 合规能力包(审计报表、策略模板)
|
|
|
|
|
|
3. 更长周期账务与财务对接
|
|
|
|
|
|
4. 生态集成(工单/告警/数据平台)
|
|
|
|
|
|
|
|
|
|
|
|
## 5. 核心用户流程
|
|
|
|
|
|
|
|
|
|
|
|
## 5.1 流程 1:组织开通与初始化
|
|
|
|
|
|
|
|
|
|
|
|
1. 管理员创建组织
|
|
|
|
|
|
2. 创建团队与成员
|
|
|
|
|
|
3. 设置默认预算与告警阈值
|
|
|
|
|
|
4. 生成首个 API Key
|
|
|
|
|
|
|
|
|
|
|
|
验收标准:首次开通流程在 30 分钟内可完成。
|
|
|
|
|
|
|
|
|
|
|
|
## 5.2 流程 2:开发者接入调用
|
|
|
|
|
|
|
|
|
|
|
|
1. 开发者获取组织 API Key
|
|
|
|
|
|
2. 替换 base URL 与 key 完成调用
|
|
|
|
|
|
3. 在控制台查看请求结果与成本
|
|
|
|
|
|
|
|
|
|
|
|
验收标准:开发者无需修改业务协议即可发起调用。
|
|
|
|
|
|
|
|
|
|
|
|
## 5.3 流程 3:预算与告警
|
|
|
|
|
|
|
|
|
|
|
|
1. 管理员设置预算阈值
|
|
|
|
|
|
2. 系统实时监测并触发告警
|
|
|
|
|
|
3. 管理员查看告警上下文并调整策略
|
|
|
|
|
|
|
|
|
|
|
|
验收标准:阈值触发后 1 分钟内完成通知。
|
|
|
|
|
|
|
|
|
|
|
|
## 5.4 流程 4:账单与复盘
|
|
|
|
|
|
|
|
|
|
|
|
1. 运营负责人按周期查看账单
|
|
|
|
|
|
2. 按团队/模型拆分成本
|
|
|
|
|
|
3. 导出账单用于财务核对
|
|
|
|
|
|
|
|
|
|
|
|
验收标准:账单数据和调用数据一致性可验证。
|
|
|
|
|
|
|
|
|
|
|
|
## 6. 关键产品规则
|
|
|
|
|
|
|
|
|
|
|
|
1. 所有请求必须可追踪到组织与团队。
|
|
|
|
|
|
2. 预算阈值触发后必须有可操作建议(降级/限流/告警升级)。
|
|
|
|
|
|
3. 用户可在同一控制台查看“调用结果 + 成本 + 告警”。
|
|
|
|
|
|
4. 策略变更必须可审计(谁、何时、改了什么)。
|
|
|
|
|
|
|
|
|
|
|
|
## 7. 指标体系(KPI)
|
|
|
|
|
|
|
|
|
|
|
|
## 7.1 增长指标
|
|
|
|
|
|
|
|
|
|
|
|
1. 新增组织数
|
|
|
|
|
|
2. 激活团队数(周活/月活)
|
|
|
|
|
|
3. 试用转付费转化率
|
|
|
|
|
|
|
|
|
|
|
|
## 7.2 价值指标
|
|
|
|
|
|
|
|
|
|
|
|
1. 受管调用量
|
|
|
|
|
|
2. 预算告警命中率
|
|
|
|
|
|
3. 成本归因覆盖率
|
|
|
|
|
|
|
|
|
|
|
|
## 7.3 商业指标
|
|
|
|
|
|
|
|
|
|
|
|
1. MRR
|
|
|
|
|
|
2. 付费客户数
|
|
|
|
|
|
3. 续费率/扩容率
|
|
|
|
|
|
|
|
|
|
|
|
## 8. 发布计划
|
|
|
|
|
|
|
|
|
|
|
|
## 8.1 里程碑
|
|
|
|
|
|
|
|
|
|
|
|
1. Alpha(内部可用)
|
|
|
|
|
|
- 完成 P0 主流程闭环
|
|
|
|
|
|
2. Beta(设计合作伙伴)
|
|
|
|
|
|
- 引入 5-10 家团队试用
|
|
|
|
|
|
3. GA(正式发布)
|
|
|
|
|
|
- 推出 Free/Growth 套餐
|
|
|
|
|
|
|
|
|
|
|
|
## 8.2 发布门槛(Go/No-Go)
|
|
|
|
|
|
|
|
|
|
|
|
1. 关键流程无阻塞(开通、调用、预算、账单)
|
|
|
|
|
|
2. 数据可追踪与可归因达标
|
|
|
|
|
|
3. 客户试用反馈达到最低满意度阈值(内部定义)
|
|
|
|
|
|
|
|
|
|
|
|
## 9. 依赖与风险
|
|
|
|
|
|
|
|
|
|
|
|
## 9.1 关键依赖
|
|
|
|
|
|
|
|
|
|
|
|
1. 供应商接入稳定性
|
|
|
|
|
|
2. 计费与账单口径统一
|
|
|
|
|
|
3. 告警渠道与通知系统稳定
|
2026-03-31 13:40:00 +08:00
|
|
|
|
4. 数据库跨域模型完整(Core/IAM/Auth/Billing/Supply/Audit)
|
|
|
|
|
|
5. 依赖版本兼容审计机制可执行(SBOM + 锁文件差异 + 兼容矩阵 + 风险清单)
|
2026-03-26 20:06:14 +08:00
|
|
|
|
|
|
|
|
|
|
## 9.2 主要风险
|
|
|
|
|
|
|
|
|
|
|
|
1. 功能边界过宽导致首发延期
|
|
|
|
|
|
2. 缺少真实客户数据导致价值表达不足
|
|
|
|
|
|
3. 定价方案与客户价值感知不匹配
|
2026-03-31 13:40:00 +08:00
|
|
|
|
4. 依赖版本漂移导致线上兼容故障
|
|
|
|
|
|
5. 阶段门禁不完整导致实现偏离需求主线
|
2026-03-26 20:06:14 +08:00
|
|
|
|
|
|
|
|
|
|
## 9.3 风险缓解
|
|
|
|
|
|
|
|
|
|
|
|
1. 坚持 P0 边界,P1/P2 延后
|
|
|
|
|
|
2. 以设计合作伙伴反馈驱动迭代
|
|
|
|
|
|
3. 发布前完成小规模定价验证访谈
|
2026-03-31 13:40:00 +08:00
|
|
|
|
4. 将依赖兼容审计和分阶段质量门禁纳入发布前阻断条件
|
2026-03-26 20:06:14 +08:00
|
|
|
|
|
|
|
|
|
|
## 10. 已冻结决策(v1.0 生效)
|
|
|
|
|
|
|
|
|
|
|
|
1. 首发主轴:`成本治理 + 合规可审计` 双主轴并行,不做二选一。
|
|
|
|
|
|
2. Growth 套餐核心计价指标:以“受管成本”为主,请求量作为辅助观测指标。
|
|
|
|
|
|
3. 企业版首批必含能力(三项):
|
|
|
|
|
|
- SSO/SAML/OIDC 企业身份接入
|
|
|
|
|
|
- 审计报表与策略留痕导出
|
|
|
|
|
|
- 账务争议 SLA 与补偿闭环
|
|
|
|
|
|
4. 凭证边界:用户A仅向平台供给上游凭证,用户B仅使用平台凭证,不得获取上游凭证。
|
|
|
|
|
|
|
|
|
|
|
|
## 11. 需求到执行映射(P0)
|
|
|
|
|
|
|
|
|
|
|
|
| Requirement ID | 需求 | 接口契约 | 测试用例 | 门禁指标 |
|
|
|
|
|
|
|---|---|---|---|---|
|
|
|
|
|
|
| PRD-P0-01 | 供应账号挂载与验证 | `POST /api/v1/supply/accounts/verify`、`POST /api/v1/supply/accounts` | `UI-SUP-ACC-001~006` | M-013/M-014 |
|
|
|
|
|
|
| PRD-P0-02 | 套餐发布与上下架 | `POST /api/v1/supply/packages/*` | `UI-SUP-PKG-001~006` | M-011 |
|
|
|
|
|
|
| PRD-P0-03 | 收益结算与提现 | `POST /api/v1/supply/settlements/withdraw` 等 | `UI-SUP-SET-001~005` | 账务差错率 M-004 |
|
|
|
|
|
|
| PRD-P0-04 | 凭证边界强制约束 | 鉴权与导出相关全部接口 | `SEC-SUP-001~002`、`CB-001~004` | M-013~M-016 |
|
|
|
|
|
|
## 12. 术语表
|
|
|
|
|
|
|
|
|
|
|
|
1. 受管成本:通过本平台网关记录并可归因的模型调用成本。
|
|
|
|
|
|
2. 预算账户:具备独立预算阈值与告警规则的组织单元。
|
|
|
|
|
|
3. 成本归因:将调用成本映射到组织/团队/项目/模型维度。
|