47 lines
1.1 KiB
Markdown
47 lines
1.1 KiB
Markdown
|
# 供应侧测试 Flaky 预算与治理规则
|
|||
|
|
|
|||
|
|
- 版本：v1.0
|
|||
|
|
- 日期：2026-03-25
|
|||
|
|
- 适用范围：`UI-SUP-*`、`SEC-SUP-*`、`UI-DESIGN-QA-*`
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 1. 预算定义
|
|||
|
|
|
|||
|
|
1. 单用例 7 日 Flaky 率阈值：`<=2%`。
|
|||
|
|
2. 测试套件整体 Flaky 率阈值：`<=1%`。
|
|||
|
|
3. P0 用例允许 Flaky：`0`（任何抖动按失败处理）。
|
|||
|
|
|
|||
|
|
计算方式：
|
|||
|
|
`flaky_rate = (retry_pass_count / total_executions) * 100%`
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 2. 处置规则
|
|||
|
|
|
|||
|
|
1. Flaky 率 `>2%` 且 `<5%`：进入治理 Backlog，48 小时内修复。
|
|||
|
|
2. Flaky 率 `>=5%`：标记阻断项，禁止作为发布通过证据。
|
|||
|
|
3. P0 用例出现 flaky：立即冻结发布，按 P0 事件处理。
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 3. 治理动作
|
|||
|
|
|
|||
|
|
1. 定位是否为环境抖动、数据污染、断言不稳定、异步等待不足。
|
|||
|
|
2. 增加固定数据集与可重复前置，禁止依赖随机时序。
|
|||
|
|
3. 对接口型用例增加 request_id 对账，避免误判。
|
|||
|
|
4. 每次修复需附“根因 + 修复点 + 复测结果”。
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 4. 报告字段（每周）
|
|||
|
|
|
|||
|
|
1. `suite_name`
|
|||
|
|
2. `case_id`
|
|||
|
|
3. `execution_count`
|
|||
|
|
4. `retry_pass_count`
|
|||
|
|
5. `flaky_rate_pct`
|
|||
|
|
6. `owner`
|
|||
|
|
7. `status`（open/fixing/closed）
|
|||
|
|
8. `evidence_link`
|