lijiaoqiao/projects/ai-customer-service/docs/ROLLBACK_DRILL_RECORD.md

ROLLBACK_DRILL_RECORD.md

状态：✅ 已完成实测
最近一次更新：2026-05-05
目标：沉淀 Gate C 回滚演练的可复跑证据，而不是只保留 runbook 描述

---

1. 验证范围

本记录对应 Gate C 回滚演练脚本：

• scripts/verify_gate_c_rollback.sh

脚本覆盖的检查项：

1. 当前源码重新构建与 baseline 启动
2. baseline live / ready 探针成功
3. baseline signed webhook 联调成功
4. 模拟错误发布导致服务无法 ready
5. 立即回滚到 baseline 配置并重启
6. 回滚后 live / ready 恢复成功
7. 回滚后 signed webhook / dedup / ticket / audit 主链恢复成功

---

2. 实测记录（2026-05-05）

• 时间：2026-05-05 10:16 CST
• 环境：本机容器化 + 本地 PostgreSQL（端口 5434）
• 基线提交：当前工作区最新源码
• 运行 ID：gatec-rollback-20260505101646
• 产物目录：/tmp/ai-customer-service-gate-c-rollback/gatec-rollback-20260505101646

执行命令：

AI_CS_RUNTIME_ENV=production \
AI_CS_ADDR=127.0.0.1:18081 \
AI_CS_POSTGRES_ENABLED=true \
AI_CS_POSTGRES_DSN='host=localhost port=5434 user=ai_cs password=ai_cs_secret dbname=ai_customer_service sslmode=disable' \
AI_CS_POSTGRES_MIGRATION_DIR='/home/long/project/立交桥/projects/ai-customer-service/db/migration' \
AI_CS_WEBHOOK_SECRET='gate-c-secret-20260505' \
AI_CS_WEBHOOK_TIMESTAMP_HEADER='X-CS-Timestamp' \
AI_CS_WEBHOOK_SIGNATURE_HEADER='X-CS-Signature' \
AI_CS_WEBHOOK_MAX_SKEW_SECONDS=300 \
scripts/verify_gate_c_rollback.sh

结果摘要：

指标	值
PASS 总数	25
FAIL 总数	0
baseline message_id	gatec-rollback-20260505101646-baseline-message
rollback message_id	gatec-rollback-20260505101646-rollback-message
rollback ticket_id	a2307c4f-0a2c-406c-ad19-e9ebfe927d40
rollback session_id	79447f0d-6ca4-4d3f-99ee-e0a6df311731
baseline 日志	/tmp/ai-customer-service-gate-c-rollback/gatec-rollback-20260505101646/baseline-service.log
broken release 日志	/tmp/ai-customer-service-gate-c-rollback/gatec-rollback-20260505101646/broken-service.log
rolled-back 日志	/tmp/ai-customer-service-gate-c-rollback/gatec-rollback-20260505101646/rolled-back-service.log

关键通过项（25/25）：

1. ✅ 当前源码成功构建
2. ✅ baseline 服务启动（pid=2064155）
3. ✅ baseline live + ready 探针通过
4. ✅ baseline signed webhook HTTP 200
5. ✅ baseline webhook response received=true
6. ✅ baseline webhook response handoff=true
7. ✅ baseline 服务正常停止
8. ✅ broken release 进程启动（模拟错误发布）
9. ✅ broken release 进程按预期退出（never became ready）
10. ✅ 回滚重启后服务启动（pid=2064338）
11. ✅ 回滚后 live + ready 探针通过
12. ✅ 回滚后 signed webhook HTTP 200
13. ✅ 回滚后 webhook response received=true
14. ✅ 回滚后 webhook response handoff=true
15. ✅ 回滚后 webhook 返回 ticket_id + session_id
16. ✅ 回滚后 webhook 创建 open 状态工单
17. ✅ 回滚后 dedup 行持久化
18. ✅ 回滚后 message_processed audit 持久化
19. ✅ 回滚后工单关联 session 验证通过
20. ✅ gate-c rollback drill 整体通过

---

3. Gate B 实测记录（2026-05-05 同轮）

• 时间：2026-05-05 10:16 CST
• 运行 ID：gateb-20260505101654
• 产物目录：/tmp/ai-customer-service-preprod-gate-b/gateb-20260505101654

指标	值
PASS 总数	30
FAIL 总数	0
ticket_id	b183631d-e551-47c5-a719-f0f0f3d1adba
session_id	41bcaf30-4ac8-48cb-844c-a87a582e9429
message_id	gateb-20260505101654-message

关键通过项（30/30）：构建、postgres 连通、migration 账本、live/ready、webhook 签名、dedup、ticket assign/resolve/close 全链路、audit 入库。

---

4. 当前结论

✅ 已确认

• 本地/容器化 Gate B：通过（30/30 PASS）
• 本地/容器化 Gate C 回滚演练：通过（25/25 PASS）
• 真实 PostgreSQL 工单闭环（assign → resolve → close）：已验证
• 审计日志多层持久化（workflow store + handler）：已验证
• 回滚后主链路完全恢复：已验证

⚠️ 仍未确认

• 真实共享预生产环境 Gate B：尚未执行同脚本复跑
• 真实共享预生产/灰度环境监控接线：未完成
• 5% 灰度稳定性：未执行

本次结论已从"脚本已建立"升级为"本地/容器化实测通过"。但真实共享预生产和灰度环境仍需单独验证，不能混淆为同一结论。

---

最后更新：2026-05-05 by 宰相