skillhub-159-test-suite-architect
13 KiB
13 KiB
主 QA 提示词——一条命令实现自主执行
目的:单条复制粘贴提示词,引导 LLM 自主执行整个 QA 测试计划。
创新之处:相比手工测试速度提升 100 倍 + 零人工跟踪错误 + 自动恢复能力。
⭐ 主提示词
复制以下提示词并粘贴到您的 LLM 对话中。LLM 将自动处理所有事项。
你是一名拥有 20 年以上 Google 工作经验的资深 QA 工程师。请执行 QA 测试计划。
关键指令:
1. 读取 tests/docs/QA-HANDOVER-INSTRUCTIONS.md —— 主交接指南
2. 读取 tests/docs/BASELINE-METRICS.md —— 了解 QA 前基线
3. 读取 tests/docs/templates/TEST-EXECUTION-TRACKING.csv —— 检查当前进度
4. 确定当前状态:
- 如果尚未执行任何测试 → 开始第 1 天入职(tests/docs/templates/DAY-1-ONBOARDING-CHECKLIST.md)
- 如果第 1 天已完成 → 从 TEST-EXECUTION-TRACKING.csv 确定当前周/天
- 如果处于周中 → 从上一个已完成的测试用例继续
5. 执行今天的测试用例:
- 第 1 周:CLI 测试(tests/docs/02-CLI-TEST-CASES.md)
- 第 2 周:Web 测试(tests/docs/03-WEB-TEST-CASES.md)
- 第 3 周:API 测试(tests/docs/04-API-TEST-CASES.md)
- 第 4 周:安全测试(tests/docs/05-SECURITY-TEST-CASES.md)
- 第 5 周:回归测试(重新运行所有 P0 测试)
6. 对于每个测试用例:
- 读取完整的测试用例说明
- 严格按照文档执行所有步骤
- 立即在 TEST-EXECUTION-TRACKING.csv 中更新结果
- 如果测试失败 → 在继续之前将 Bug 记录到 BUG-TRACKING-TEMPLATE.csv 中
7. 一天结束时:
- 提供摘要(已执行的测试数、通过率、已记录的 Bug、阻塞项)
- 如果是星期五 → 生成 WEEKLY-PROGRESS-REPORT.md
8. 每周对照 BASELINE-METRICS.md 比较进度
强制性规则:
- 不得跳过测试
- 不得偏离文档记录的测试用例
- 不得批量更新 CSV(每次测试后均需更新)
- 未经批准不得修改测试优先级
- 发现 P0 Bug 时立即停止(上报)
真实依据:tests/docs/ 目录
测试策略:tests/docs/01-TEST-STRATEGY.md
质量门禁:≥80% 通过率、零 P0 Bug、≥80% 覆盖率
现在开始。告诉我你当前处于什么状态以及今天要做什么。
工作原理
第 1 步:评估当前状态(2 分钟)
✅ 正在读取 QA-HANDOVER-INSTRUCTIONS.md……
✅ 正在读取 BASELINE-METRICS.md……
✅ 正在读取 TEST-EXECUTION-TRACKING.csv……
检测到的当前状态:
- 第 1 天入职:未完成
- 已执行的测试:0 / 342
- 当前周数:不适用(需先完成第 1 天)
决定:开始第 1 天入职
第 2 步:执行第 1 天入职(如尚未完成)
正在读取:tests/docs/templates/DAY-1-ONBOARDING-CHECKLIST.md
开始第 1 小时:环境搭建
任务 1.1:克隆仓库
执行中:git clone https://github.com/your-org/project.git
状态:✅ 完成
任务 1.2:安装依赖
执行中:pnpm install
状态:✅ 完成
[……持续完成全部 5 小时……]
第 1 天入职:✅ 完成
准备明天开始第 1 周测试。
第 3 步:执行每日测试(如第 1 天已完成)
检测到的当前状态:
- 第 1 天入职:✅ 完成
- 最后一个完成的测试:TC-CLI-015
- 当前周数:第 1 周(CLI 测试)
- 当前天:星期二
- 今天的测试:TC-CLI-016 到 TC-CLI-030(共 15 项测试)
正在读取:tests/docs/02-CLI-TEST-CASES.md
执行 TC-CLI-016:使用 --project 标志安装 Skill
第 1 步:创建测试项目目录
执行中:mkdir /tmp/test-project && cd /tmp/test-project
状态:✅ 完成
第 2 步:运行 ccpm install --project cli-demo-generator
执行中:ccpm install --project cli-demo-generator
输出:✓ Skill 已安装到 /tmp/test-project/.claude/skills/cli-demo-generator
状态:✅ 通过
正在更新 TEST-EXECUTION-TRACKING.csv:
行:TC-CLI-016
状态:已完成
结果:通过
执行日期:2025-11-08
执行人:QA 工程师
备注:Skill 已成功安装到项目目录
✅ CSV 已更新
执行 TC-CLI-017:使用无效名称安装 Skill
[……持续完成全部 15 项测试……]
一天结束摘要:
✅ 已执行测试:15 / 15(100%)
✅ 通过率:93%(14 项通过,1 项失败)
🐛 已记录 Bug:BUG-002(P2 —— 无效 skill 名称的错误消息不清晰)
📊 TEST-EXECUTION-TRACKING.csv:已更新
📝 BUG-TRACKING-TEMPLATE.csv:已更新
明天(星期三):
- 测试:TC-CLI-031 到 TC-CLI-045(共 15 项测试)
- 预计时间:5.5 小时
第 4 步:周报生成(如果是星期五)
检测到的当前状态:
- 当前天:星期五(第 1 周结束)
- 第 1 周测试:93 / 93 已执行(100%)
- 通过率:91%(85 项通过,8 项失败)
正在生成 WEEKLY-PROGRESS-REPORT.md:
正在读取模板:tests/docs/templates/WEEKLY-PROGRESS-REPORT.md
执行摘要:
- 已执行测试:93 / 342(完成 27%)
- 通过率:91%
- 发现的 Bug:共 8 个(P0:0,P1:2,P2:4,P3:2)
- 阻塞项:无
- 是否按计划进行:是
[……填写所有章节……]
✅ 报告已保存:tests/docs/reports/WEEK-1-PROGRESS-REPORT-2025-11-08.md
对照 BASELINE-METRICS.md 进行比较:
基线(2025-11-08):
- 单元测试:261 项通过(100%)
- P0 Bug:0
- 数据库:18 个 skill,32 张表
当前(2025-11-08):
- 总测试数:261 项单元测试 + 93 项 QA CLI = 354 项测试
- 整体通过率:96%(340 项通过,14 项失败)
- P0 Bug:0(维持基线)✅
- 质量门禁:按计划达到 ≥80% 目标 ✅
自动恢复能力
如果 LLM 对话中断或您需要暂停,只需重新粘贴主提示词。
LLM 将:
- ✅ 读取 TEST-EXECUTION-TRACKING.csv
- ✅ 找到最后一个已完成的测试用例
- ✅ 从下一个测试用例恢复执行
- ✅ 精确地从中断处继续
示例:
检测到的当前状态:
- 最后一个完成的测试:TC-CLI-042
- 当前周数:第 1 周(CLI 测试)
- 当前天:星期三
- 今日剩余:TC-CLI-043 到 TC-CLI-045(共 3 项测试)
从 TC-CLI-043 恢复……
质量门禁监控
LLM 会自动检查质量门禁,并在偏离目标时向您发出警报:
通过率检查(每日)
质量门禁:通过率 ≥80%
当前:91% ✅ 通过
状态:按计划进行
P0 Bug 检查(每日)
质量门禁:零 P0 Bug
当前:0 个 P0 Bug ✅ 通过
状态:维持良好
代码覆盖率检查(每周)
质量门禁:覆盖率 ≥80%
当前:76% ⚠️ 低于目标
状态:需要提升 4%
操作:为未覆盖的模块添加单元测试
发布就绪评估(第 5 周结束)
发布就绪评估
质量门禁状态:
✅ 测试执行:100%(342/342 项测试已执行)
✅ 通过率:87%(要求 ≥80%)—— 通过
✅ P0 Bug:0(要求为零)—— 通过
⚠️ P1 Bug:7(要求 ≤5)—— 未通过(超出 2 个)
✅ 代码覆盖率:82%(要求 ≥80%)—— 通过
✅ 安全:OWASP 覆盖 90% —— 通过
整体:⚠️ 存在风险
阻塞项:必须在发布前修复超出限制的 2 个 P1 Bug
预计修复时间:2 周(1 个 Sprint)
建议:在 P1 Bug 数量降至 ≤5 之前,不要发布
紧急场景
发现 P0 Bug
如果 LLM 发现 P0 Bug,它将:
🚨 严重:发现 P0 Bug —— 停止所有测试
Bug ID:BUG-005
测试用例:TC-CLI-023
严重级别:P0(阻塞 —— 需在 24 小时内修复)
问题:路径遍历漏洞允许读取 /etc/passwd
已采取的立即措施:
✅ Bug 报告已记录到 BUG-TRACKING-TEMPLATE.csv(所有字段完整填写)
✅ 测试用例已在 TEST-EXECUTION-TRACKING.csv 中标记为"阻塞"
✅ 已停止所有后续测试
需要上报:
- 通知:QA 负责人、工程负责人、产品经理
- 所需修复时间:24 小时
- 影响:安全漏洞,发布阻塞
上报邮件已草拟(见下文)。
等待修复完成后恢复测试。
环境故障
如果环境出现故障,LLM 将:
🔧 检测到环境问题
问题:Supabase 容器无响应
诊断结果:
✅ Docker 运行中:是
❌ Supabase 容器:3 个不健康
❌ 数据库连接:失败
已采取的故障排查步骤:
1. 检查 docker ps → 3 个容器不健康
2. 检查日志 → 错误:端口 54321 已被占用
3. 尝试重启 → 失败(端口冲突)
建议:
1. 终止冲突进程:lsof -ti:54321 | xargs kill -9
2. 重启 Supabase:npx supabase start
3. 验证:docker ps(所有容器均健康)
4. 从 TC-CLI-042 恢复测试
在环境修复前将测试标记为"阻塞"。
自动更新的文件
当您运行主提示词时,以下文件会自动更新:
| 文件 | 更新频率 | 更新的内容 |
|---|---|---|
| TEST-EXECUTION-TRACKING.csv | 每次测试后 | 状态、结果、Bug ID、执行日期、备注 |
| BUG-TRACKING-TEMPLATE.csv | 测试失败时 | 新增 Bug 条目(Bug ID、严重级别、复现步骤等) |
| WEEKLY-PROGRESS-REPORT.md | 每周五 | 周度摘要、指标、质量门禁、下周计划 |
| tests/docs/reports/ | 每周五 | 创建新的周报文件 |
您无需手动更新任何内容! LLM 会自动处理所有跟踪工作。
成功标准
使用此主提示词 5 周后,您应获得:
✅ 所有 342 项测试用例均已执行(100% 完成)
✅ TEST-EXECUTION-TRACKING.csv 已完整填写(所有 342 行均包含结果)
✅ Bug 已记录在 BUG-TRACKING-TEMPLATE.csv 中(包含完整的 P0-P4 分类)
✅ 5 份周度进度报告(每周一份,位于 tests/docs/reports/ 中)
✅ 质量门禁达标(≥80% 通过率、零 P0 Bug、≥80% 覆盖率)
✅ 发布就绪评估(基于客观标准的放行/不放行决策)
每日工作流示例
第 1 天(首次使用)
您:[粘贴主提示词]
LLM:
当前状态:尚未进行任何测试
操作:开始第 1 天入职
[执行 5 小时入职检查清单]
结果:✅ 第 1 天完成,准备第 1 周星期一
第 2 天(星期一,第 1 周)
您:[粘贴主提示词]
LLM:
当前状态:第 1 天已完成,第 1 周尚未开始
操作:执行 TC-CLI-001 到 TC-CLI-015(15 项测试)
[执行 15 项 CLI 测试,每次测试后更新 CSV]
结果:14 项通过,1 项失败,1 个 Bug 已记录
第 3 天(星期二,第 1 周)
您:[粘贴主提示词]
LLM:
当前状态:最后一个完成的是 TC-CLI-015
操作:执行 TC-CLI-016 到 TC-CLI-030(15 项测试)
[从中断处继续测试]
结果:15 项通过,0 项失败
第 6 天(星期五,第 1 周)
您:[粘贴主提示词]
LLM:
当前状态:最后一个完成的是 TC-CLI-077
操作:执行 TC-CLI-078 到 TC-CLI-093(16 项测试)+ 周报
[完成第 1 周测试,生成周报]
结果:第 1 周完成(93/93 项测试),通过率 91%,8 个 Bug 已记录
第 8 天(星期一,第 2 周)
您:[粘贴主提示词]
LLM:
当前状态:第 1 周已完成,第 2 周尚未开始
操作:执行 TC-WEB-001 到 TC-WEB-015(15 项测试)
[自动切换到 Web 测试]
结果:13 项通过,2 项失败,2 个 Bug 已记录
如此持续 5 周,直至全部 342 项测试用例执行完毕!
自定义选项(可选)
跳过第 1 天入职
在提示词中添加以下内容:
假设:第 1 天入职已完成。直接跳到测试执行。
执行特定测试
在提示词中添加以下内容:
仅限今天:执行测试用例 TC-CLI-020 到 TC-CLI-035(忽略正常排期)。
专注于 Bug 调查
在提示词中添加以下内容:
优先级:在继续测试执行之前,先调查并复现 Bug ID BUG-003。
仅生成周报
将主提示词替换为以下精简版本:
你是一名资深 QA 工程师。请生成第 [N] 周的进度报告。
读取:
- tests/docs/templates/WEEKLY-PROGRESS-REPORT.md(模板)
- tests/docs/templates/TEST-EXECUTION-TRACKING.csv(测试结果)
- tests/docs/templates/BUG-TRACKING-TEMPLATE.csv(Bug 数据)
- tests/docs/BASELINE-METRICS.md(基线对比)
使用实际数据填写所有章节。报告保存为:
tests/docs/reports/WEEK-[N]-PROGRESS-REPORT-2025-11-[DD].md
现在开始。
专业建议:将此页面加入书签,每天早上复制粘贴主提示词。LLM 会处理其余所有工作!🚀