品質検証
計画から証跡まで、ひとつの実行で。
要件文書と収集した画面から計画・ケースを作り、Chromium・Firefox・WebKitの3エンジンとAPI仕様に基づいて実行します。失敗にはスクリーンショット、再現動画、ログが付きます。
push・PRに合わせた自動実行。承認フローにも対応。
4つの機能
要件を、実行に変える順序。
計画がケースを選び、ケースを実行し、実行が証跡を残します。
04 UI · UX
UI検証・専門家によるUXレビュー
同じケースをChromium・Firefox・WebKitで実行し、エンジン別に結果と証跡を残します。画面の流れや使いやすさなど、自動化では判断できない点は専門家がUXレビューノートに記録します。
詳しく見る自動実行ルール
pushごとにスモーク、リリース前に回帰検証。
リポジトリ、ブランチ、変更パターンで条件を設定すると、push・PRに合わせて実行します。承認が必要な実行は待機し、QA責任者が承認すると開始します。
- リポジトリ・ブランチ・変更パターンで実行条件を指定
- 実行種別:スモーク・回帰・新機能・リリース前・API仕様・権限・単体チェック
- 承認依頼・実行完了・FAIL判定をブラウザで通知
- 実行履歴を保管し、最近の実行をダッシュボードに表示
証跡
失敗には、再現動画とログ。
失敗ごとに、その瞬間の画面、手順を振り返れる再現動画、実行ログを自動保存します。開発者は再現方法を聞き直さずに修正を始められます。
- 実行ごとにHTMLレポート・再現動画・実行ログ・証跡ファイル
- 結果の状態:合格・失敗・判定保留・スキップ
- ブラウザエンジン別の証跡
- 失敗からJira課題を自動起票し、実行結果へ直接リンク
重大度と判定
軽微な失敗は、FAILではない。
失敗は致命的・重大・軽微・低影響の4段階に分類します。FAILになるのは致命的・重大な失敗のみ。軽微・低影響の失敗や判定保留はCONDITIONALとして残し、人が判断します。
- 安定したテストで致命的・重大な失敗 → FAIL
- 軽微・低影響の失敗のみ、または保留・隔離テストあり → CONDITIONAL
- 実行したテストがすべて初回合格 → PASS
- 要件カバレッジ80%未満なら、全件合格でもCONDITIONAL
検証範囲・信頼性・推移
確認していないことも、残す。
ケースが存在しても未実行なら検証済みではありません。実行が実際に裏付ける範囲だけを数えます。
検証範囲
要件カバレッジは、文書から抽出した検証可能な記述のうち、実行で裏付けられた割合です。目標は80%。17カテゴリのチェックリストの実行状況と、収集した画面のうち未確認の画面数も確認します。コードカバレッジではありません。
検証範囲を見る検証の信頼性
直近20回で同じコミットの結果が反転したテストを追跡します。反転率20%以上で自動隔離し、実行と報告は続けますがFAILの原因にはしません。ブラウザエンジン別に測定します。
検証の信頼性を見る品質の推移
週別合格率、承認時間(p50・p95)、PR提案の採用率、自動化率を案件別に確認します。1回の判定だけでなく、リリースを重ねる中での改善が見えます。
品質の推移を見るよくあるご質問
品質検証を始める前に。
要件文書が整理されていなくても始められますか?
自動生成したケースはそのまま実行しますか?
結果が不安定なテストはどう扱いますか?
モバイルアプリやAPIのみのサービスにも対応しますか?
既存のCIやテストコードは捨てる必要がありますか?
この流れのどこに人が関わりますか?
ひとつのケースを、3つのエンジンで。
実際のステージング環境で、計画・ケース・実行・証跡がつながる様子をデモでご確認ください。
sales@qoretix.com+82-33-242-0210平日 10:00–18:00 KST