3개브라우저 엔진 매트릭스
3단계릴리스 판정
20회신뢰도 추적 실행 이력
80%요구사항 커버리지 목표
케이스 유지
회귀 세트는
코드 변경을 따라갑니다.
PR의 변경 내용을 읽어 신규 · 수정 · 삭제 케이스를 제안하고, 사람이 승인하면 회귀 세트에 들어갑니다. 저장소 · 브랜치 · 변경 경로 패턴으로 자동 실행 규칙을 정하면 push와 PR에 맞춰 실행됩니다.
- PR 변경 분석 → 케이스 제안 → 승인 · 거절
- 실행 유형: 스모크 · 회귀 · 신규 기능 · 릴리스 전
- 승인 대기 → 실행 승인 흐름
- 중복 케이스 정리와 한·영·일 번역
검증 신뢰도
뒤집히는 검증은 격리됩니다.
최근 20회 실행에서 같은 커밋인데 결과가 바뀐 검증을 추적합니다. 뒤집힘 비율이 20% 이상이면 자동으로 격리되고, 계속 실행 · 보고되지만 판정을 FAIL로 만들지 못합니다.
- 같은 커밋 · 다른 결과를 뒤집힘으로 집계
- 격리된 검증은 CONDITIONAL 사유로 표시
- 엔진별 격리: Firefox에서만 뒤집히면 Firefox만 격리
- 격리된 검증도 계속 실행되고 리포트에 남음
릴리스 판정
판정 하나에 이유가 붙습니다.
치명·주요 실패가 있으면 FAIL, 경미·사소 실패만 있거나 격리 · 보류된 검증이 있으면 CONDITIONAL, 실행한 전부가 첫 시도에 통과하면 PASS입니다. 요구사항 커버리지가 목표 80% 아래면 전부 통과해도 CONDITIONAL입니다.
- CONDITIONAL은 소프트 패스가 아니라 사람이 봐야 한다는 신호
- 요구사항 · 체크리스트 · 화면 검증 범위를 판정과 함께
- 판정 FAIL, 검증 격리, 커버리지 미달은 브라우저 알림으로
- 고친 커밋의 재검증 실행이 이전 판정과 이어짐
자주 묻는 질문
회귀 검증, 도입 전에 묻는 것
이미 작성해 둔 테스트 케이스가 있습니다. 다시 만들어야 하나요?
케이스 생성은 문서, 코드, 사람 세 출처를 지원합니다. 저장소 코드를 읽어 만든 케이스와 사람이 작성한 케이스가 같은 회귀 세트에 들어가고, 같은 판정으로 모입니다.
실행은 어떤 시점에 돌아가나요?
저장소 · 브랜치 · 변경 경로 패턴을 정해 push나 PR에 맞춰 자동 실행됩니다. 승인 흐름을 켜면 승인 대기 후 실행되고, GitHub Actions 파이프라인과 함께 씁니다.
판정이 FAIL이면 PR을 자동으로 막을 수 있나요?
판정 FAIL은 브라우저 알림과 판정 카드로 즉시 전달되고, 실패 결과는 Jira 이슈로 발행됩니다. PR 체크나 배포 차단으로 직접 막는 릴리스 게이팅은 미리보기로 제공됩니다.
실패가 진짜 결함인지 누가 판단하나요?
실패마다 스크린샷, 재현 영상, 로그가 붙어 팀이 직접 확인할 수 있습니다. 관리형 QA를 결합하면 전문가가 결과를 분류해 재현되는 결함만 남기고 재검증까지 진행합니다.
요구사항 커버리지는 어떻게 계산되나요?
등록한 요구사항 문서에서 검증 가능한 진술을 추출하고, 실제 실행이 뒷받침한 비율을 계산합니다. 코드 커버리지와 다르며, 케이스가 있어도 실행되지 않았으면 포함되지 않습니다.
브라우저 하나에서만 실패하면 어떻게 되나요?
결과와 격리는 Chromium · Firefox · WebKit 엔진별로 따로 기록됩니다. 특정 엔진에서만 실패한 케이스는 그 엔진 이름과 함께 실패 목록에 남고, 심각도에 따라 판정에 반영됩니다.
다음 릴리스부터 판정을 받아 보세요.
스테이징 URL과 저장소 하나로 첫 실행까지 보통 5분입니다. 데모에서 실제 판정 카드를 확인하세요.
sales@qoretix.com+82-33-242-0210평일 10:00 – 18:00 KST