테스트 리포트 · 증거 현재 제공

리포트가 곧 재현 절차입니다.

실행마다 HTML 리포트, 실행 로그, 재현 영상이 남습니다. 실패한 케이스는 어느 브라우저의 어느 단계에서 멈췄는지 화면과 함께 기록되므로, 개발자는 리포트를 열어 그대로 따라가면 됩니다.

결과 상태 통과 · 실패 · 판정 보류 · 건너뜀 / 결함 심각도 치명 · 주요 · 경미 · 사소

증거 현재 제공

실패한 순간이 그대로 남습니다.

실패한 케이스마다 멈춘 순간의 스크린샷, 단계별 재현 영상, 실행 로그가 자동으로 저장됩니다. "내 환경에서는 되는데요"로 끝나는 대화가 리포트 링크 하나로 정리됩니다.

  • Chromium · Firefox · WebKit 엔진별로 따로 남는 증거. 한 엔진에서만 실패해도 그 엔진의 화면이 붙습니다
  • 재현 영상은 입력값과 클릭 순서를 그대로 담아 개발자가 같은 경로를 밟을 수 있습니다
  • 실패 결과는 Jira 이슈로 자동 발행되고, 이슈와 실행 결과가 서로 연결됩니다
  • API 검증 실패에는 계약 위반 항목이 실행 로그와 함께 기록됩니다
UI 검증 · UX 검토 자세히

릴리스 판정 현재 제공

결과 목록 위에
판정 하나가 놓입니다.

리포트 맨 위에는 PASS · CONDITIONAL · FAIL 세 단계의 릴리스 판정이 있습니다. 통과 개수를 세지 않아도 지금 릴리스해도 되는지, 누가 봐야 하는지, 무엇이 막고 있는지가 한 줄로 읽힙니다.

  • FAIL: 안정된 검증이 치명·주요 심각도로 실패했거나, 치명·주요 취약점이 저장소에 열려 있을 때
  • CONDITIONAL: 경미·사소 실패만 있거나, 격리·판정 보류된 검증이 있거나, 요구사항 커버리지가 목표 80%에 못 미칠 때. 사람이 보고 결정합니다
  • PASS: 실행한 검증 전부가 첫 시도에 통과했을 때
  • 판정 근거가 리포트에 항목별로 적혀 QA 책임자가 그대로 릴리스 메모에 옮길 수 있습니다
품질 검증 전체 보기

검증 범위 현재 제공

무엇을 보지 않았는지도 적힙니다.

통과 수만 있는 리포트는 빈 자리를 숨깁니다. Qoretix 리포트는 요구사항 · 체크리스트 · 화면 세 축으로 이번 실행이 실제로 확인한 범위를 적고, 한 번도 열지 않은 화면과 실행되지 않은 항목을 그대로 남깁니다.

  • 요구사항 커버리지: 문서에서 뽑은 검증 가능한 진술 중 실제 실행이 뒷받침하는 비율
  • 체크리스트 커버리지: 17개 체크리스트 카테고리별로 실행된 검증이 있는지
  • 화면 커버리지: 수집한 화면 중 검증이 실제로 연 비율과 열지 않은 화면 목록
  • 코드 커버리지가 아닙니다. 케이스가 있어도 돌지 않았다면 검증된 것으로 세지 않습니다

실행 하나에 남는 것

실행이 끝나면 이 파일들이 생깁니다.

모든 산출물은 실행 이력에 묶여 보관되고, 같은 워크스페이스의 구성원이 언제든 다시 엽니다.

  1. HTML 리포트 현재 제공

    판정, 결과 상태별 개수, 심각도별 실패 목록, 검증 범위 세 축이 한 문서에 담깁니다. 브라우저에서 바로 열립니다.

  2. 재현 영상 현재 제공

    실패한 케이스의 단계별 화면과 입력값을 담은 영상입니다. 어느 클릭에서 멈췄는지 프레임으로 확인합니다.

  3. 실행 로그 현재 제공

    케이스별 실행 순서와 결과가 시간순으로 남습니다. API 검증 실패에는 요청과 응답이 함께 기록됩니다.

  4. 증거 파일 현재 제공

    스크린샷과 첨부 파일이 케이스 단위로 묶입니다. 이슈 트래커에 링크로 붙이거나 그대로 내려받습니다.

  5. Jira 이슈 현재 제공

    실패 결과를 심각도와 증거 링크를 붙여 Jira 이슈로 자동 발행합니다. 이슈에서 실행 결과로 되돌아올 수 있습니다.

  6. 품질 추이 현재 제공

    주별 통과율, 승인 소요 시간(p50 · p95), PR 제안 채택률, 자동화 비율을 실행 이력에서 계산합니다.

자주 묻는 질문

리포트와 증거, 궁금한 것.

판정 보류와 실패는 어떻게 다른가요?
실패는 기대 결과와 다른 결과가 확인된 것이고, 판정 보류는 검증이 끝까지 실행되지 못해 결과를 단정할 수 없는 상태입니다. 판정 보류는 FAIL을 만들지 않지만 CONDITIONAL을 만들며, 사람이 원인을 확인해 실패 또는 통과로 정리합니다.
격리된 검증은 리포트에서 어떻게 보이나요?
최근 20회 실행에서 같은 커밋인데 결과가 뒤집힌 비율이 20% 이상이면 자동 격리됩니다. 격리된 검증은 계속 실행되고 리포트에 결과가 적히지만, 판정을 FAIL로 만들지 못하고 CONDITIONAL 근거로만 남습니다. 측정 단위는 브라우저 엔진입니다.
Jira 이슈에는 어떤 내용이 들어가나요?
실패한 케이스와 심각도, 스크린샷 · 재현 영상 · 로그가 붙은 실행 결과 링크가 담깁니다. 이슈와 실행 결과가 서로 연결되어 재검증 결과가 이슈에서 확인됩니다. 다른 이슈 트래커 연동은 미리보기 단계입니다.
CI 파이프라인의 기존 테스트 리포트와는 어떤 관계인가요?
GitHub Actions에서 push와 PR에 맞춰 Qoretix 실행을 트리거하고, 리포트와 증거는 Qoretix 워크스페이스에 남습니다. 단위 테스트 리포트를 대체하지 않고, 사용자 경로와 API 계약 관점의 검증 결과와 릴리스 판정을 그 옆에 둡니다.
CONDITIONAL이 나오면 누가 무엇을 하나요?
테스터가 경미·사소 실패와 격리·판정 보류 항목을 분류하고, QA 책임자가 릴리스 판정에 서명하거나 고객 역할이 릴리스 여부를 결정합니다. 관리형 QA를 이용하면 전문가가 결과 분류와 재검증을 수행하고 릴리스 메모를 작성해 고객 담당자는 결정만 하면 됩니다.
리포트는 누가 볼 수 있고 얼마나 보관되나요?
리포트와 증거는 실행 이력에 묶여 워크스페이스에 보관되며, 같은 조직의 구성원만 봅니다. 고객 역할은 결과 열람과 릴리스 결정만 할 수 있습니다. 보관 기간과 데이터 처리 조건은 배포 · 데이터 처리에서 확인하세요.

다음 릴리스 리포트를 함께 읽어보세요.

귀사 스테이징 환경을 기준으로 첫 실행 리포트가 어떻게 나오는지 데모에서 확인합니다.

sales@qoretix.com+82-33-242-0210평일 10:00 – 18:00 KST