모니터링 · 운영 이슈 미리보기

배포 후에 일어난 일도, 같은 판정으로.

운영에서 발생한 오류를 커밋 단위로 받아 그 오류를 재현하는 검증을 회귀 검증에 추가하고, 배포 전 판정과 배포 후 이벤트를 한 타임라인에서 봅니다. 미리보기 기능입니다. 제공 시점과 범위는 도입 상담에서 안내합니다.

승인 요청, 실행 완료, 판정 FAIL, 검증 격리, 커버리지 미달, 케이스 제안은 브라우저 알림으로 바로 받습니다.

오류 수신 · 회귀 검증 추가 미리보기

운영 오류가 회귀 검증이 됩니다.

운영 환경의 오류 이벤트를 배포된 커밋과 묶어 받아옵니다. 같은 오류가 반복되면 그 화면과 입력을 재현하는 검증 초안을 만들어 회귀 검증에 추가하도록 제안하고, 담당자가 승인하면 다음 실행부터 함께 돌아갑니다.

  • 오류 이벤트를 배포된 커밋과 화면 단위로 묶어 수신
  • 반복되는 오류는 재현 검증 초안을 자동 제안
  • 승인된 검증은 회귀 세트에 들어가 다음 릴리스 판정에 반영
  • 발생 건수와 첫 발생 시각을 실행 기록에 함께 보관

실사용 경로 · 우선순위 미리보기

실사용 경로가
검증 순서를 정합니다.

사용자가 실제로 많이 지나는 화면 경로를 근거로 어떤 화면부터 검증할지 정합니다. 수집한 화면 중 검증이 한 번도 열지 않은 화면이 실사용 상위 경로에 있으면 그 화면을 먼저 검증 대상으로 올리고, 검증 범위의 화면 항목과 같은 기준으로 집계합니다.

  • 화면 경로별 실사용 순위를 검증 계획에 반영
  • 실사용 상위인데 검증이 열지 않은 화면을 먼저 표시
  • 우선순위는 담당자가 검증 계획에서 확인하고 조정
  • 검증 범위의 화면 목록에서 함께 확인
검증 범위 자세히 보기

배포 전 · 배포 후 미리보기

배포 전 판정과
배포 후를 잇습니다.

릴리스 판정을 받은 실행, 배포 시점, 배포 이후의 오류 이벤트를 한 타임라인에 놓습니다. PASS로 나간 배포에서 오류가 늘면 어떤 검증이 그 경로를 보지 않았는지 되짚을 수 있고, 관련 이슈와 담당자 알림이 같은 자리에 연결됩니다.

  • 실행 판정 → 배포 → 오류 이벤트를 커밋 기준 한 줄로 표시
  • 배포 후 오류 증가 구간을 판정 시점과 나란히 비교
  • 오류에서 관련 이슈와 담당자 알림으로 바로 연결
  • 재현 검증이 통과한 다음 실행을 같은 타임라인에서 확인

알림

지금 받는 알림 여섯 가지.

결정이 필요한 일과 판정이 정해진 일을 브라우저 알림으로 받습니다.

승인 요청 현재 제공

자동 실행 규칙에 걸린 실행이 승인을 기다릴 때 QA 책임자에게 보냅니다. 승인하면 실행이 시작됩니다.

실행 완료 현재 제공

실행이 끝나면 판정과 통과·실패·격리·건너뜀 건수를 함께 보냅니다. 리포트로 바로 이동합니다.

판정 FAIL 현재 제공

치명·주요 실패나 보안 치명·주요 발견으로 판정이 FAIL이 되면 원인 항목과 함께 즉시 보냅니다.

검증 격리 현재 제공

최근 20회 실행에서 같은 커밋인데 결과가 뒤집힌 검증이 자동 격리되면 검증 이름과 브라우저 엔진, 뒤집힘 비율을 보냅니다.

커버리지 미달 현재 제공

요구사항 커버리지가 목표 80% 아래로 내려가 판정이 CONDITIONAL이 되면 부족한 요구사항 수와 함께 보냅니다.

케이스 제안 현재 제공

PR 변경 내용을 읽어 신규·수정·삭제 케이스가 제안되면 승인·거절할 수 있도록 보냅니다.

자주 묻는 질문

모니터링, 자주 묻는 질문

미리보기 범위는 어디까지인가요?
운영 오류 수신, 재현 검증의 회귀 세트 추가, 실사용 경로 기반 우선순위, 배포 전 판정과 배포 후 이벤트의 타임라인 연결이 미리보기 범위입니다. 제공 시점과 프로젝트별 적용 범위는 도입 상담에서 안내합니다.
지금 쓰는 관측 도구를 바꿔야 하나요?
아닙니다. 관측 도구가 잡은 오류 이벤트를 받아 검증과 판정에 연결하는 것이 목적이며, 관측 도구 연결은 미리보기입니다. 어떤 도구를 쓰는지 알려 주시면 도입 상담에서 연결 방식을 확인합니다.
알림은 지금 무엇이 되나요?
승인 요청, 실행 완료, 판정 FAIL, 검증 격리, 커버리지 미달, 케이스 제안 여섯 가지가 브라우저 알림으로 옵니다. 이메일·채팅 채널·웹훅 알림은 미리보기입니다.
운영 데이터 중 무엇을 받아가나요?
오류 이벤트의 종류·발생 시각·발생 화면과 배포된 커밋 정보, 화면 경로 단위의 사용 흐름입니다. 어떤 항목을 어디까지 받을지는 프로젝트별로 정하며, 데이터 처리 범위는 배포 · 데이터 처리에서 확인할 수 있습니다.
재현 검증은 누가 검토하나요?
자동으로 만들어진 재현 검증 초안은 담당자가 승인해야 회귀 세트에 들어갑니다. 관리형 QA를 이용하면 전문가가 초안을 검토하고 회귀 세트를 유지하며, 수정 후 재검증과 릴리스 메모까지 맡습니다.
배포 후 오류가 나면 배포 전 판정이 바뀌나요?
바뀌지 않습니다. 배포 전 판정은 그 실행의 기록으로 남고, 오류를 재현하는 검증이 회귀 세트에 들어가 다음 실행의 판정에 반영됩니다. 타임라인에서 두 시점을 나란히 볼 수 있습니다.

운영까지 이어지는 검증을 상담하세요.

릴리스 판정과 브라우저 알림부터 시작하고, 모니터링 미리보기의 적용 범위는 도입 상담에서 함께 정합니다.

sales@qoretix.com+82-33-242-0210평일 10:00 – 18:00 KST