평가 결과 읽기와 비교
평가 결과는 실행 전체의 상태와 Case별 채점 결과를 함께 봐야 해석할 수 있습니다. 이 페이지에서는 실행이 끝났는지 확인하고, 부분 결과·점수·런타임 지표·Dashboard 집계를 같은 범위에서 비교하는 순서를 설명합니다. 실행을 만들고 상태를 조회하는 방법은 평가 실행, Dataset과 Case 준비는 평가 Case 설계에서 확인합니다.
결과를 보기 전에 확인할 범위
결과를 열기 전에 다음 값을 기록합니다.
| 확인할 값 | 확인 이유 |
|---|---|
| Agent | 어떤 에이전트의 응답인지 구분합니다. |
| Dataset과 total_cases | 전체 평가 항목 수와 비교할 기준을 정합니다. |
| Evaluator 유형과 점수 범위 | 점수가 무엇을 의미하는지 판단합니다. |
| 실행 상태와 completed_cases | 결과가 전체인지 부분인지 구분합니다. |
| 실행 시점의 model | 같은 Evaluator라도 실행마다 사용 모델이 다를 수 있습니다. |
Evaluator는 판정 기준을 정의하지만 실행에 실제로 사용된 모델은 실행 시점의 run에 기록됩니다. 따라서 Evaluator 이름만 비교하지 말고 run의 model을 함께 기록합니다.
실행 전체가 끝났는지 확인하기
먼저 실행 상세에서 status, total_cases, completed_cases, error, completed_at을 확인합니다. completed_cases가 total_cases보다 작으면 성공한 결과가 있더라도 Dataset 전체를 대표하지 않습니다.
상태별 판단은 다음과 같습니다.
| 상태 | 결과를 읽는 방법 |
|---|---|
| pending | 아직 평가가 시작되지 않았을 수 있으므로 결과를 확정하지 않습니다. |
| running | 처리된 Case만 부분 결과로 봅니다. 전체 점수로 해석하지 않습니다. |
| success | 종료 상태이지만 처리 수와 Case별 결과를 함께 확인합니다. |
| error | 오류와 처리된 결과를 분리합니다. 오류가 난 Case를 성공 결과에 섞지 않습니다. |
| cancelled | 취소 시점까지 처리된 결과만 남았는지 다시 조회합니다. |
| timeout | 부분 결과와 마지막 상태를 확인하고 전체 평가로 사용하지 않습니다. |
| drained | 서버가 반환한 enum 값입니다. 화면 표시와 같은 의미인지 실제 응답과 대조해 확인합니다. |
취소 요청이나 오류 응답만으로 처리가 즉시 멈췄다고 단정하지 않습니다. 결과 목록을 다시 조회해 completed_cases와 Case별 결과가 더 변하지 않는지 확인합니다.
Case별 결과를 읽기
Results에서는 각 Case의 질문, 에이전트 답변, 점수, judge reasoning, error와 실행 지표를 함께 확인합니다. 먼저 Case가 의도한 Dataset에 속하는지, 기준 답변과 비교하는 Evaluator가 같은 실행에 연결됐는지 확인합니다.
결과를 읽는 순서는 다음과 같습니다.
- Case 식별자와 질문을 Dataset의 원본 항목과 대조합니다.
- agent_answer가 비어 있거나 error가 있는지 확인합니다.
- Evaluator 유형에 맞게 score와 judge reasoning을 읽습니다. 점수만으로 판정 이유를 추정하지 않습니다.
- latency_seconds, time_to_first_token_ms, token_input, token_output, estimated_cost 같은 런타임 지표는 채점 결과와 분리해 기록합니다.
- metrics_status가 아직 pending인지 확인합니다. 지표가 준비되지 않은 결과를 비용이나 지연 비교에 사용하지 않습니다.
- 전체 Case 수와 처리된 결과 수를 다시 비교합니다.
점수는 선택한 Evaluator의 기준과 범위 안에서만 비교합니다. 서로 다른 Evaluator 유형이나 점수 범위를 하나의 평균으로 합치지 않습니다. 기준 답변이 바뀌었거나 Case가 수정된 뒤 실행했다면 실행 시점의 Dataset 상태를 별도로 기록합니다.
전체 결과와 Dashboard 비교하기
전체 결과를 파일로 검토해야 하면 results export에서 반환된 JSON을 사용합니다. Dashboard는 호출자가 소유한 Agent 범위로 집계되므로, Dashboard 수치와 개별 실행을 비교할 때 같은 Agent 범위와 같은 실행 조건을 사용합니다.
비교할 때는 다음 항목을 맞춥니다.
- 같은 Agent와 Dataset 범위인지
- 같은 Evaluator 유형과 점수 범위인지
- 같은 model, 지침, 도구 구성을 사용했는지
- 전체 Case 수와 처리된 Case 수가 같은지
- 실행 상태가 terminal 상태인지
- Dashboard 집계 기간과 개별 실행의 생성 시점이 맞는지
범위나 실행 조건이 다르면 수치 차이를 품질 변화로 바로 해석하지 않습니다. Dashboard의 집계 방식이나 화면 표시 형식이 서버 계약으로 확정되지 않은 경우에는 export와 Case별 결과를 우선 근거로 삼습니다.
실행 간 결과를 비교하기
모델이나 에이전트 구성을 비교할 때는 한 번의 점수 차이만으로 결론을 내리지 않습니다. 비교표에 실행 식별자, 생성 시각, Agent, Dataset 버전 또는 Case 구성, Evaluator, model, total_cases, completed_cases, 최종 상태를 함께 남깁니다.
같은 Dataset을 사용했더라도 model이 달라지면 결과 차이의 원인을 분리해서 기록합니다. Evaluator 유형, prompt와 점수 범위, 실행 시점의 Case 구성도 함께 확인합니다.
error, cancelled, timeout 상태의 실행은 성공한 Case만 모아 정상 실행과 비교하지 않습니다. 먼저 누락된 Case와 오류 원인을 확인하고, 비교 대상에 포함할지 별도로 판단합니다.
오류와 불일치를 확인하기
결과 수나 점수가 기대와 다르면 다음 순서로 확인합니다.
- 실행의 Dataset, Evaluator, Agent, model을 다시 조회합니다.
- Dataset의 total_cases와 Case 목록의 total을 비교합니다.
- 실행의 total_cases와 completed_cases를 비교합니다.
- Case별 error와 실행 전체 error를 분리해 읽습니다.
- export 결과와 Results 조회 결과의 Case 수와 식별자를 대조합니다.
- Dashboard를 비교한다면 Agent 범위와 집계 조건을 확인합니다.
조회 응답이 없거나 실행 생성 응답을 받지 못한 경우에는 결과가 없는 것으로 단정하지 않습니다. 실행 목록에서 중복 생성 여부와 저장된 실행 상태를 먼저 확인합니다. 점수는 보이지만 judge reasoning이 비어 있다면 점수만으로 판정 이유를 추정하지 않습니다. 런타임 지표가 비어 있다면 해당 필드의 상태를 확인한 뒤 해석 범위를 낮춥니다.
완료 판단
평가 결과를 비교 자료로 사용할 수 있으려면 다음을 모두 확인합니다.
- 실행이 pending 또는 running이 아닌 최종 상태입니다.
- total_cases와 completed_cases를 비교했고, 부분 실행 여부를 기록했습니다.
- Case별 결과의 Dataset과 Evaluator 연결이 맞습니다.
- 점수와 judge reasoning을 선택한 Evaluator의 기준으로 해석했습니다.
- model과 실행 조건을 기록했습니다.
- Dashboard 또는 export를 비교할 때 Agent 범위와 Case 범위를 맞췄습니다.
- 오류, 취소, timeout 결과를 성공 결과와 구분했습니다.
이 조건을 충족해도 평가 결과가 품질 보증이나 배포 승인으로 바뀌지는 않습니다. 결과는 설정을 비교할 근거이며, 운영 판단에는 평가 목적과 허용 기준을 별도로 적용해야 합니다.