Deep Agent Builder 에이전트 평가 개요
에이전트를 고칠 때마다 결과가 나아졌는지 판단하려면, 같은 질문에 같은 기준으로 답하게 만들어 비교할 수 있어야 합니다. Deep Agent Builder의 평가 메뉴는 준비해 둔 질문 목록으로 에이전트를 실행하고, 판정 결과를 점수와 근거로 모아 보여주는 기능입니다. 이 페이지는 평가 화면의 전체 구성과 단계가 이어지는 순서를 설명합니다. 데이터셋 만들기나 실행 절차의 세부 단계는 이어지는 문서에서 확인할 수 있습니다.
평가 메뉴 열기
왼쪽 사이드바 아래쪽의 더 보기 메뉴에서 평가를 선택합니다. 평가 화면은 데이터셋, 평가 실행, 평가기, 대시보드 네 개의 탭으로 구성되어 있고, 화면 위쪽에 "평가 데이터셋, 실행, 평가기를 관리합니다"라는 설명이 함께 표시됩니다.
평가 메뉴를 열 권한이 없으면 "접근 권한이 없습니다" 화면이 대신 표시됩니다. 이 화면이 보이면 관리자에게 평가 조회 권한을 요청하세요.
평가를 이루는 자원
평가는 다섯 가지 자원을 조합해 진행합니다. 각 자원이 화면의 어느 영역에 해당하는지 먼저 구분해 두면 뒤의 절차가 읽기 쉬워집니다.
| 자원 | 역할 | 화면 위치 |
|---|---|---|
| 데이터셋 | 질문과 참고 답변(QA 쌍)을 모아 둔 평가 대상 목록 | 데이터셋 탭 |
| 평가기 | 에이전트 답변을 판정하는 기준과 판정 프롬프트 | 평가기 탭 |
| 평가 실행 | 데이터셋과 평가기를 묶어 에이전트를 평가하는 한 번의 작업 | 평가 실행 탭 |
| 결과 | 실행이 끝난 QA 쌍별 판정과 점수, 근거 | 평가 실행 탭의 결과 표 |
| 대시보드 | 실행과 결과를 에이전트별로 모아 본 집계 | 대시보드 탭 |
QA 쌍은 데이터셋 안의 개별 항목입니다. 질문과 참고 답변을 한 쌍으로 저장하며, 평가 실행은 이 쌍마다 에이전트 답변을 얻고 평가기로 판정합니다.
데이터셋 준비
데이터셋 탭에서는 검색창으로 데이터셋을 찾고, 데이터셋 생성 버튼으로 새로 만듭니다. 생성 화면에서는 이름(필수)과 설명(선택)을 입력하고 CSV 파일을 함께 올릴 수 있습니다. 파일 없이 이름만으로 만들면 빈 데이터셋이 되고, 데이터셋 상세에서 QA 쌍을 하나씩 추가합니다.
CSV로 올릴 때는 첫 행에 question과 answer 열이 있어야 하고, 파일은 최대 5MB, 행은 1,000개까지입니다. 어떤 형식이 허용되는지와 입력 제한의 전체 목록은 평가 Dataset 만들기에서 확인할 수 있습니다. 데이터셋을 만들기 전에 양식을 그대로 받아 보고 싶으면 샘플 데이터셋 다운로드 버튼으로 예시 파일을 받을 수 있습니다.
진행 중인 평가가 있는 데이터셋의 QA 쌍은 수정하거나 삭제할 수 없습니다. 먼저 평가를 끝내거나 취소한 뒤 수정합니다. 데이터셋 삭제는 확인 창을 거치며, 삭제하면 그 안의 모든 QA 쌍이 함께 사라지고 되돌릴 수 없습니다.
평가기 고르기와 만들기
평가기 탭에는 기본 평가기 섹션과 사용자 평가기 섹션이 나뉘어 표시됩니다. 기본 평가기는 정확성, 충실도, 관련성, 완전성, 인간다움, 전문성 여섯 가지이며 모든 사용자에게 제공됩니다. 각 카드에는 판정 방식이 배지로 표시됩니다. 이진은 통과와 실패로 판정하고, 점수는 정해진 범위 안의 점수로 판정합니다.
기본 평가기 카드를 클릭하면 새 평가기로 저장 화면이 열립니다. 원본 프롬프트가 채워진 상태에서 이름과 내용을 고쳐 자신의 평가기로 저장할 수 있습니다. 사용자 평가기 카드를 클릭하면 내용을 수정하고, 카드에 마우스를 올려 나타나는 휴지통 버튼으로 삭제할 수 있습니다.
평가기를 만들거나 고칠 때는 다음 항목을 채웁니다.
- 이름과 설명을 입력합니다.
- 평가 유형에서 이진(통과/실패) 또는 점수(범위)를 고릅니다. 점수를 고르면 점수 범위의 최솟값과 최댓값을 정합니다.
- 오른쪽 프롬프트 템플릿에 판정 기준을 적습니다. 템플릿에는 질문, 참고 답변, 에이전트 답변을 받는 변수를 사용할 수 있고, 변수 가이드가 화면에 함께 표시됩니다. 빠른 삽입 버튼으로 기본 평가기 여섯 가지의 프롬프트를 바로 불러올 수도 있습니다.
점수 범위의 최솟값이 최댓값보다 크거나 같으면 저장할 수 없습니다. 워크스페이스에 참여하지 않은 상태에서는 평가기를 저장할 수 없고, 화면이 평가기 상세 읽기 전용으로 열립니다.
평가 실행하기
평가 실행 탭에서는 먼저 평가할 에이전트를 선택합니다. 에이전트를 선택해야 평가 시작 버튼이 활성화됩니다. 평가 시작을 누르면 평가 실행 생성 화면에서 데이터셋과 평가기, 판정에 사용할 모델을 고릅니다. 모델은 선택 사항이며 비워 두면 사용자 기본값을 사용합니다. 선택한 모델의 API 키가 등록되어 있지 않으면 "API 키가 등록되지 않았습니다" 안내가 표시됩니다.
평가를 시작하면 실행이 목록 맨 위에 추가되고 상태가 대기 중에서 실행 중으로 바뀝니다. 동시에 진행할 수 있는 평가 실행 수에는 제한이 있고 기본 한도는 2개입니다. 한도를 넘겨 시작하면 "요청이 너무 많습니다. 잠시 후 다시 시도해주세요"라는 안내가 표시되며, 진행 중인 평가가 하나 끝난 뒤 다시 시도하면 됩니다.
실행 상태는 대기 중, 실행 중으로 진행된 뒤 완료, 오류, 취소됨, 시간 초과 중 하나로 끝납니다. 실행 화면에는 실행 정보, 점수, 데이터셋, 평가 방식 카드와 결과 표가 함께 표시됩니다. 진행 중에는 아직 결과가 도착하지 않은 QA 쌍이 질문과 정답만 채워진 행으로 먼저 보이고, 판정이 도착하는 대로 하나씩 채워집니다.
판정이 오래 걸리는 평가는 직접 기다릴 필요가 없습니다. 화면이 주기적으로 상태를 다시 확인하므로 다른 작업을 하다가 돌아와도 됩니다. 완료되기 전에는 실행 취소 버튼으로 평가를 멈출 수 있고, 취소해도 그때까지 도착한 부분 결과는 표에 남습니다.
실행 상태와 결과 확인
결과 표의 열은 입력, 정답, 에이전트 답변, 결과, 입력 토큰, 출력 토큰, TTFT 순서입니다. TTFT는 에이전트가 첫 답변을 내기까지 걸린 시간입니다.
결과 열의 필터를 누를 때마다 전체, 통과, 실패 목록이 순서대로 바뀝니다. 입력 토큰, 출력 토큰, TTFT 열의 제목을 누르면 해당 값을 기준으로 정렬하고, 같은 제목을 다시 누르면 오름차순과 내림차순이 바뀝니다. 결과 행을 클릭하면 오른쪽에 결과 상세 패널이 열려 입력, 정답, 에이전트 답변, 판정 사유, 결과, 토큰 수, TTFT를 한 화면에서 확인할 수 있습니다.
실행이 끝난 상태이고 결과가 하나 이상 도착했으면 Excel 내보내기 버튼이 나타납니다. 내보내기는 화면에 보이는 필터나 정렬과 관계없이 실행의 모든 결과를 파일로 저장합니다. 진행 중인 평가는 내보낼 수 없습니다.
대시보드로 추세 보기
대시보드 탭에서는 에이전트를 선택해 평가 결과의 흐름을 한 번에 봅니다. 기본 선택은 전체이고, 특정 에이전트를 고르면 그 에이전트의 실행만 모아 집계합니다. 상단에는 총 실행 횟수와 평균 점수 카드가 표시되고, 아래에 전체 실행 표, 점수 추이 표, 평가기 성능 표가 이어집니다. 전체 실행 표의 행을 클릭하면 평가 실행 탭의 해당 실행 상세로 이동합니다. 화면에는 기간 선택이 따로 없고 전체 기간이 집계됩니다.
선택한 범위에 평가가 없으면 "이 에이전트의 평가 데이터가 없습니다"라는 안내가 표시됩니다.
결과를 해석할 때 확인할 것
평가 결과는 에이전트 설정을 비교하는 근거로 쓸 수 있지만, 결과를 확인했다는 이유로 품질이 보증되는 것은 아닙니다. 결과를 판단할 때는 다음을 함께 확인하세요.
- 일부 QA 쌍만 처리된 실행이나 취소됨, 시간 초과로 끝난 실행의 점수로 전체 품질을 대표하지 않습니다.
- 통과율과 평균 점수의 판정 기준은 평가기의 방식과 점수 범위에 따라 달라집니다. 평가기를 바꿨다면 이전 결과와 같은 기준인지 먼저 확인합니다.
- 비교하려는 두 실행의 데이터셋, 평가기, 모델이 달라졌다면 결과 차이의 원인을 별도로 기록해 둡니다.
실행 상태와 모니터링 관점의 해석은 에이전트 평가에서, 평가 결과를 개선에 연결하는 방법은 회귀 평가와 개선에서 더 볼 수 있습니다.