AI 평가 지표
- AI 평가 지표 = AI 시스템이 낸 결과를 숫자나 기준표로 얼마나 잘했는지 확인하는 방법이다.
- 핵심은 공식을 외우는 것이 아니라, 지금 평가하려는 문제가 분류인지, 숫자 예측인지, 생성형 답변인지 먼저 구분하는 것이다.
큰 분류
평가 방식 패턴
| 방식 | 쉽게 말하면 | 적합한 상황 |
|---|
| 정답 라벨 비교 | 예측 라벨과 정답 라벨을 직접 비교 | 감정 분류, 의도 분류, 도구 선택 |
| 다수결 평가 | 여러 모델의 라벨 중 가장 많이 나온 것을 선택 | 정답 라벨이 있는 분류 문제 |
| LLM-as-Judge | 평가자 LLM이 답변 품질을 채점 | 리포트, 상담, 자유 형식 답변 |
| 사람 평가 | 사람이 직접 검수 | 중요한 샘플, 최종 품질 검증 |
- 정답 라벨이 있으면 먼저 코드 기반 평가를 쓴다.
- 정답 라벨이 없거나 답변 품질을 봐야 하면 LLM-as-Judge나 사람 평가를 쓴다.
- LLM 출력이
긍정입니다처럼 길게 나오는 경우에는 라벨 정규화가 필요하다.
분류 지표를 보는 상황
- 스팸인지 아닌지 판단한다.
- 감기/고혈압/당뇨 중 어떤 도구를 호출할지 고른다.
- 질문이 중식/일식/양식 중 어느 식단 도구로 가야 하는지 분류한다.
- 결과가
정답 라벨과 비교될 수 있으면 분류 지표를 쓸 수 있다.
회귀 지표를 보는 상황
- 집값, 주가, 수요량, 점수처럼 숫자를 예측한다.
- 실제값과 예측값의 차이를 본다.
얼마나 틀렸는가가 중요하므로 MAE, MSE, RMSE 같은 오차 지표를 쓴다.
생성형 AI 평가를 보는 상황
- 답변이 자연어라서 정답이 하나로 고정되지 않는다.
- 리포트, 요약, 상담 답변, RAG 답변, 에이전트 최종 응답이 여기에 속한다.
- 번역/요약처럼 참조문이 있으면 텍스트 생성 평가 지표를 볼 수 있다.
- 리포트/상담/자유 대화처럼 정답 표현이 넓으면 LLM-as-Judge, 평가 루브릭, 사람 평가가 더 잘 맞는다.
지표 선택 감각
| 상황 | 우선 볼 지표 |
|---|
| 전체적으로 몇 개 맞았는지 보고 싶다 | Accuracy |
| 잘못 맞다고 하면 큰일 난다 | Precision |
| 진짜 필요한 것을 놓치면 큰일 난다 | Recall |
| Precision과 Recall을 같이 보고 싶다 | F1 |
| 숫자 예측에서 평균적으로 얼마나 틀렸는지 보고 싶다 | MAE |
| 큰 실수를 강하게 벌주고 싶다 | MSE, RMSE |
| 번역/요약 문장이 정답 문장과 얼마나 비슷한지 보고 싶다 | BLEU, ROUGE, BERTScore |
| 답변 품질, 근거 충실도, 완성도를 보고 싶다 | LLM-as-Judge |
| 여러 모델의 분류 결과를 합치고 싶다 | 다수결 평가 |
AI Agent에서의 평가 예시
Mermaid스크롤로 확대 · 드래그로 이동
- 분류형 도구 선택은
정답 도구와 실제 선택 도구를 비교한다.
- RAG 답변은
근거 문서에 없는 말을 했는지를 본다.
- 멀티 에이전트 리포트는
각 에이전트 결과를 빠짐없이 반영했는지를 본다.
- 운영에서는 정확도만 보지 않고 비용, 지연시간, 실패율도 함께 본다.
관련
