LLM-as-Judge | Vault | 김승찬 블로그

LLM-as-Judge = LLM에게 다른 LLM의 출력 또는 에이전트의 행동 을 채점하게 하는 평가 기법. 자유 형식 답변·다단계 trajectory처럼 코드로 채점하기 어려운 대상에 거의 유일한 자동화 수단이다. 단, 편향과 일관성 문제 를 알고 써야 한다. 가장 단순한 형태 구조화된 평가 권장 Pydantic 스키마를 강제해 파싱 실패를 막는다. 흔한 편향 4종 Position bias — pairwise 비교 시 먼저 보여준 쪽을 선호. → 좌우 위치를 swap 해서 두 번 평가. Length bias — 더 긴 답변을 선호. → 길이를 명시적으로 평가...