BLEU

BLEU

• BLEU = 기계 번역 결과가 참조 번역문과 얼마나 비슷하게 단어 조각이 겹치는지 보는 평가 지표다.
• 주로 번역 평가에서 많이 쓰지만, 요즘 생성형 답변 전체 품질을 평가하기에는 한계가 크다.

핵심 직관

• 모델 번역: "나는 학교에 간다"
• 참조 번역: "나는 학교로 간다"
• 단어 조각이 많이 겹치므로 BLEU는 높게 나온다.

반대로:

• 모델 번역: "저는 학교에 갑니다"
• 참조 번역: "나는 학교로 간다"
• 의미는 거의 같지만 단어 모양이 다르므로 BLEU는 낮게 나올 수 있다.

n-gram

• n-gram = 문장을 n개 단어씩 자른 조각이다.
• 1-gram: 단어 하나씩.
• 2-gram: 단어 두 개씩.
• 3-gram: 단어 세 개씩.

예:

TEXTCopy
나는 학교에 간다

• 1-gram: 나는, 학교에, 간다
• 2-gram: 나는 학교에, 학교에 간다

BLEU는 이런 조각들이 참조문과 얼마나 겹치는지 본다.

좋은 점

• 계산이 빠르다.
• 사람이 정답 번역문을 만들어두면 자동으로 점수화할 수 있다.
• 번역 시스템을 여러 개 비교할 때 편하다.

한계

• 같은 의미를 다른 표현으로 말하면 낮게 나올 수 있다.
• 단어가 겹쳐도 의미가 틀린 문장을 높게 볼 수 있다.
• 문장 하나 단위보다 대량 데이터셋 평균으로 볼 때 더 안정적이다.
• 현대 LLM 답변 평가에서는 BERTScore나 LLM-as-Judge와 함께 봐야 한다.

AI Agent에서의 활용

• 번역 에이전트가 만든 결과를 참조 번역문과 비교한다.
• 프롬프트 변경 전/후 번역 결과를 빠르게 회귀 평가한다.
• 단, 업무 답변, 리포트, 상담처럼 정답 표현이 다양한 작업에는 BLEU만 쓰면 부족하다.

관련

• 텍스트 생성 평가 지표
• ROUGE
• BERTScore
• Evaluation