ROUGE

ROUGE

• ROUGE = 생성된 요약이 참조 요약문에 있는 핵심 단어/문장 조각을 얼마나 포함했는지 보는 평가 지표다.
• 요약 평가에서 많이 쓴다.

핵심 직관

• 참조 요약에 중요한 내용이 10개 있다.
• 모델 요약이 그중 7개를 담았다.
• 그러면 "핵심 내용을 꽤 많이 담았네"라고 보는 쪽이다.

그래서 ROUGE는 Recall 감각과 닮았다.

BLEU와 차이

ROUGE 종류

• ROUGE-1: 단어 하나 단위로 겹침을 본다.
• ROUGE-2: 단어 두 개 묶음 단위로 겹침을 본다.
• ROUGE-L: 가장 긴 공통 부분 순서를 본다.

정확한 공식을 외우기보다:

• ROUGE-1은 대략적인 단어 포함률.
• ROUGE-2는 조금 더 문맥 있는 표현 겹침.
• ROUGE-L은 문장 흐름이 얼마나 비슷한지.

좋은 점

• 요약이 원문/정답 요약의 핵심 단어를 많이 담았는지 빠르게 볼 수 있다.
• 여러 요약 모델을 자동 비교하기 좋다.

한계

• 단어가 겹치지 않아도 의미가 맞는 요약을 낮게 볼 수 있다.
• 단어가 겹쳐도 사실관계가 틀린 요약을 높게 볼 수 있다.
• "읽기 좋은가", "중요도를 잘 판단했는가"는 ROUGE만으로 부족하다.

AI Agent에서의 활용

• 뉴스 요약 에이전트가 만든 요약이 기준 요약과 얼마나 겹치는지 평가한다.
• RAG 요약 결과가 원문 핵심을 빠뜨리지 않았는지 대략 확인한다.
• 최종 리포트 품질은 ROUGE만으로 부족하므로 LLM-as-Judge 또는 사람 평가를 함께 쓴다.

관련

• 텍스트 생성 평가 지표
• BLEU
• BERTScore
• Evaluation