BERT
2026년 6월 23일
BERT
- BERT = 문장의 단어를 앞뒤 문맥까지 함께 보고 이해하는 언어 모델이다.
- 요즘 ChatGPT처럼 길게 생성하는 모델이라기보다, 문장을 읽고 각 단어/문장의 의미를 벡터로 표현하는 데 많이 쓰인다.
왜 문맥이 중요한가
TEXT나는 은행에서 돈을 찾았다. 나는 강가의 은행나무 아래에 앉았다.
- 두 문장 모두
은행이라는 글자가 들어간다. - 하지만 첫 번째는 금융기관에 가깝고, 두 번째는 나무/장소 문맥에 가깝다.
- BERT는 이런 앞뒤 문맥을 반영해서 단어의 의미 벡터를 만든다.
BERT와 임베딩
Mermaid스크롤로 확대 · 드래그로 이동
- 일반 단어 비교는 글자가 같은지 본다.
- BERT 임베딩은 문맥 속 의미가 비슷한지 본다.
- BERTScore는 이 성질을 이용해 생성문과 참조문을 의미 기준으로 비교한다.
BERTScore에서 BERT가 쓰이는 방식
- 생성문과 참조문을 각각 BERT에 넣는다.
- BERT가 각 단어를 문맥 벡터로 바꾼다.
- 벡터끼리 코사인 유사도를 계산한다.
- 의미가 가까운 단어들이 잘 대응되면 BERTScore가 높아진다.
한계
- BERT는 모든 사실을 검증하는 판사가 아니다.
- 의미가 비슷한지 보는 데 강하지만, 최신 사실·도메인 지식·논리 검증은 별도 평가가 필요하다.
- 긴 리포트의 품질 평가에는 LLM-as-Judge나 사람 평가가 더 적합할 수 있다.