VLM

VLM

• VLM(Vision-Language Model)은 이미지와 텍스트를 함께 이해하는 모델이다.
• 텍스트만 입력받는 LLM과 달리, 문서 이미지, 사진, 차트, 표, 스크린샷 같은 시각 정보를 함께 볼 수 있다.
• OCR이 글자를 읽는 데 집중한다면, VLM은 글자뿐 아니라 배치, 표 구조, 그림과 텍스트의 관계까지 해석하는 데 도움을 줄 수 있다.

OCR과의 차이

• OCR

  • 이미지 속 글자를 텍스트로 변환하는 데 초점이 있다.
  • 오타, 띄어쓰기, 줄 인식, 표 구조 무너짐 문제가 생길 수 있다.

• VLM

  • 이미지 전체의 의미와 구조를 함께 본다.
  • 표의 행/열 관계, 제목과 본문 구분, 다단 레이아웃, 캡션 같은 정보를 더 잘 활용할 수 있다.

문서 처리에서 쓰는 이유

• 스캔 PDF나 이미지 문서에서 글자만 추출하면 구조가 깨질 수 있다.
• VLM을 사용하면 문서의 시각적 구조를 바탕으로 Markdown, JSON, HTML 같은 구조화된 출력으로 변환하도록 요청할 수 있다.
• 특히 표, 카드형 레이아웃, 손글씨, 캡처 화면, 복잡한 PDF에서 도움이 된다.

Parser와 함께 쓰기

• VLM에게 결과를 자유 텍스트로만 받으면 후처리하기 어렵다.

• 그래서 다음과 같은 출력 형식을 지정하면 좋다.

• JSON

  • 필드가 정해진 문서 추출에 적합하다.
  • 프로그램이 검증하기 쉽다.

• Markdown

  • 사람이 읽는 문서 구조를 유지하기 좋다.
  • 제목, 목록, 표를 표현하기 쉽다.

• HTML

  • 표, 링크, 레이아웃 구조를 보존하기 좋다.
  • <table>, <tr>, <td>로 표의 행/열 관계를 표현할 수 있다.

한 줄 정리

• VLM은 OCR의 오타, 줄 인식, 표 구조 손실 문제를 완전히 없애지는 못하지만, 시각적 맥락을 함께 보기 때문에 문서 이해 품질을 많이 보완할 수 있다.