청킹(Chunking) | Vault | 김승찬 블로그

청킹 = 원본 문서를 임베딩 · 검색 단위로 잘게 쪼개는 작업 . RAG Retrieval-Augmented Generation 품질의 50% 이상을 좌우한다. 청크가 너무 작으면 맥락이 부족해 LLM이 답을 못 만들고, 너무 크면 노이즈·비용·임베딩 한도 8K 토큰 초과 문제가 생긴다. 대표 전략 Fixed-size 고정 크기 가장 단순. 문장·단락 경계를 무시해 의미가 잘리기 쉬움. Recursive Character Splitter 가장 흔히 권장 단락 → 문장 → 단어 순으로 자른다. 의미를 가장 덜 깨뜨림. Semantic Chunking 인접 문장의...