def_resolve_embedding_device()->str: configured = os.getenv(EMBEDDING_DEVICE_ENV)if configured:return configured # 명시 설정이 있으면 탐지 자체를 안 함try:import torch
except ImportError as error: logger.info("torch 미설치로 CPU 임베딩 사용: %s", error)return DEFAULT_CPU_DEVICE
try: cuda_available = torch.cuda.is_available()except RuntimeError as error: logger.warning("CUDA 초기화 실패로 CPU 임베딩 사용: %s", error)return DEFAULT_CPU_DEVICE
return DEFAULT_CUDA_DEVICE if cuda_available else DEFAULT_CPU_DEVICE
classQueryCachingEmbeddings(Embeddings):defembed_query(self, text:str)->list[float]:with self._cache_lock: cached = self._cache.get(text)if cached isnotNone: self._cache.move_to_end(text)# 최근 사용으로 이동return cached
vector = self._inner.embed_query(text)with self._cache_lock: self._cache[text]= vector
self._cache.move_to_end(text)whilelen(self._cache)> self._max_entries: self._cache.popitem(last=False)# 가장 오래된 것 제거return vector
defembed_documents(self, texts):# 재빌드 전용 — 캐시 안 함return self._inner.embed_documents(texts)