말하지 않는 모델, Jev
말하지 않는 모델, Jev
간만에 "아, 이건 방향이 다르다" 싶은 모델이 하나 나왔습니다.
TypeSafe AI가 2년간의 스텔스 끝에 공개한 'Jev'인데요. 출시 4일 만에 가상 피팅, 회계, 로봇팔 제어, 게임 레벨 생성까지 별별 사례가 쏟아지고 있고, Vercel AI Gateway 역사상 가장 빠르게 채택된 모델이 됐다고 합니다. 그런데 재밌는 건 이 모델이 글을 한 글자도 못 쓴다는 점입니다. 대화도, 코드 생성도, 추론 설명도 안 됩니다.
대신 애플리케이션 상태와 미리 정의한 질문을 넣으면, 소프트웨어가 바로 쓸 수 있는 '타입이 있는 확률값'을 돌려줍니다. 카너먼의 시스템 1(빠른 직관)에서 이름을 따와 스스로를 'System One 모델'이라고 부르더군요.
읽으면서 개인적으로 눈이 멈췄던 지점들을 정리해 봅니다.
1. 출력이 텍스트가 아니라 '타입'이다
"카드가 두 번 결제됐어요"라는 문의를 넣으면 {"billing": 0.08, "technical": 0.85, "sales": 0.07}과 신뢰도 0.82가 나옵니다. 질문 형식은 Choice(최대 255개 선택지), Score(단계별 점수), Noul(예/아니오 확률) 세 가지뿐입니다.
LLM을 백엔드에 붙여본 분들은 아실 겁니다. "JSON으로만 답해"라고 프롬프트에 빌고, 파싱 실패하면 재시도하고, 스키마 검증 레이어를 또 얹는 그 과정이요. Jev는 그 계층을 통째로 없앴습니다. 애초에 사람이 읽을 출력이 아니라 코드가 읽을 출력으로 설계한 거죠.
2. 순차 토큰 생성이 아니라 병렬 반환
응답이 70ms에서 500ms, 보통 100ms 안팎입니다. 데모 기준 0.114초 대 GPT-5.6 Terra 8.566초로 40배에서 200배 차이가 납니다. 토큰을 하나씩 뽑는 구조가 아니라 모든 답을 한 번에 반환하기 때문인데, 한 번의 호출로 같은 상태에 대해 여러 질문(긴급한가? 어느 부서인가? 불만 수준은?)을 동시에 던질 수 있습니다. 가격도 입력 $0.042/MTok에 출력은 0원입니다. 초당 10번 판단을 내려도 시간당 7달러 수준이라, 그동안 비용과 지연 때문에 LLM을 넣을 엄두를 못 냈던 '요청 경로 한가운데'에 판단을 끼워 넣을 수 있게 됩니다.
3. 보정된 확률(Calibrated)이 진짜 핵심
LLM은 틀릴 때도 확신에 차서 틀립니다. Jev는 RLCD(Reinforcement Learning for Calibrated Decisions)라는 방식으로 확률 자체를 보정하도록 학습됐다고 합니다. 이게 왜 중요하냐면, 신뢰도가 믿을 만해야 "0.9 이상이면 자동 처리, 아니면 사람이나 큰 모델로 넘김" 같은 분기를 코드로 짤 수 있기 때문입니다. 제가 늘 관심 가지는 하네스 엔지니어링 관점에서 보면, 에이전트 루프 안의 라우팅·가드레일·승인 판단을 맡기기에 딱 맞는 부품입니다.
다만 과장은 걸러 들을 필요가 있습니다
한 외부 평가(워크플로우 4종, 711건)에서 기준 모델과의 일치율이 68%였고 최고 비교군은 74%였습니다. 인프라 가격에 중상위권 판단력이지 최고급 추론은 아니라는 얘기입니다. 계산이나 날짜 산술은 못 하고, 프롬프트 인젝션에 대한 보장도 없다고 명시돼 있어서 적대적 입력이 들어오는 경로에는 그대로 쓰면 안 됩니다.
'큰 모델 하나로 다 한다'에서 '판단은 작고 빠른 모델, 생성은 큰 모델'로
CEO가 InstructGPT 논문 공저자인 Diogo Almeida인데, "지능의 소비자가 사람만일 수는 없다"는 말이 이 모델의 방향을 잘 요약합니다. 지금까지는 분류 하나 하려고 수십억 파라미터짜리 채팅 모델에게 말을 걸고 답을 다시 파싱해 왔는데, 그게 얼마나 돌아가는 길이었는지 새삼 느꼈습니다. 티켓 분류, 요청 라우팅, 콘텐츠 점수화처럼 답의 형태가 정해진 판단은 이런 모델로 빠지고, LLM은 정말 생성이 필요한 곳에만 쓰는 구조가 곧 표준이 되지 않을까 싶습니다.
백엔드 아키텍처나 에이전트 설계, LLM 비용 최적화에 관심 있으신 분들은 한 번 살펴보시길 추천합니다. 저도 조만간 블로그 채팅 라우팅에 붙여서 직접 실험해 볼 생각입니다.
#AI #Jev #TypeSafeAI #LLM #SystemOne #백엔드 #아키텍처 #하네스엔지니어링 #AIAgent #비용최적화
