결정 모델(Decision Model)의 부상: AI 응답 파이프라인의 '보이지 않는 게이트'

핵심 요약

• OpenAI는 2026년 9월 29일 DevDay에서 자유 텍스트 대신 사전 정의된 유한 답변을 반환하는 Decisions API를 발표했고, 10월 6일 gpt-6-luna로 베타를 출시했다(출처: Sanity, mixed-news).
• OpenAI Decisions 공식 가격은 입력 100만 토큰당 $0.10, 출력 과금 없음이며, 자사 변경로그에서 "Responses API보다 10배 빠르다"고 주장했으나 벤치마크는 공개하지 않았다(출처: Hugging Face Blog).
• Cloudflare는 2026년 10월 1일 오픈웨이트 결정 모델 Clef(27B)와 Clef-flash(9B)를 출시했고, 자체 표는 Clef-flash를 중앙값 약 38.8ms로 제시했다(출처: Nicolás Torres, explainx.ai).
• Perplexity는 10월 1일 pplx-decider-v1-27b 기반 Decisions API를 입력 100만 토큰당 $0.04(출력 무료)로 출시했으며 벤치마크 85.71%, 컨텍스트 250k, Apache 2.0을 명시했다(출처: Dealroom, @AGTPinsights).
• 지배적 사용 패턴은 '신뢰도 기반 라우팅'으로, 0.85 이상 고신뢰 구간은 자동화, 중간 구간은 추론 모델로 에스컬레이션, 저신뢰 구간은 사람이 처리한다(출처: Superteams.ai).

결정 모델이란 무엇이고 왜 지금 쏟아지나?

결정 모델은 텍스트를 '생성'하는 대신 사전 정의된 선택지 중 하나를 확률과 함께 '반환'하는 새 모델 범주다. 3주도 안 되는 기간에 Cloudflare(Clef), Amazon(Strands Decider 2B), Perplexity(pplx-decider-27b), OpenAI(Decisions API)가 각자 출시했고 Ollama도 Nimble·Tev1 지원을 추가했다.

배경은 비용·지연이다. 생성형 응답은 이제 한 번의 LLM 호출이 아니라 '이 질문은 쉬운가, 웹검색이 필요한가, 어느 핸들러로 보낼까' 같은 여러 단계의 판단으로 조립된다. 이 모든 판단을 400B급 프런티어 모델에 거치면 호출마다 비용과 수백 ms 지연이 붙는다. 그래서 반복적 판단은 로컬 2B·9B 결정 모델로 넘기고, 프런티어 모델은 답변 작성·모호한 케이스 처리 등 언어가 실제로 필요한 부분에만 쓰는 구조로 바뀌고 있다. 한 분석은 이를 두고 결정 모델이 "에이전트 루프에서 LLM을 조용히 대체하고 있다"고 표현했다(출처: chatpicture).

주요 결정 모델의 스펙은 어떻게 비교되나?

현재까지 공개된 수치는 가격·속도·오픈웨이트 여부에서 뚜렷한 차이를 보인다. 단, 벤치마크 방법론과 측정 환경이 제각각이라 직접 비교에는 한계가 있다.

모델	가격(입력 100만 토큰)	기반·규모	특징
OpenAI Decisions	$0.10, 출력 무료	gpt-6-luna	"Responses API 대비 10배" 자사 주장(벤치 미공개)
Perplexity pplx-decider-v1-27b	$0.04, 출력 무료	Qwen3.8-27B	벤치 85.71%, 컨텍스트 250k, Apache 2.0
Cloudflare Clef / Clef-flash	오픈웨이트	Qwen3.8-27B / Qwen3.5-9B	Clef-flash 중앙값 약 38.8ms(자체 표)
TypeSafe Jev(원조)	$0.042, 출력 무료	—	결정 작업서 프런티어 대비 40200배 빠르다 주장, 70500ms

(출처: Hugging Face Blog, @AGTPinsights, Nicolás Torres, Dealroom)

OpenRouter의 결정 모델 리더보드는 실제 라우팅된 요청량으로 순위를 매기는데, 10월 11일 기준 Jev가 1위, 이어 GPT-6 Luna Decisions, Perplexity Decider V1.1, Cloudflare Clef Flash, Mercury Decide 무료판 순이었다(출처: Forbes).

결정 모델은 LLM을 대체하는가?

대체가 아니라 역할 분리다. 일반적 패턴은 LLM이 결정을 '정의'하고, 결정 모델이 반복적인 라우팅·게이팅·점수화 단계를 '수행'하는 것이다(출처: explainx.ai). 결정 계층은 단순한 작업은 빠른 분류기로, 어려운 작업은 더 강한 모델로, 불확실한 작업은 검색(retrieval)으로, 민감한 작업은 사람에게 라우팅한다(출처: Hugging Face Blog). 핵심 소구는 라우팅·분류·점수화·가드레일을 위한 "소프트웨어용 스마트 if문"이다(출처: Dealroom).

TableFlip 관점

지금까지 AI Visibility 논의는 '프런티어 모델이 어떤 소스를 인용하느냐'에 집중됐다. 결정 모델의 확산은 그 한 단계 위에 새로운 게이트를 만든다.

• 노출 이전의 게이트가 생겼다. 결정 모델이 질의 난이도·리스크를 판정해 리트리벌 여부를 가르는 구조에서는, 브랜드 콘텐츠가 아무리 잘 최적화돼 있어도 그 질의가 애초에 검색 경로로 라우팅되지 않으면 노출 기회 자체가 사라진다. GEO 점검 대상이 '검색 결과 내 순위'에서 '검색이 호출되는지 여부'로 앞당겨진다.
• 고정 선택지 안의 브랜드라는 새 표면. 결정 모델은 고정된 답변 세트에 확률을 출력한다. 추천 벤더·후보 숏리스트 같은 '선택지 집합'에 브랜드가 포함되는지가 새 노출 지점이 된다.
• 가격 파괴가 판단의 편재화를 부른다. 입력 100만 토큰당 $0.04~$0.10, 수십 ms 수준의 비용·지연은 라우팅 판단을 모든 에이전트 단계에 깔 수 있게 한다. 분석 대상이 '최종 답변' 하나에서 파이프라인 곳곳의 다단계 판단으로 늘어난다.

실무적으로는 자사·경쟁사 챗봇에서 질의가 어떻게 분기되는지(검색 호출 트리거, 소스 화이트리스트, 신뢰도 임계값)를 모니터링하는 역량이 향후 6~12개월 내 GEO의 핵심 과제가 될 것으로 추정한다. 다만 개별 서비스의 라우팅 규칙은 비공개여서 직접 확인은 제한적이다. TableFlip은 매주 실측 AI 노출 리포트와 GEO 진단 방법론으로 이 '게이트 이전' 변화를 추적한다.

브랜드가 AI 응답 파이프라인 어디에서 걸러지는지 궁금하다면 무료 AI Visibility 진단으로 시작해 보시길 권한다.