판정형(Decision) 모델을 지원합니다 — 첫 모델 Laya

FlameAI가 텍스트 생성 모델에 이어 판정형(Decision) 모델을 지원합니다. 첫 모델은 Laya입니다.

판정형 모델이란

판정형 모델은 문장을 만들어내지 않습니다. 대신 "주어진 선택지 중 무엇이 맞는가"를 골라 줍니다. 상황(query)과 선택지(choices)를 한 번에 읽고, 각 선택지가 맞을 확률을 돌려줍니다.

• 빠르고 가볍습니다 — 생성하는 토큰이 없어서 채팅형 LLM에게 같은 판단을 시키는 것보다 훨씬 빠릅니다.
• 엉뚱한 답이 없습니다 — 정해진 선택지 안에서만 답하므로 환각이 없습니다.
• 확률로 답합니다 — "확신이 90% 이상이면 자동 처리, 아니면 사람이 검토"처럼 기준을 정해 자동화할 수 있습니다.

Laya 모델

이런 곳에 쓸 수 있습니다

• 고객 문의·티켓 자동 분류
• 사용자 의도(intent) 분류
• 콘텐츠 정책 위반 여부 판정
• AI 에이전트가 다음 행동을 고르는 분기 판단

사용 방법

Laya 모델로 Cortex를 만든 뒤 새로 추가된 choice 엔드포인트를 호출하면 됩니다.

POST /{my_base_path}/cortex/{cortexId}/choice
{ "query": "My password reset email never arrived.",
  "choices": ["billing", "account / login", "shipping", "other"] }

같은 choice 요청은 일반 LLM Cortex에도 보낼 수 있습니다. cortexId만 바꾸면 두 방식의 결과를 비교해 볼 수 있습니다.

참고하세요

현재 Laya는 영어 모델이라 한국어 등 영어가 아닌 입력에서는 정확도가 떨어질 수 있습니다. 업무에 적용하기 전에 실제 데이터로 정확도를 먼저 확인해 주세요.

앞으로 다국어 판정 모델을 비롯해 판정형 모델도 계속 늘려 가겠습니다.

Laya 모델 상세 보기 · API 문서