일반 LLM에서도 판정형 API(choice)를 사용할 수 있습니다

Laya와 함께 선보인 판정형 API choice를 이제 Qwen, GPT-OSS, Gemma 4 같은 일반 LLM Cortex에서도 그대로 사용할 수 있습니다.

무엇이 달라지나요

지금까지 LLM에게 "이 문의는 어떤 유형인가요?"를 물으려면 답변을 생성하게 한 뒤 그 문장을 다시 해석해야 했습니다.

choice를 쓰면 LLM이 문장을 생성하지 않습니다. 한 번의 계산으로 각 선택지가 맞을 확률을 바로 돌려줍니다.

• 답이 선택지 밖으로 나가지 않습니다 — 결과는 항상 주어진 선택지 중 하나입니다.
• 확률로 받습니다 — confidence를 기준으로 자동 처리와 사람 검토를 나눌 수 있습니다.
• 대화에 영향이 없습니다 — 같은 Cortex에서 진행 중인 대화 컨텍스트를 건드리지 않습니다. 채팅에 쓰던 Cortex로 바로 판정할 수 있습니다.
• 질문과 선택을 기억하지 않습니다 — choice는 요청마다 독립적으로 판정하도록 만들어졌습니다. 보낸 질문과 선택지, 판정 결과는 대화 기록에 남지 않고 다음 요청으로 이어지지 않으며, FlameAI 서버에도 저장되지 않습니다.

사용 방법

Laya와 요청 형식이 같습니다. 이미 만들어 둔 Qwen·GPT-OSS·Gemma 4 Cortex의 cortexId로 호출하면 됩니다.

POST /{my_base_path}/cortex/{cortexId}/choice
{
  "instruction": "다음 고객 문의의 유형을 고르세요.",
  "query": "어제 주문한 상품을 취소하고 돈을 돌려받고 싶습니다.",
  "choices": ["환불", "배송조회", "단순문의", "스팸"]
}

응답의 method가 llm_label이면 LLM이 판정한 결과입니다.

Laya와 일반 LLM, 무엇을 쓸까요

한국어 문의 분류처럼 Laya가 약한 작업은 Qwen·GPT-OSS·Gemma 4 Cortex로 판정해 보세요. 같은 요청을 Laya와 LLM에 각각 보내 결과를 비교해 보는 것도 좋은 방법입니다.

API 문서 — 선택지 판정 · 지원 모델 보기