대부분의 모델에서 멀티모달(Vision) 기능을 사용할 수 있습니다

FlameAI의 주요 텍스트 모델에 멀티모달 기능이 활성화되었습니다. 이제 모델이 글뿐 아니라 사진도 함께 보고 이해합니다. 사진과 질문을 한 번에 보내면, 사진 내용을 바탕으로 답합니다.

이런 것을 할 수 있습니다

• 사진 속 사물·장면 설명하기
• 영수증·문서·화면 캡처의 글자 읽고 정리하기
• 차트·표 이미지를 보고 내용 요약하기
• 여러 장의 사진 비교하기 ("두 사진의 차이를 설명해 줘")

Vision을 지원하는 모델

Qwen 3.0, GPT-OSS, Laya는 텍스트 전용입니다. 내 Cortex가 이미지를 받을 수 있는지는 Cortex 상태 조회(GET …/status) 응답의 capabilities.inputs에 image가 있는지로 확인할 수 있습니다.

API로 사용하는 방법

1. Cortex 파일 API로 이미지 업로드

POST /{my_base_path}/cortex/{cortexId}/files
Content-Type: image/jpeg
(본문: 이미지 파일 그대로)

응답으로 서버가 정한 파일 이름이 옵니다.

{ "cortexId": "…", "file": "files/upload-20261015-101500-a1b2.jpg", "size": 414517, "mime": "image/jpeg" }

2. 메시지에서 그 파일 이름을 지목해 질문

messages API의 content를 배열로 보내고, image 블록에 1단계에서 받은 file 값을 그대로 넣습니다.

POST /{my_base_path}/cortex/{cortexId}/messages
{
  "conversationId": "chat-img-001",
  "messages": [ { "role": "user", "content": [
    { "type": "image", "source": { "type": "file", "file": "files/upload-20261015-101500-a1b2.jpg" } },
    { "type": "text",  "text": "이 사진에 무엇이 있는지 설명해 줘" }
  ] } ]
}

모델이 사진을 보고 답합니다.

알아 둘 점

• 이미지 형식은 PNG, JPEG만 지원합니다. WebP 등은 거절됩니다.
• 한 요청에 이미지는 최대 4장까지 넣을 수 있습니다. 블록을 놓은 순서대로 모델이 읽으므로 "첫 번째 사진"처럼 가리킬 수 있습니다.
• 이미지 1장은 수백~천여 토큰을 차지합니다. 컨텍스트(n_ctx)가 작은 Cortex는 여유를 확인하세요.
• 사진은 대화 기억에 남습니다. 같은 conversationId로 이어서 "아까 사진에서…"처럼 다시 보내지 않고 물을 수 있습니다.

API 문서 · 지원 모델 보기