FlameBox에 모델을 받았다면, 이제 그 모델을 API로 부를 수 있게 Cortex로 만들 차례입니다. 첫 API 호출하기에서는 기본값으로 빠르게 만들었는데, 이 글에서는 Cortex 생성 창의 항목을 하나씩 살펴보고 내 PC 메모리와 용도에 맞게 설정하는 방법을 정리합니다.
모델과 Cortex는 무엇이 다른가요
- 모델은 FlameBox에 내려받은 파일입니다. 그 자체로는 API로 부를 수 없습니다.
- Cortex는 그 모델을 어떤 설정(응답 길이, 창의성, GPU 사용 등)으로 돌릴지 정해 둔 실행 단위입니다. API는 항상 Cortex ID로 호출합니다.
그래서 같은 모델 하나로 Cortex를 여러 개 만들 수 있습니다. 예를 들어 같은 Qwen 모델로 "정확하게 답하는 상담용"과 "창의적으로 쓰는 카피용" Cortex를 따로 둘 수 있습니다.
1. 모델 내려받기
- 마이페이지 › FlameBox에서 내 FlameBox를 엽니다.
- 다운로드된 Models 영역의 모델 다운로드에서 모델을 고릅니다. 어떤 모델이 내 PC에 맞는지는 내 PC에 맞는 모델 고르기를 참고하세요.
- 상태가 다운로드 완료가 되면 Cortex를 만들 수 있습니다. 모델이 크면 시간이 꽤 걸리니, 받는 동안 다음 내용을 읽어 두세요.
모델이 "다운로드 완료" 상태로 표시된 모습
2. Cortex 생성 창 — 기본 정보
Cortex 탭에서 Cortex 생성을 누르면 창이 열립니다. 왼쪽은 기본 정보입니다.
| 항목 | 설명 |
|---|---|
| Cortex ID | API 주소에 들어가는 이름입니다. 처음엔 무작위 값이 채워져 있는데, my-assistant처럼 알아보기 쉬운 이름으로 바꾸는 것을 권합니다. 영문·숫자·-·_만 쓸 수 있고, 한 FlameBox 안에서 겹치면 안 됩니다. |
| Cortex 이름 | 콘솔 목록에 보이는 이름입니다. 예: "상담용 Qwen" |
| Base Model | 이 Cortex가 쓸 모델입니다. 다운로드가 끝난 모델만 고를 수 있습니다. |
| 설명 | 메모용입니다. 선택 사항입니다. |
| 자동시작 | 켜 두면 만들자마자 모델을 메모리에 올려(로드) 바로 호출할 수 있습니다. |
3. 간단히 — 처음이라면 이것만
오른쪽 간단히 탭은 세 가지만 고르면 됩니다.
| 항목 | 선택지 | 실제로 바뀌는 값 |
|---|---|---|
| 응답 스타일 | 정확함 / 균형 / 창의적 | temperature 0.3 / 0.7 / 1.0 |
| 최대 응답 길이 | 짧게 / 보통 / 길게 | n_predict 512 / 2048 / 4096 토큰 |
| GPU 가속 | 켬 / 끔(CPU만 사용) | n_gpu_layers 모든 레이어 / 0 |
- 사실을 묻거나 분류·요약처럼 답이 흔들리면 곤란한 작업은 "정확함", 글쓰기나 아이디어 내기는 "창의적"이 어울립니다.
- GPU가 있는데 모델이 VRAM보다 크면 "켬"으로는 로드에 실패할 수 있습니다. 이때는 아래 자세히 탭에서
n_gpu_layers를 줄이세요.
4. 자세히 — 파라미터 하나씩
자세히 탭에서는 값을 직접 넣습니다. 비워 둔 칸은 FlameBox 기본값을 쓰므로, 바꾸고 싶은 것만 채우면 됩니다.
메모리와 속도에 관한 값
| 파라미터 | 뜻 | 이렇게 정하세요 |
|---|---|---|
n_gpu_layers | 모델의 레이어 중 몇 개를 GPU에 올릴지 | VRAM이 충분하면 100(전부). 모자라면 숫자를 줄여 일부만 GPU에 올립니다. 0이면 CPU만 씁니다. |
n_ctx | 한 번에 기억할 수 있는 길이(컨텍스트, 토큰) | 클수록 긴 대화·문서를 다루지만 메모리를 더 씁니다. 일반 대화는 8192~32768이면 충분합니다. |
offload_kv | 대화 기억(KV 캐시)도 GPU에 둘지 | 기본은 켜짐. VRAM이 빠듯할 때 끄면 VRAM을 아낄 수 있지만 느려집니다. |
n_batch / n_ubatch | 입력 문장을 한 번에 처리하는 묶음 크기 | 보통은 비워 두세요. Laya 같은 판정 모델은 두 값을 같게 둡니다(모델 상세 화면의 권장값 참고). |
답변 스타일에 관한 값
| 파라미터 | 뜻 | 이렇게 정하세요 |
|---|---|---|
n_predict | 한 번에 생성할 최대 길이(토큰) | 생각(thinking) 과정을 거치는 모델은 생각에도 토큰을 쓰므로 8192 이상으로 넉넉하게 두세요. "간단히" 탭의 최대값(4096)보다 길게 하려면 여기서 넣습니다. |
temperature | 답변의 무작위성 | 낮을수록 일관되고, 높을수록 다양합니다. |
top_k / top_p | 다음 단어 후보를 얼마나 좁힐지 | 모델마다 제작사 권장값이 다릅니다. 모델 상세 화면의 "권장 파라미터"를 그대로 쓰는 것이 가장 안전합니다. |
repeat_penalty / repeat_last_n | 같은 말을 반복하지 않게 하는 정도와 그 범위 | 보통 1.0. 같은 문장이 반복되면 1.05 정도로 조금만 올려 보세요. |
n_gpu_layers, n_ctx, n_predict 등이 채워진 모습
모델별 추천 설정 예시
모델 제작사의 권장값을 바탕으로 한 출발점입니다. 각 모델 상세 화면에 더 자세한 값이 있습니다.
| 모델 | temperature | top_p | top_k | n_ctx (최대) |
|---|---|---|---|---|
| Qwen 3.5 / 3.8 (생각 모드, 일반 작업) | 1.0 | 0.95 | 20 | 32768 (262144) |
| Qwen 3.0 (생각 모드) | 0.6 | 0.95 | 20 | 32768 |
| GPT-OSS | 1.0 | 1.0 | 비워 둠 | 32768 (131072) |
| Gemma 4 | 1.0 | 0.95 | 64 | 32768 (262144, E4B는 131072) |
Qwen 3.0의 생각 모드에서 temperature를 0에 가깝게 두면 같은 문장이 끝없이 반복될 수 있습니다. 정확한 답이 필요해도 제작사 권장값 근처에서 조절하세요.
메모리가 모자랄 때
Cortex를 만들었는데 로드에 실패하거나 너무 느리다면, 다음 순서로 줄여 보세요.
n_ctx를 줄입니다. 예: 32768 → 16384 → 8192. 모델은 그대로 두고 메모리를 아끼는 가장 쉬운 방법입니다.n_gpu_layers를 줄입니다. 모델의 일부만 GPU에 올리고 나머지는 RAM에 둡니다. 느려지지만 실행은 됩니다.- 더 작은 양자화나 더 작은 모델로 바꿉니다. 예: Q8 → Q5, 9B → 4B.
Cortex를 여러 개 동시에 로드하면 그만큼 메모리를 함께 씁니다. 자주 쓰지 않는 Cortex는 목록의 언로드로 메모리에서 내려 두고, 필요할 때 로드하세요.
만든 뒤에 할 수 있는 것
Cortex 목록의 각 행에서 다음 작업을 할 수 있습니다.
| 작업 | 하는 일 |
|---|---|
| 로드 | 모델을 메모리에 올려 호출할 수 있게 합니다. |
| 추론중지 | 지금 생성 중인 답변만 멈춥니다. 모델은 그대로 올라가 있습니다. |
| 컨텍스트리셋 | 이어서 하던 대화 기억을 비웁니다. |
| 언로드 | 모델을 메모리에서 내립니다. Cortex 설정은 남습니다. |
| 삭제 | Cortex를 지웁니다. 모델 파일은 지워지지 않습니다. |
지금은 만든 뒤 파라미터를 고치는 화면이 없습니다. 설정을 바꾸고 싶다면 같은 모델로 새 Cortex를 만들어 비교해 보세요.
다음 단계
Cortex가 준비되었다면 첫 API 호출하기에서 curl로 바로 불러 보세요. 분류처럼 정해진 보기 중 하나를 고르는 작업이라면, 같은 Cortex로 choice API를 쓸 수도 있습니다.