# Qwen3
> Models: Qwen3-0.6B · 1.7B · 4B · 8B · 14B · 32B · 30B-A3B · 235B-A22B
>
> Developer: Qwen Team, Alibaba Cloud
>
> License: Apache-2.0
## 개요
Qwen3는 알리바바 Qwen 팀이 2025년 4월에 공개한 오픈 모델 시리즈입니다. 하나의 모델 안에서 **깊게 추론하는 Thinking 모드**와 **바로 답하는 Non-Thinking 모드**를 상황에 따라 바꿔 쓸 수 있는 것이 가장 큰 특징입니다.
0.6B부터 32B까지의 Dense 모델 6종과, 전체 파라미터 중 일부만 활성화해 빠르게 동작하는 MoE 모델 2종(30B-A3B, 235B-A22B)으로 구성됩니다. 작은 모델은 노트북이나 저사양 PC에서도 가볍게 돌릴 수 있고, 큰 모델은 서버급 품질을 냅니다. 이후 Thinking 전용·Instruct 전용으로 나눈 업데이트판(2507)도 공개되었습니다.
## 주요 특징
* 한 모델에서 Thinking / Non-Thinking 모드 전환
* 0.6B ~ 235B까지 8가지 크기 — 하드웨어에 맞춰 선택 가능
* 100개 이상의 언어·방언 지원(한국어 포함)
* 코딩, 수학, 논리 추론 성능 강화
* Tool(함수) 호출 기반 에이전트 작업 지원
* 모든 모델 Apache-2.0 라이선스 — 상업적 사용 및 온프레미스 운영 가능
## 모델 사양
|항목|0.6B|1.7B|4B|8B|14B|32B|30B-A3B|235B-A22B|
|-|-|-|-|-|-|-|-|-|
|구조|Dense|Dense|Dense|Dense|Dense|Dense|MoE|MoE|
|전체 파라미터|0.6B|1.7B|4.0B|8.2B|14.8B|32.8B|30.5B|235B|
|활성 파라미터|0.6B|1.7B|4.0B|8.2B|14.8B|32.8B|3.3B|22B|
|Layers|28|28|36|36|40|64|48|94|
|Hidden Dimension|1,024|2,048|2,560|4,096|5,120|5,120|2,048|4,096|
|Attention Heads (Q / KV)|16 / 8|16 / 8|32 / 8|32 / 8|40 / 8|64 / 8|32 / 4|64 / 4|
|Experts (전체 / 활성)|-|-|-|-|-|-|128 / 8|128 / 8|
|기본 컨텍스트|32,768|32,768|32,768|32,768|32,768|32,768|32,768|32,768|
|확장 컨텍스트 (YaRN)|-|-|131,072|131,072|131,072|131,072|131,072|131,072|
|입력|텍스트|텍스트|텍스트|텍스트|텍스트|텍스트|텍스트|텍스트|
> 컨텍스트 단위는 tokens입니다. "-"는 해당 없는 항목입니다. 확장 컨텍스트는 YaRN RoPE scaling을 쓴 제작사 검증 수치입니다.
## 권장 파라미터
제작사가 권장하는 샘플링 값이며, 모든 크기에 같습니다. FlameAI에서는 Cortex를 만들 때 설정합니다.
### Thinking 모드
```text
temperature = 0.6
top_p = 0.95
top_k = 20
repeat_penalty = 1.0
```
### Non-Thinking 모드
```text
temperature = 0.7
top_p = 0.80
top_k = 20
repeat_penalty = 1.0
```
* Thinking 모드에서 temperature를 0에 가깝게 두는(greedy) 설정은 쓰지 마세요. 같은 문장이 끝없이 반복될 수 있습니다.
* 제작사는 반복을 줄이기 위해 `presence_penalty`(0~2)도 안내하지만, FlameAI Cortex에는 아직 이 설정이 없습니다. 반복이 보이면 `repeat_penalty`를 1.05 정도로 조금만 올려 보세요.
* Thinking 모드는 추론에도 토큰을 많이 쓰므로 `n_predict`(최대 생성 길이)를 넉넉하게(예: 8,192 이상) 잡는 것이 좋습니다.
### Cortex 생성 시
```text
n_ctx = 32768 # 기본 최대값. 메모리가 부족하면 줄이기
n_gpu_layers = 100 # 전부 GPU에 올림. VRAM 이 부족하면 줄이기
```
## 최소 실행 조건
양자화 수준별 모델 파일 크기와 필요한 메모리입니다. **GPU로 실행할 때는 VRAM, CPU로만 실행할 때는 RAM — 둘 중 하나만 만족하면 됩니다.**
### Qwen3-0.6B
|구분|원본 (BF16)|Q8|Q5|Q4|Q2|
|-|-|-|-|-|-|
|파일 크기|1.2 GB|0.6 GB|0.4 GB|0.4 GB|0.3 GB|
|GPU 실행 — VRAM|6 GB 이상|5 GB 이상|5 GB 이상|5 GB 이상|5 GB 이상|
|CPU 실행 — RAM|3 GB 이상|2 GB 이상|2 GB 이상|2 GB 이상|2 GB 이상|
### Qwen3-1.7B
|구분|원본 (BF16)|Q8|Q5|Q4|Q2|
|-|-|-|-|-|-|
|파일 크기|3.4 GB|1.8 GB|1.3 GB|1.1 GB|0.8 GB|
|GPU 실행 — VRAM|8 GB 이상|7 GB 이상|6 GB 이상|6 GB 이상|6 GB 이상|
|CPU 실행 — RAM|5 GB 이상|4 GB 이상|3 GB 이상|3 GB 이상|2 GB 이상|
### Qwen3-4B
|구분|원본 (BF16)|Q8|Q5|Q4|Q2|
|-|-|-|-|-|-|
|파일 크기|8.1 GB|4.3 GB|2.9 GB|2.5 GB|1.7 GB|
|GPU 실행 — VRAM|16 GB 이상|12 GB 이상|9 GB 이상|9 GB 이상|8 GB 이상|
|CPU 실행 — RAM|12 GB 이상|7 GB 이상|5 GB 이상|5 GB 이상|4 GB 이상|
### Qwen3-8B
|구분|원본 (BF16)|Q8|Q5|Q4|Q2|
|-|-|-|-|-|-|
|파일 크기|16.4 GB|8.7 GB|5.9 GB|5.1 GB|3.5 GB|
|GPU 실행 — VRAM|24 GB 이상|16 GB 이상|12 GB 이상|12 GB 이상|10 GB 이상|
|CPU 실행 — RAM|20 GB 이상|12 GB 이상|8 GB 이상|7 GB 이상|6 GB 이상|
### Qwen3-14B
|구분|원본 (BF16)|Q8|Q5|Q4|Q2|
|-|-|-|-|-|-|
|파일 크기|29.5 GB|15.7 GB|10.5 GB|9.2 GB|6.1 GB|
|GPU 실행 — VRAM|40 GB 이상|24 GB 이상|18 GB 이상|18 GB 이상|14 GB 이상|
|CPU 실행 — RAM|34 GB 이상|20 GB 이상|14 GB 이상|12 GB 이상|9 GB 이상|
### Qwen3-32B
|구분|원본 (BF16)|Q8|Q5|Q4|Q2|
|-|-|-|-|-|-|
|파일 크기|65.5 GB|34.8 GB|23.2 GB|20.0 GB|12.8 GB|
|GPU 실행 — VRAM|82 GB 이상|48 GB 이상|36 GB 이상|32 GB 이상|24 GB 이상|
|CPU 실행 — RAM|76 GB 이상|42 GB 이상|28 GB 이상|26 GB 이상|18 GB 이상|
### Qwen3-30B-A3B
|구분|원본 (BF16)|Q8|Q5|Q4|Q2|
|-|-|-|-|-|-|
|파일 크기|61.1 GB|32.5 GB|21.7 GB|17.7 GB|11.8 GB|
|GPU 실행 — VRAM|72 GB 이상|40 GB 이상|28 GB 이상|24 GB 이상|18 GB 이상|
|CPU 실행 — RAM|70 GB 이상|38 GB 이상|26 GB 이상|22 GB 이상|14 GB 이상|
### Qwen3-235B-A22B
|구분|원본 (BF16)|Q8|Q5|Q4|Q2|
|-|-|-|-|-|-|
|파일 크기|470 GB|250 GB|167 GB|134 GB|88.0 GB|
|GPU 실행 — VRAM|530 GB 이상|290 GB 이상|200 GB 이상|160 GB 이상|110 GB 이상|
|CPU 실행 — RAM|520 GB 이상|280 GB 이상|190 GB 이상|150 GB 이상|100 GB 이상|
> * **GPU 실행 — VRAM**: 모든 레이어를 GPU에 올렸을 때(`n_gpu_layers = 100`) 필요한 VRAM입니다. 컨텍스트 32K 기준이며, 이때 시스템 RAM은 많이 필요하지 않습니다.
> * **CPU 실행 — RAM**: GPU 없이 시스템 RAM만으로 실행할 때(`n_gpu_layers = 0`) 필요한 메모리입니다. CPU는 속도가 느려 긴 컨텍스트를 잘 쓰지 않으므로 컨텍스트 8K 기준이며, 운영체제가 쓰는 메모리는 별도입니다.
> * VRAM이 조금 모자라면 `n_gpu_layers`를 줄여 일부 레이어만 GPU에 올릴 수 있습니다. 이때는 필요한 메모리를 VRAM과 RAM이 나눠 맡으며, 속도는 그만큼 느려집니다.
> * 모든 값은 파일 크기에 KV 캐시와 여유분(약 10%)을 더한 추정치입니다.
> * 양자화 칸은 대표 GGUF 파일 기준입니다 — Q8 = Q8_0, Q5 = Q5_K_XL, Q4 = Q4_K_XL, Q2 = Q2_K_XL.
> * Qwen3는 모든 레이어가 일반 어텐션이라 KV 캐시가 큰 편입니다(8B 기준 32K에 약 5 GB). `n_ctx`를 줄이면 필요 메모리가 크게 줄어듭니다.
**PC 기준 예시**
* 0.6B / 1.7B — 8 GB GPU 또는 내장 그래픽 노트북
* 4B / 8B (Q4 ~ Q5) — 12 GB GPU (예: RTX 3060 12GB, RTX 4070) 또는 16 GB 메모리 Mac
* 14B (Q4 ~ Q5) — 24 GB GPU (예: RTX 3090, RTX 4090) 또는 24 GB 메모리 Mac. `n_ctx`를 줄이면 16 GB GPU에서도 실행 가능
* 30B-A3B (Q4) — 24 GB GPU 또는 32 GB 메모리 Mac
* 32B (Q4) — 32 GB GPU (예: RTX 5090) 또는 48 GB 이상 메모리 Mac
* GPU 없이 — 8B Q4는 RAM 16 GB PC, 30B-A3B Q4는 RAM 32 GB PC에서 실행 가능 (30B-A3B는 활성 파라미터가 3B라 CPU에서도 비교적 빠름)
* 235B-A22B — 대용량 메모리를 갖춘 서버 필요
OS는 FlameBox 지원 OS(Windows / Linux / macOS)면 됩니다.
## FlameAI에서 사용하기
1. **FlameBox 설치 및 등록** — FlameBox를 설치하고 내 계정에 등록합니다.
2. **모델 다운로드** — My AI Console의 FlameBox 상세 화면에서 PC 메모리에 맞는 양자화된 모델을 내려받습니다.
3. **Cortex 생성** — 내려받은 모델로 Cortex를 만듭니다(위 권장 파라미터 참고).
4. **API 호출** — `messages` 엔드포인트로 대화를 보냅니다.
```bash
curl -s -X POST "https://api-N.flameai.im/{my_base_path}/cortex/{cortexId}/messages" \
-H "Authorization: Bearer {Secret Key}" \
-H "Content-Type: application/json" \
-d '{
"conversationId": "chat-001",
"options": { "think": 1, "stream": false },
"messages": [
{ "role": "system", "content": "당신은 유용한 AI 어시스턴트입니다." },
{ "role": "user", "content": "파이썬으로 피보나치 수열을 구하는 함수를 작성해 줘." }
]
}'
```
### Thinking 제어 — `options.think`
|값|동작|
|-|-|
|`0`|즉답 — 추론 과정 없이 바로 답변 (Non-Thinking 모드)|
|`1`|자동 (기본값) — 모델이 스스로 판단, Qwen3는 보통 추론 후 답변|
|`2`|사고 강제 — 항상 추론 과정을 거친 뒤 답변|
* 추론 과정은 응답의 `thinking` 블록으로, 최종 답변은 `text` 블록으로 나뉘어 옵니다.
* `options.stream: true`로 보내면 SSE로 토큰을 실시간으로 받습니다.
* `my_base_path`와 `Secret Key`는 My AI Console의 API 설정 화면에서 확인할 수 있습니다. 자세한 요청 형식은 API 매뉴얼을 참고하세요.
## 활용 분야
* 일반 대화 / 질의응답 / 번역
* 코딩 보조(코드 작성, 설명, 디버깅)
* 수학·논리 문제 풀이
* Tool 호출 기반 AI 에이전트
* 저사양 PC·엣지 장비용 경량 챗봇(0.6B ~ 4B)
* 사내 데이터를 외부로 보내지 않는 온프레미스 AI 서비스
## 제한 사항
* **텍스트 입력만 지원합니다.** 이미지·비디오 입력이 필요하면 Qwen3.5 이후 모델을 사용하세요.
* 기본 컨텍스트는 32,768 tokens입니다. 그보다 긴 문서(최대 131,072)는 YaRN 설정이 필요하며, FlameAI에서는 아직 검증하지 않았습니다.
* 제작사의 `/think`, `/no_think` 프롬프트 태그 대신 FlameAI에서는 `options.think`(0/1/2)로 모드를 조절합니다.
* 작은 모델(0.6B, 1.7B)은 복잡한 추론이나 긴 지시를 정확히 따르기 어렵습니다. 정확도가 중요한 작업에는 8B 이상을 권장합니다.
* 비트 수가 낮은 양자화(Q2 등)일수록 답변 품질이 떨어질 수 있습니다. 코딩이나 정확도가 중요한 작업에는 Q4 이상을 권장합니다.
## 참고
* Hugging Face — Qwen3 모델 목록: https://huggingface.co/Qwen (Qwen3-0.6B ~ Qwen3-235B-A22B)
* Hugging Face — Qwen3-8B 모델 카드: https://huggingface.co/Qwen/Qwen3-8B
* GGUF 양자화 (Unsloth): https://huggingface.co/unsloth (Qwen3-*-GGUF)
* Qwen3 기술 보고서: https://arxiv.org/abs/2505.09388
* Qwen 공식 사이트: https://qwenlm.github.io
