# Qwen3.5
> Models: Qwen3.5-0.8B · 2B · 4B · 9B · 27B · 35B-A3B · 122B-A10B · 397B-A17B
>
> Developer: Qwen Team, Alibaba Cloud
>
> License: Apache-2.0
## 개요
Qwen3.5는 알리바바 Qwen 팀이 2026년 2월에 공개한 멀티모달 모델 시리즈입니다. 텍스트뿐 아니라 이미지와 비디오를 함께 이해하며, 201개 언어·방언을 지원합니다.
모든 모델이 일반 어텐션(Gated Attention)과 선형 어텐션(Gated DeltaNet)을 3:1로 섞은 하이브리드 구조라서, 262K tokens의 긴 컨텍스트에서도 메모리(KV 캐시) 사용량이 작습니다. 0.8B부터 27B까지의 Dense 모델 5종과, 일부 파라미터만 활성화하는 MoE 모델 3종(35B-A3B, 122B-A10B, 397B-A17B)으로 구성됩니다.
## 주요 특징
* 하이브리드 어텐션 구조로 긴 컨텍스트를 적은 메모리로 처리
* 전 모델 기본 262,144 tokens 컨텍스트
* 텍스트 + 이미지 + 비디오 이해 (FlameAI에서는 아직 텍스트 입력만 지원 — 아래 "제한 사항" 참고)
* 201개 언어·방언 지원
* Thinking 모드 지원 — 4B 이상은 기본으로 켜져 있고, 0.8B·2B는 기본으로 꺼져 있음
* 코딩, Tool 호출 기반 에이전트 작업 강화
* 모든 모델 Apache-2.0 라이선스 — 상업적 사용 및 온프레미스 운영 가능
## 모델 사양
|항목|0.8B|2B|4B|9B|27B|35B-A3B|122B-A10B|397B-A17B|
|-|-|-|-|-|-|-|-|-|
|구조|Dense|Dense|Dense|Dense|Dense|MoE|MoE|MoE|
|전체 파라미터|0.8B|2B|4B|9B|27B|35B|122B|397B|
|활성 파라미터|0.8B|2B|4B|9B|27B|3B|10B|17B|
|Layers|24|24|32|32|64|40|48|60|
|일반 / 선형 어텐션 레이어|6 / 18|6 / 18|8 / 24|8 / 24|16 / 48|10 / 30|12 / 36|15 / 45|
|Hidden Dimension|1,024|2,048|2,560|4,096|5,120|2,048|3,072|4,096|
|Attention Heads (Q / KV)|8 / 2|8 / 2|16 / 4|16 / 4|24 / 4|16 / 2|32 / 2|32 / 2|
|Experts (전체 / 활성)|-|-|-|-|-|256 / 8+1|256 / 8+1|512 / 10+1|
|기본 컨텍스트|262,144|262,144|262,144|262,144|262,144|262,144|262,144|262,144|
|확장 컨텍스트 (YaRN)|-|-|최대 1,010,000|최대 1,010,000|최대 1,010,000|최대 1,010,000|최대 1,010,000|최대 1,010,000|
|입력|텍스트·이미지·비디오|텍스트·이미지·비디오|텍스트·이미지·비디오|텍스트·이미지·비디오|텍스트·이미지·비디오|텍스트·이미지·비디오|텍스트·이미지·비디오|텍스트·이미지·비디오|
|Thinking 기본값|꺼짐|꺼짐|켜짐|켜짐|켜짐|켜짐|켜짐|켜짐|
> 컨텍스트 단위는 tokens입니다. "-"는 해당 없는 항목입니다. MoE 모델의 "8+1", "10+1"은 토큰당 일반 전문가 8개(또는 10개)와 공유 전문가 1개가 활성화된다는 뜻입니다.
## 권장 파라미터
제작사가 권장하는 샘플링 값입니다. FlameAI에서는 Cortex를 만들 때 설정합니다.
### Thinking 모드 — 일반 작업
```text
temperature = 1.0
top_p = 0.95
top_k = 20
repeat_penalty = 1.0
```
### Thinking 모드 — 코딩
```text
temperature = 0.6
top_p = 0.95
top_k = 20
repeat_penalty = 1.0
```
### Non-Thinking 모드
```text
temperature = 0.7
top_p = 0.80
top_k = 20
repeat_penalty = 1.0
```
* 제작사는 일반 작업에 `presence_penalty = 1.5`도 권장하지만, FlameAI Cortex에는 아직 이 설정이 없습니다. 같은 문장이 반복되면 `repeat_penalty`를 1.05 정도로 조금만 올려 보세요.
* Thinking 모드는 추론에도 토큰을 많이 쓰므로 `n_predict`(최대 생성 길이)를 넉넉하게(예: 8,192 이상) 잡는 것이 좋습니다.
### Cortex 생성 시
```text
n_ctx = 32768 # 메모리에 맞춰 조절 (최대 262144)
n_gpu_layers = 100 # 전부 GPU에 올림. VRAM 이 부족하면 줄이기
```
* 제작사는 Thinking 성능을 유지하려면 컨텍스트를 128K(131072) 이상으로 잡을 것을 권장합니다. Qwen3.5는 KV 캐시가 작아서(27B 기준 128K에 약 9 GB) 메모리가 허락하면 `n_ctx`를 늘리는 것이 좋습니다.
## 최소 실행 조건
양자화 수준별 모델 파일 크기와 필요한 메모리입니다. **GPU로 실행할 때는 VRAM, CPU로만 실행할 때는 RAM — 둘 중 하나만 만족하면 됩니다.**
### Qwen3.5-0.8B
|구분|원본 (BF16)|Q8|Q5|Q4|Q2|
|-|-|-|-|-|-|
|파일 크기|1.5 GB|0.8 GB|0.6 GB|0.6 GB|0.4 GB|
|GPU 실행 — VRAM|3 GB 이상|2 GB 이상|2 GB 이상|2 GB 이상|0.9 GB 이상|
|CPU 실행 — RAM|2 GB 이상|1.0 GB 이상|0.8 GB 이상|0.8 GB 이상|0.6 GB 이상|
### Qwen3.5-2B
|구분|원본 (BF16)|Q8|Q5|Q4|Q2|
|-|-|-|-|-|-|
|파일 크기|3.8 GB|2.0 GB|1.5 GB|1.3 GB|1.0 GB|
|GPU 실행 — VRAM|5 GB 이상|3 GB 이상|3 GB 이상|2 GB 이상|2 GB 이상|
|CPU 실행 — RAM|5 GB 이상|3 GB 이상|2 GB 이상|2 GB 이상|2 GB 이상|
### Qwen3.5-4B
|구분|원본 (BF16)|Q8|Q5|Q4|Q2|
|-|-|-|-|-|-|
|파일 크기|8.4 GB|4.5 GB|3.3 GB|2.9 GB|1.9 GB|
|GPU 실행 — VRAM|12 GB 이상|7 GB 이상|5 GB 이상|5 GB 이상|4 GB 이상|
|CPU 실행 — RAM|10 GB 이상|6 GB 이상|4 GB 이상|4 GB 이상|3 GB 이상|
### Qwen3.5-9B
|구분|원본 (BF16)|Q8|Q5|Q4|Q2|
|-|-|-|-|-|-|
|파일 크기|17.9 GB|9.5 GB|6.7 GB|6.0 GB|4.1 GB|
|GPU 실행 — VRAM|22 GB 이상|12 GB 이상|9 GB 이상|8 GB 이상|6 GB 이상|
|CPU 실행 — RAM|20 GB 이상|12 GB 이상|8 GB 이상|7 GB 이상|5 GB 이상|
### Qwen3.5-27B
|구분|원본 (BF16)|Q8|Q5|Q4|Q2|
|-|-|-|-|-|-|
|파일 크기|53.8 GB|28.6 GB|20.2 GB|17.6 GB|11.2 GB|
|GPU 실행 — VRAM|62 GB 이상|34 GB 이상|26 GB 이상|22 GB 이상|16 GB 이상|
|CPU 실행 — RAM|60 GB 이상|34 GB 이상|24 GB 이상|20 GB 이상|14 GB 이상|
### Qwen3.5-35B-A3B
|구분|원본 (BF16)|Q8|Q5|Q4|Q2|
|-|-|-|-|-|-|
|파일 크기|69.4 GB|36.9 GB|26.4 GB|22.2 GB|12.2 GB|
|GPU 실행 — VRAM|78 GB 이상|42 GB 이상|30 GB 이상|26 GB 이상|16 GB 이상|
|CPU 실행 — RAM|78 GB 이상|42 GB 이상|30 GB 이상|26 GB 이상|14 GB 이상|
### Qwen3.5-122B-A10B
|구분|원본 (BF16)|Q8|Q5|Q4|Q2|
|-|-|-|-|-|-|
|파일 크기|244 GB|130 GB|91.9 GB|77.0 GB|41.8 GB|
|GPU 실행 — VRAM|270 GB 이상|150 GB 이상|110 GB 이상|86 GB 이상|48 GB 이상|
|CPU 실행 — RAM|270 GB 이상|150 GB 이상|110 GB 이상|86 GB 이상|48 GB 이상|
### Qwen3.5-397B-A17B
|구분|원본 (BF16)|Q8|Q5|Q4|Q2|
|-|-|-|-|-|-|
|파일 크기|793 GB|422 GB|295 GB|245 GB|115 GB|
|GPU 실행 — VRAM|880 GB 이상|470 GB 이상|330 GB 이상|280 GB 이상|130 GB 이상|
|CPU 실행 — RAM|880 GB 이상|470 GB 이상|330 GB 이상|280 GB 이상|130 GB 이상|
> * **GPU 실행 — VRAM**: 모든 레이어를 GPU에 올렸을 때(`n_gpu_layers = 100`) 필요한 VRAM입니다. 컨텍스트 32K 기준이며, 이때 시스템 RAM은 많이 필요하지 않습니다.
> * **CPU 실행 — RAM**: GPU 없이 시스템 RAM만으로 실행할 때(`n_gpu_layers = 0`) 필요한 메모리입니다. CPU는 속도가 느려 긴 컨텍스트를 잘 쓰지 않으므로 컨텍스트 8K 기준이며, 운영체제가 쓰는 메모리는 별도입니다.
> * VRAM이 조금 모자라면 `n_gpu_layers`를 줄여 일부 레이어만 GPU에 올릴 수 있습니다. 이때는 필요한 메모리를 VRAM과 RAM이 나눠 맡으며, 속도는 그만큼 느려집니다.
> * 모든 값은 파일 크기에 KV 캐시와 여유분(약 10%)을 더한 추정치입니다.
> * 양자화 칸은 대표 GGUF 파일 기준입니다 — Q8 = Q8_0, Q5 = Q5_K_XL, Q4 = Q4_K_XL, Q2 = Q2_K_XL.
> * 하이브리드 구조라 KV 캐시가 작아서(27B 기준 32K에 약 2 GB) 컨텍스트를 길게 잡아도 부담이 적습니다. MoE 모델은 활성 파라미터가 작아 CPU로 실행하거나 일부를 RAM으로 내려도 속도 저하가 상대적으로 적습니다.
**PC 기준 예시**
* 0.8B ~ 4B — 8 GB GPU 또는 내장 그래픽 노트북
* 9B (Q4 ~ Q5) — 12 GB GPU (예: RTX 3060 12GB, RTX 4070) 또는 16 GB 메모리 Mac
* 27B (Q4) — 24 GB GPU (예: RTX 3090, RTX 4090) 또는 32 GB 메모리 Mac. Q5 이상은 32 GB GPU (예: RTX 5090)
* 35B-A3B (Q4) — 32 GB GPU (예: RTX 5090) 또는 36 GB 이상 메모리 Mac
* GPU 없이 — 9B Q4는 RAM 16 GB PC, 35B-A3B Q4는 RAM 32 GB PC에서 실행 가능 (35B-A3B는 활성 파라미터가 3B라 CPU에서도 비교적 빠름)
* 122B-A10B / 397B-A17B — 대용량 메모리를 갖춘 워크스테이션·서버 필요
OS는 FlameBox 지원 OS(Windows / Linux / macOS)면 됩니다.
## FlameAI에서 사용하기
1. **FlameBox 설치 및 등록** — FlameBox를 설치하고 내 계정에 등록합니다.
2. **모델 다운로드** — My AI Console의 FlameBox 상세 화면에서 PC 메모리에 맞는 양자화된 모델을 내려받습니다.
3. **Cortex 생성** — 내려받은 모델로 Cortex를 만듭니다(위 권장 파라미터 참고).
4. **API 호출** — `messages` 엔드포인트로 대화를 보냅니다.
```bash
curl -s -X POST "https://api-N.flameai.im/{my_base_path}/cortex/{cortexId}/messages" \
-H "Authorization: Bearer {Secret Key}" \
-H "Content-Type: application/json" \
-d '{
"conversationId": "chat-001",
"options": { "think": 1, "stream": false },
"messages": [
{ "role": "system", "content": "당신은 유용한 AI 어시스턴트입니다." },
{ "role": "user", "content": "파이썬으로 피보나치 수열을 구하는 함수를 작성해 줘." }
]
}'
```
### Thinking 제어 — `options.think`
|값|동작|
|-|-|
|`0`|즉답 — 추론 과정 없이 바로 답변 (Non-Thinking 모드)|
|`1`|자동 (기본값) — 모델 기본 동작을 따름 (4B 이상은 보통 추론 후 답변, 0.8B·2B는 바로 답변)|
|`2`|사고 강제 — 항상 추론 과정을 거친 뒤 답변|
* 추론 과정은 응답의 `thinking` 블록으로, 최종 답변은 `text` 블록으로 나뉘어 옵니다.
* `options.stream: true`로 보내면 SSE로 토큰을 실시간으로 받습니다.
* `my_base_path`와 `Secret Key`는 My AI Console의 API 설정 화면에서 확인할 수 있습니다. 자세한 요청 형식은 API 매뉴얼을 참고하세요.
## 활용 분야
* 일반 대화 / 질의응답 / 다국어 번역
* 코딩 및 소프트웨어 엔지니어링
* Tool 호출 기반 AI 에이전트, 업무 자동화
* 긴 문서 요약·분석(최대 262K tokens)
* 저사양 PC·엣지 장비용 경량 챗봇(0.8B ~ 4B)
* 사내 데이터를 외부로 보내지 않는 온프레미스 AI 서비스
## 제한 사항
* **FlameAI에서는 현재 텍스트 입력만 지원합니다.** 모델 자체는 이미지·비디오를 이해하지만, 비전 입력에 필요한 파일(mmproj)과 API의 이미지 입력이 아직 제공되지 않습니다.
* 0.8B·2B는 Thinking 모드를 켜면 추론이 끝나지 않고 반복되는 경우가 있습니다(제작사 안내). 작은 모델은 `options.think: 0`으로 쓰는 것을 권장하며, `options.stream: true`로 받아 이상 동작 시 중단하세요.
* 262K tokens를 넘는 확장 컨텍스트(최대 1M)는 YaRN 설정이 필요하며, FlameAI에서는 아직 검증하지 않았습니다.
* 비트 수가 낮은 양자화(Q2 등)일수록 답변 품질이 떨어질 수 있습니다. 코딩이나 정확도가 중요한 작업에는 Q4 이상을 권장합니다.
## 참고
* Hugging Face — Qwen3.5 모델 목록: https://huggingface.co/Qwen (Qwen3.5-0.8B ~ Qwen3.5-397B-A17B)
* Hugging Face — Qwen3.5-27B 모델 카드: https://huggingface.co/Qwen/Qwen3.5-27B
* Hugging Face — Qwen3.5-397B-A17B 모델 카드: https://huggingface.co/Qwen/Qwen3.5-397B-A17B
* GGUF 양자화 (Unsloth): https://huggingface.co/unsloth (Qwen3.5-*-GGUF)
* Qwen 공식 사이트: https://qwenlm.github.io
* 제작사 벤치마크 (Qwen3.5-27B): MMLU-Pro 86.1, GPQA Diamond 85.5, SWE-bench Verified 72.4, MathVista 87.8 — 원본(BF16) 기준 수치이며, 양자화 모델에서는 다를 수 있습니다.
