# Qwen3.8
> Models: Qwen3.8-27B · Qwen3.8-Flash-Next · Qwen3.8-2.4T-A95B
>
> Developer: Qwen Team, Alibaba Cloud
>
> License: 모델별로 다름 (아래 "모델 사양" 참고)
## 개요
Qwen3.8은 알리바바 Qwen 팀이 2026년 8월에 공개한 모델 시리즈입니다. 코딩, 전문 업무, 리서치, 장시간 에이전트 작업의 성능 향상을 주요 목표로 합니다.
가중치가 공개된 모델은 크기가 다른 세 가지입니다.
* **Qwen3.8-27B** — 약 27B 파라미터의 Dense 모델. 한 장의 GPU를 단 PC에서도 실행할 수 있어 로컬 실행에 가장 적합합니다.
* **Qwen3.8-Flash-Next** — 전체 약 180B, 토큰당 6B만 활성화되는 MoE 모델. 속도와 비용 효율을 우선한 서버용 모델입니다.
* **Qwen3.8-2.4T-A95B** — 전체 2.4T, 활성 95B의 초대형 MoE 모델. 데이터센터급 인프라가 필요합니다.
세 모델 모두 일반 어텐션과 선형 어텐션(Gated DeltaNet)을 섞은 하이브리드 구조라서, 긴 컨텍스트에서도 메모리(KV 캐시) 사용량이 작습니다. 이 밖에 가중치를 공개하지 않고 알리바바 클라우드 API로만 제공되는 Qwen3.8-Max 등이 있습니다.
## 주요 특징
* 하이브리드 어텐션(Gated DeltaNet + 일반 어텐션) 구조로 긴 컨텍스트를 적은 메모리로 처리
* 전 모델 기본 262,144 tokens 컨텍스트
* 응답 전에 스스로 추론하는 Thinking 모드가 기본값
* 코딩·소프트웨어 엔지니어링과 장시간 에이전트 작업에 강함
* Tool(함수) 호출 지원
* 27B와 Flash-Next는 이미지·비디오를 이해하는 비전 인코더 포함(FlameAI에서는 아직 텍스트 입력만 지원 — 아래 "제한 사항" 참고)
## 모델 사양
|항목|Qwen3.8-27B|Qwen3.8-Flash-Next|Qwen3.8-2.4T-A95B|
|-|-|-|-|
|구조|Dense|MoE|MoE|
|전체 파라미터|약 27B|약 180B (본체 125B + n-gram 임베딩 51B + MTP 4B)|약 2.4T|
|활성 파라미터|27B|6B|95B|
|Layers|64|48|92|
|레이어 구성|16 × (3 × Gated DeltaNet → 1 × Gated Attention)|12 × (3 × Gated DeltaNet → 1 × Qwen Sparse Attention)|23 × (3 × Gated DeltaNet → 1 × Gated Attention)|
|Experts|-|512 (토큰당 10 + 공유 1)|512 (토큰당 10 + 공유 1)|
|Hidden Dimension|5,120|-|-|
|기본 컨텍스트|262,144 tokens|262,144 tokens|262,144 tokens|
|확장 컨텍스트|최대 1,000,000 tokens|최대 1,000,000 tokens|최대 1,010,000 tokens|
|입력|텍스트 + 이미지 + 비디오|텍스트 + 이미지 + 비디오|텍스트만|
|Thinking|기본 켜짐, 끌 수 있음|기본 켜짐, 끌 수 있음|항상 켜짐 (끌 수 없음)|
|License|Apache-2.0|Qwen Community License 1.0|Qwen3.8-Max License|
> "-"는 제작사가 공개하지 않았거나 해당 없는 항목입니다. 확장 컨텍스트는 YaRN RoPE scaling을 쓴 제작사 기준 수치입니다.
## 권장 파라미터
제작사가 권장하는 샘플링 값이며, 세 모델이 같습니다. FlameAI에서는 Cortex를 만들 때 설정합니다.
### Thinking 모드 (기본)
```text
temperature = 1.0
top_p = 0.95
top_k = 20
repeat_penalty = 1.0
```
### Non-Thinking 모드 (27B, Flash-Next)
```text
temperature = 0.7
top_p = 0.80
top_k = 20
repeat_penalty = 1.0
```
* 제작사는 Non-Thinking 모드에서 `presence_penalty = 1.5`도 권장하지만, FlameAI Cortex에는 아직 이 설정이 없습니다. 같은 문장이 반복되면 `repeat_penalty`를 1.05 정도로 조금만 올려 보세요.
* Thinking 모드는 추론 과정에도 토큰을 많이 쓰므로 `n_predict`(최대 생성 길이)를 넉넉하게(예: 8,192 이상) 잡는 것이 좋습니다.
### Cortex 생성 시
```text
n_ctx = 32768 # 메모리에 맞춰 조절 (최대 262144)
n_gpu_layers = 100 # 전부 GPU에 올림. VRAM 이 부족하면 줄이기
```
## 최소 실행 조건
양자화 수준별 모델 파일 크기와 필요한 메모리입니다. **GPU로 실행할 때는 VRAM, CPU로만 실행할 때는 RAM — 둘 중 하나만 만족하면 됩니다.**
### Qwen3.8-27B
|구분|원본 (BF16)|Q8|Q5|Q4|Q2|
|-|-|-|-|-|-|
|파일 크기|54.7 GB|29.0 GB|20.9 GB|17.6 GB|9.8 GB|
|GPU 실행 — VRAM|64 GB 이상|36 GB 이상|26 GB 이상|22 GB 이상|14 GB 이상|
|CPU 실행 — RAM|62 GB 이상|34 GB 이상|24 GB 이상|20 GB 이상|12 GB 이상|
### Qwen3.8-Flash-Next
|구분|원본 (BF16)|Q8|Q5|Q4|Q2|
|-|-|-|-|-|-|
|파일 크기|354 GB|188 GB|158 GB|111 GB|78.9 GB|
|GPU 실행 — VRAM|400 GB 이상|210 GB 이상|180 GB 이상|130 GB 이상|88 GB 이상|
|CPU 실행 — RAM|390 GB 이상|210 GB 이상|180 GB 이상|130 GB 이상|88 GB 이상|
### Qwen3.8-2.4T-A95B
|구분|원본 (BF16)|Q8|Q5|Q4|Q2|
|-|-|-|-|-|-|
|파일 크기|4,893 GB|2,600 GB|-|1,311 GB|657 GB|
|GPU 실행 — VRAM|5,400 GB 이상|2,900 GB 이상|-|1,450 GB 이상|730 GB 이상|
|CPU 실행 — RAM|5,400 GB 이상|2,900 GB 이상|-|1,450 GB 이상|730 GB 이상|
> * **GPU 실행 — VRAM**: 모든 레이어를 GPU에 올렸을 때(`n_gpu_layers = 100`) 필요한 VRAM입니다. 컨텍스트 32K 기준이며, 이때 시스템 RAM은 많이 필요하지 않습니다.
> * **CPU 실행 — RAM**: GPU 없이 시스템 RAM만으로 실행할 때(`n_gpu_layers = 0`) 필요한 메모리입니다. CPU는 속도가 느려 긴 컨텍스트를 잘 쓰지 않으므로 컨텍스트 8K 기준이며, 운영체제가 쓰는 메모리는 별도입니다.
> * VRAM이 조금 모자라면 `n_gpu_layers`를 줄여 일부 레이어만 GPU에 올릴 수 있습니다. 이때는 필요한 메모리를 VRAM과 RAM이 나눠 맡으며, 속도는 그만큼 느려집니다.
> * 모든 값은 파일 크기에 KV 캐시와 여유분(약 10%)을 더한 추정치입니다.
> * 양자화 칸은 대표 GGUF 파일 기준입니다 — Q8 = Q8_0, Q5 = Q5_K_XL, Q4 = Q4_K_XL, Q2 = Q2_K_XL. 2.4T-A95B는 Q5 파일이 없고, Q4 = IQ4_XS, Q2 = IQ2_XXS 기준입니다.
> * 하이브리드 구조라 KV 캐시가 작아서(27B 기준 32K에 약 2 GB) 컨텍스트를 길게 잡아도 부담이 적습니다. Flash-Next·2.4T-A95B는 활성 파라미터가 작아 CPU로 실행하거나 일부를 RAM으로 내려도 속도 저하가 상대적으로 적습니다.
**PC 기준 예시 (Qwen3.8-27B)**
* Q2 — 16 GB GPU (예: RTX 4060 Ti 16GB, RTX 4080) 또는 24 GB 메모리 Mac
* Q4 — 24 GB GPU (예: RTX 3090, RTX 4090) 또는 32 GB 메모리 Mac
* Q5 — 32 GB GPU (예: RTX 5090) 또는 36 GB 이상 메모리 Mac
* Q8 — 48 GB GPU (예: RTX 6000 Ada) 또는 48 GB 이상 메모리 Mac
* GPU 없이 — Q4 기준 RAM 32 GB 이상 PC (속도가 많이 느림)
Flash-Next는 활성 파라미터가 6B라 추론은 빠르지만 가중치 전체를 메모리에 올려야 하므로 대용량 메모리를 갖춘 워크스테이션·서버가 필요하고, 2.4T-A95B는 데이터센터급 인프라가 필요합니다. OS는 FlameBox 지원 OS(Windows / Linux / macOS)면 됩니다.
## FlameAI에서 사용하기
1. **FlameBox 설치 및 등록** — FlameBox를 설치하고 내 계정에 등록합니다.
2. **모델 다운로드** — My AI Console의 FlameBox 상세 화면에서 PC 메모리에 맞는 양자화된 모델을 내려받습니다.
3. **Cortex 생성** — 내려받은 모델로 Cortex를 만듭니다(위 권장 파라미터 참고).
4. **API 호출** — `messages` 엔드포인트로 대화를 보냅니다.
```bash
curl -s -X POST "https://api-N.flameai.im/{my_base_path}/cortex/{cortexId}/messages" \
-H "Authorization: Bearer {Secret Key}" \
-H "Content-Type: application/json" \
-d '{
"conversationId": "chat-001",
"options": { "think": 1, "stream": false },
"messages": [
{ "role": "system", "content": "당신은 유용한 AI 어시스턴트입니다." },
{ "role": "user", "content": "파이썬으로 피보나치 수열을 구하는 함수를 작성해 줘." }
]
}'
```
### Thinking 제어 — `options.think`
|값|동작|
|-|-|
|`0`|즉답 — 추론 과정 없이 바로 답변 (Non-Thinking 모드)|
|`1`|자동 (기본값) — 모델이 스스로 판단, Qwen3.8은 보통 추론 후 답변|
|`2`|사고 강제 — 항상 추론 과정을 거친 뒤 답변|
* 추론 과정은 응답의 `thinking` 블록으로, 최종 답변은 `text` 블록으로 나뉘어 옵니다.
* `options.stream: true`로 보내면 SSE로 토큰을 실시간으로 받습니다.
* `my_base_path`와 `Secret Key`는 My AI Console의 API 설정 화면에서 확인할 수 있습니다. 자세한 요청 형식은 API 매뉴얼을 참고하세요.
## 활용 분야
* 일반 대화 / 질의응답 / 추론
* 코딩 및 소프트웨어 엔지니어링(코드 작성, 리뷰, 디버깅)
* Tool 호출 기반 AI 에이전트, 장시간 업무 자동화
* 긴 문서 요약·분석(최대 262K tokens)
* 법률·금융 등 전문 분야 문서 작성 보조
* 사내 데이터를 외부로 보내지 않는 온프레미스 AI 서비스
## 제한 사항
* **FlameAI에서는 현재 텍스트 입력만 지원합니다.** 27B와 Flash-Next는 이미지·비디오를 이해하지만, 비전 입력에 필요한 파일(mmproj)과 API의 이미지 입력이 아직 제공되지 않습니다.
* 제작사의 `reasoning_effort`(xhigh/medium/low), `preserve_thinking` 설정은 FlameAI API에 그대로 노출되지 않습니다. 추론 강도는 `options.think`(0/1/2)로만 조절합니다.
* 262K tokens를 넘는 확장 컨텍스트(최대 1M)는 YaRN 설정이 필요하며, FlameAI에서는 아직 검증하지 않았습니다.
* 비트 수가 낮은 양자화(Q2 등)일수록 답변 품질이 떨어질 수 있습니다. 코딩이나 정확도가 중요한 작업에는 Q4 이상을 권장합니다.
* Thinking 모드는 답변 전에 많은 토큰을 생성하므로 첫 답변까지 시간이 오래 걸릴 수 있습니다. 빠른 응답이 필요하면 `options.think: 0`을 쓰세요.
## 참고
* Hugging Face — Qwen3.8-27B: https://huggingface.co/Qwen/Qwen3.8-27B
* Hugging Face — Qwen3.8-Flash-Next: https://huggingface.co/Qwen/Qwen3.8-Flash-Next
* Hugging Face — Qwen3.8-2.4T-A95B: https://huggingface.co/Qwen/Qwen3.8-2.4T-A95B
* GGUF 양자화 (Unsloth): https://huggingface.co/unsloth/Qwen3.8-27B-GGUF
* Qwen 공식 사이트: https://qwenlm.github.io
* 제작사 벤치마크 (Qwen3.8-27B, Thinking 모드): SWE-bench Pro 61.7%, Terminal Bench 2.1 73.0%, OSWorld-Verified 84.3%, GPQA Diamond 89.2%, LiveCodeBench v6 90.3% — 원본(BF16) 기준 수치이며, 양자화 모델에서는 다를 수 있습니다.
