FlameAI 베타는 GPT-OSS, Qwen, Gemma 세 가지 텍스트 LLM 계열로 시작합니다.
모든 모델은 양자화된 GGUF 형식으로 제공됩니다. 양자화는 모델 가중치를 더 적은 비트로 압축하는 방식입니다. 덕분에 일반 PC나 소형 서버에서도 큰 모델을 실용적인 크기와 속도로 돌릴 수 있습니다.
| 계열 | 모델 | 양자화 | 파일 크기 | 최대 컨텍스트 |
|---|---|---|---|---|
| GPT-OSS (OpenAI) | gpt-oss 20B | Q8_K_XL | 13.2 GB | 128K |
| Qwen 3.0 (Alibaba) | 0.6B | Q8_K_XL | 0.8 GB | 40K |
| 8B | Q8_0 | 8.7 GB | 40K | |
| Qwen 3.5 | 0.8B | Q8_K_XL | 1.2 GB | 256K |
| 2B | Q8 | 2.8 GB | 256K | |
| 4B | Q8_0 | 4.5 GB | 256K | |
| 9B | Q8_0 | 9.5 GB | 256K | |
| 27B | Q5_K_M | 19.6 GB | 256K | |
| Qwen 3.8 | 27B | Q2_K_XL | 9.8 GB | 256K |
| 27B | Q5_K_XL | 20.9 GB | 256K | |
| Gemma 4 (Google) | E4B | Q8_K_XL | 8.7 GB | 128K |
| 12B | Q8_0 | 12.7 GB | 256K | |
| 12B | Q8_K_XL | 13.6 GB | 256K |
지원 모델은 계속 늘려 나갈 예정입니다. 더 다양한 크기와 양자화 옵션은 물론, 이미지 생성 같은 텍스트 외 모델도 순차적으로 추가해 공지로 안내드리겠습니다.