# Gemma 4
> Models: Gemma 4 E2B · E4B · 12B · 26B-A4B · 31B
>
> Developer: Google DeepMind
>
> License: Apache-2.0
## 개요
Gemma 4는 Google DeepMind가 2026년에 공개한 오픈 모델 시리즈입니다(E2B·E4B·26B-A4B·31B는 3월, 12B는 5월 공개). 텍스트와 이미지를 함께 이해하는 멀티모달 모델이며, 140개 이상의 언어로 학습되었습니다.
크기와 용도에 따라 다섯 가지가 있습니다. E2B·E4B는 스마트폰·노트북 같은 기기에서 돌리도록 만든 경량 모델로, 레이어별 임베딩(PLE) 기법을 써서 실제 계산량(effective 파라미터)을 줄였습니다. 12B는 오디오까지 이해하는 중형 모델이고, 26B-A4B는 일부 파라미터만 활성화해 빠르게 동작하는 MoE 모델, 31B는 가장 성능이 높은 Dense 모델입니다.
## 주요 특징
* 텍스트 + 이미지 이해(전 모델), 비디오(프레임 단위), 오디오(E2B·E4B·12B) 입력 지원 — FlameAI에서는 아직 텍스트 입력만 지원(아래 "제한 사항" 참고)
* Thinking 모드 켜기/끄기 지원
* 함수 호출 기본 지원 — 에이전트 작업에 적합
* 최대 262,144 tokens 컨텍스트(E2B·E4B는 131,072)
* 140개 이상 언어로 학습, 35개 이상 언어 바로 지원
* Sliding window + 전체 어텐션 혼합 구조로 긴 컨텍스트의 메모리 사용 절감
* 모든 모델 Apache-2.0 라이선스 — 상업적 사용 및 온프레미스 운영 가능
## 모델 사양
|항목|E2B|E4B|12B|26B-A4B|31B|
|-|-|-|-|-|-|
|구조|Dense (PLE)|Dense (PLE)|Dense|MoE|Dense|
|전체 파라미터|5.1B|8.0B|12.0B|25.2B|30.7B|
|실행 / 활성 파라미터|2.3B (effective)|4.5B (effective)|12.0B|3.8B (active)|30.7B|
|Layers|35|42|48|30|60|
|Sliding / 전체 어텐션 레이어|28 / 7|35 / 7|40 / 8|25 / 5|50 / 10|
|Sliding window|512|512|1,024|1,024|1,024|
|Hidden Dimension|1,536|2,560|3,840|2,816|5,376|
|Experts (전체 / 활성)|-|-|-|128 / 8|-|
|컨텍스트|131,072|131,072|262,144|262,144|262,144|
|입력|텍스트·이미지·비디오·오디오|텍스트·이미지·비디오·오디오|텍스트·이미지·비디오·오디오|텍스트·이미지·비디오|텍스트·이미지·비디오|
> 컨텍스트 단위는 tokens입니다. "-"는 해당 없는 항목입니다. "effective"는 레이어별 임베딩(PLE)을 제외하고 실제 계산에 쓰이는 파라미터 수입니다. 오디오는 최대 30초, 비디오는 1초당 1프레임 기준 최대 60초까지 처리합니다(제작사 기준).
## 권장 파라미터
제작사가 권장하는 샘플링 값이며, 모든 크기에 같습니다. FlameAI에서는 Cortex를 만들 때 설정합니다.
```text
temperature = 1.0
top_p = 0.95
top_k = 64
repeat_penalty = 1.0
```
* Thinking 모드를 켜면 추론에도 토큰을 쓰므로 `n_predict`(최대 생성 길이)를 넉넉하게(예: 8,192 이상) 잡는 것이 좋습니다.
### Cortex 생성 시
```text
n_ctx = 32768 # 메모리에 맞춰 조절 (최대 262144, E2B·E4B 는 131072)
n_gpu_layers = 100 # 전부 GPU에 올림. VRAM 이 부족하면 줄이기
```
## 최소 실행 조건
양자화 수준별 모델 파일 크기와 필요한 메모리입니다. **GPU로 실행할 때는 VRAM, CPU로만 실행할 때는 RAM — 둘 중 하나만 만족하면 됩니다.**
### Gemma 4 E2B
|구분|원본 (BF16)|Q8|Q5|Q4|Q2|
|-|-|-|-|-|-|
|파일 크기|9.3 GB|5.0 GB|4.3 GB|3.2 GB|2.4 GB|
|GPU 실행 — VRAM|12 GB 이상|6 GB 이상|5 GB 이상|4 GB 이상|3 GB 이상|
|CPU 실행 — RAM|12 GB 이상|6 GB 이상|5 GB 이상|4 GB 이상|3 GB 이상|
### Gemma 4 E4B
|구분|원본 (BF16)|Q8|Q5|Q4|Q2|
|-|-|-|-|-|-|
|파일 크기|15.1 GB|8.2 GB|6.7 GB|5.1 GB|3.8 GB|
|GPU 실행 — VRAM|18 GB 이상|10 GB 이상|8 GB 이상|7 GB 이상|5 GB 이상|
|CPU 실행 — RAM|18 GB 이상|10 GB 이상|8 GB 이상|6 GB 이상|5 GB 이상|
### Gemma 4 12B
|구분|원본 (BF16)|Q8|Q5|Q4|Q2|
|-|-|-|-|-|-|
|파일 크기|23.8 GB|12.7 GB|8.6 GB|7.4 GB|4.7 GB|
|GPU 실행 — VRAM|28 GB 이상|16 GB 이상|12 GB 이상|9 GB 이상|6 GB 이상|
|CPU 실행 — RAM|28 GB 이상|16 GB 이상|10 GB 이상|9 GB 이상|6 GB 이상|
### Gemma 4 26B-A4B
|구분|원본 (BF16)|Q8|Q5|Q4|Q2|
|-|-|-|-|-|-|
|파일 크기|50.5 GB|26.9 GB|21.2 GB|17.0 GB|10.5 GB|
|GPU 실행 — VRAM|58 GB 이상|32 GB 이상|24 GB 이상|20 GB 이상|14 GB 이상|
|CPU 실행 — RAM|56 GB 이상|30 GB 이상|24 GB 이상|20 GB 이상|12 GB 이상|
### Gemma 4 31B
|구분|원본 (BF16)|Q8|Q5|Q4|Q2|
|-|-|-|-|-|-|
|파일 크기|61.4 GB|32.6 GB|21.9 GB|18.8 GB|11.8 GB|
|GPU 실행 — VRAM|70 GB 이상|40 GB 이상|28 GB 이상|24 GB 이상|16 GB 이상|
|CPU 실행 — RAM|70 GB 이상|38 GB 이상|26 GB 이상|22 GB 이상|16 GB 이상|
> * **GPU 실행 — VRAM**: 모든 레이어를 GPU에 올렸을 때(`n_gpu_layers = 100`) 필요한 VRAM입니다. 컨텍스트 32K 기준이며, 이때 시스템 RAM은 많이 필요하지 않습니다.
> * **CPU 실행 — RAM**: GPU 없이 시스템 RAM만으로 실행할 때(`n_gpu_layers = 0`) 필요한 메모리입니다. CPU는 속도가 느려 긴 컨텍스트를 잘 쓰지 않으므로 컨텍스트 8K 기준이며, 운영체제가 쓰는 메모리는 별도입니다.
> * VRAM이 조금 모자라면 `n_gpu_layers`를 줄여 일부 레이어만 GPU에 올릴 수 있습니다. 이때는 필요한 메모리를 VRAM과 RAM이 나눠 맡으며, 속도는 그만큼 느려집니다.
> * 모든 값은 파일 크기에 KV 캐시와 여유분(약 10%)을 더한 추정치입니다.
> * 양자화 칸은 대표 GGUF 파일 기준입니다 — Q8 = Q8_0, Q5 = Q5_K_XL, Q4 = Q4_K_XL, Q2 = Q2_K_XL. E2B·E4B의 파일 크기에는 레이어별 임베딩(PLE)이 포함되어 있어 effective 파라미터보다 큽니다.
> * Sliding window 층이 많고 전체 어텐션 층의 KV 헤드가 적어서 KV 캐시가 작습니다(31B 기준 32K에 약 2 GB).
> * 제작사는 Q4_0 품질을 높인 QAT(양자화 인식 학습) 체크포인트도 별도로 배포합니다.
**PC 기준 예시**
* E2B / E4B — 8 GB GPU 또는 내장 그래픽 노트북 (E4B Q8은 12 GB GPU)
* 12B (Q4 ~ Q5) — 12 GB GPU (예: RTX 3060 12GB, RTX 4070) 또는 16 GB 메모리 Mac
* 26B-A4B (Q4) — 24 GB GPU (예: RTX 3090, RTX 4090) 또는 32 GB 메모리 Mac
* 31B (Q4) — 24 GB GPU (컨텍스트를 조금 줄여서) 또는 32 GB GPU (예: RTX 5090), 32 GB 이상 메모리 Mac
* GPU 없이 — E4B Q4는 RAM 8 GB 노트북, 12B Q4는 RAM 16 GB PC, 26B-A4B Q4는 RAM 32 GB PC에서 실행 가능 (26B-A4B는 활성 파라미터가 4B라 CPU에서도 비교적 빠름)
OS는 FlameBox 지원 OS(Windows / Linux / macOS)면 됩니다.
## FlameAI에서 사용하기
1. **FlameBox 설치 및 등록** — FlameBox를 설치하고 내 계정에 등록합니다.
2. **모델 다운로드** — My AI Console의 FlameBox 상세 화면에서 PC 메모리에 맞는 양자화된 모델을 내려받습니다.
3. **Cortex 생성** — 내려받은 모델로 Cortex를 만듭니다(위 권장 파라미터 참고).
4. **API 호출** — `messages` 엔드포인트로 대화를 보냅니다.
```bash
curl -s -X POST "https://api-N.flameai.im/{my_base_path}/cortex/{cortexId}/messages" \
-H "Authorization: Bearer {Secret Key}" \
-H "Content-Type: application/json" \
-d '{
"conversationId": "chat-001",
"options": { "think": 1, "stream": false },
"messages": [
{ "role": "system", "content": "당신은 유용한 AI 어시스턴트입니다." },
{ "role": "user", "content": "파이썬으로 피보나치 수열을 구하는 함수를 작성해 줘." }
]
}'
```
### Thinking 제어 — `options.think`
|값|동작|
|-|-|
|`0`|Thinking 끔 — 추론 과정 없이 바로 답변|
|`1`|Thinking 켬 (기본값) — 추론 후 답변|
|`2`|`1`과 같음 — Gemma 4는 켜기/끄기 2단계만 있음|
* 추론 과정은 응답의 `thinking` 블록으로, 최종 답변은 `text` 블록으로 나뉘어 옵니다.
* `options.stream: true`로 보내면 SSE로 토큰을 실시간으로 받습니다.
* `my_base_path`와 `Secret Key`는 My AI Console의 API 설정 화면에서 확인할 수 있습니다. 자세한 요청 형식은 API 매뉴얼을 참고하세요.
## 활용 분야
* 일반 대화 / 질의응답 / 다국어 번역
* 코딩 보조
* 함수 호출 기반 AI 에이전트
* 긴 문서 요약·분석(최대 262K tokens)
* 노트북·엣지 장비용 경량 어시스턴트(E2B·E4B)
* 사내 데이터를 외부로 보내지 않는 온프레미스 AI 서비스
## 제한 사항
* **FlameAI에서는 현재 텍스트 입력만 지원합니다.** 모델 자체는 이미지·비디오·오디오를 이해하지만, 이 입력에 필요한 파일(mmproj)과 API의 멀티모달 입력이 아직 제공되지 않습니다.
* Thinking 강도는 켜기/끄기만 있고, 단계별 조절은 할 수 없습니다.
* E2B·E4B는 경량 모델이라 복잡한 추론이나 긴 지시를 정확히 따르기 어렵습니다. 정확도가 중요한 작업에는 12B 이상을 권장합니다.
* 비트 수가 낮은 양자화(Q2 등)일수록 답변 품질이 떨어질 수 있습니다. 정확도가 중요한 작업에는 Q4 이상을 권장합니다.
## 참고
* Hugging Face — Gemma 4 모델 목록: https://huggingface.co/google (gemma-4-E2B-it ~ gemma-4-31B-it)
* Hugging Face — gemma-4-31B-it 모델 카드: https://huggingface.co/google/gemma-4-31B-it
* Hugging Face — gemma-4-E4B-it 모델 카드: https://huggingface.co/google/gemma-4-E4B-it
* GGUF 양자화 (Unsloth): https://huggingface.co/unsloth (gemma-4-*-it-GGUF)
* Gemma 공식 문서: https://ai.google.dev/gemma
* 제작사 벤치마크 (31B): MMLU-Pro 85.2%, AIME 2026 89.2%, LiveCodeBench 80.0% — 원본(BF16) 기준 수치이며, 양자화 모델에서는 다를 수 있습니다.
