# gpt-oss
> Models: gpt-oss-20b · gpt-oss-120b
>
> Developer: OpenAI
>
> License: Apache-2.0 (gpt-oss 사용 정책 함께 적용)
## 개요
gpt-oss는 OpenAI가 2025년 8월에 공개한 오픈 웨이트 추론 모델입니다. 추론, 에이전트 작업, 개발자 활용을 목표로 만들어졌으며, 상업적으로 자유롭게 쓸 수 있는 Apache-2.0 라이선스로 배포됩니다.
두 모델 모두 전체 파라미터 중 일부만 활성화하는 MoE 구조입니다. gpt-oss-20b는 전체 21B 중 3.6B만 활성화되어 16 GB 메모리에서도 실행할 수 있고, gpt-oss-120b는 80 GB GPU 한 장에서 실행되도록 설계되었습니다. MoE 가중치가 처음부터 MXFP4(4-bit)로 학습 후 양자화되어 배포되므로 원본 자체가 가볍습니다.
## 주요 특징
* 추론 강도를 Low / Medium / High 3단계로 조절
* 응답 전에 추론 과정(chain-of-thought)을 생성 — 추론을 완전히 끌 수는 없음
* 함수 호출, 구조화된 출력 등 에이전트 기능 지원
* MoE + MXFP4 양자화로 큰 모델을 적은 메모리로 실행
* 131,072 tokens 컨텍스트
* Apache-2.0 라이선스 — 상업적 사용, 파인튜닝, 온프레미스 운영 가능
## 모델 사양
|항목|gpt-oss-20b|gpt-oss-120b|
|-|-|-|
|구조|MoE|MoE|
|전체 파라미터|21B|117B|
|활성 파라미터|3.6B|5.1B|
|Layers|24|36|
|Hidden Dimension|2,880|2,880|
|Attention Heads (Q / KV)|64 / 8|64 / 8|
|Attention|Sliding window 128 + 전체 어텐션 교차 (1:1)|Sliding window 128 + 전체 어텐션 교차 (1:1)|
|Experts (전체 / 활성)|32 / 4|128 / 4|
|컨텍스트|131,072 tokens|131,072 tokens|
|기본 가중치 형식|MXFP4 (MoE 가중치)|MXFP4 (MoE 가중치)|
|입력|텍스트|텍스트|
> 이 밖에 콘텐츠 안전 분류용으로 파인튜닝한 gpt-oss-safeguard-20b / 120b도 공개되어 있습니다.
## 권장 파라미터
제작사가 권장하는 샘플링 값입니다. FlameAI에서는 Cortex를 만들 때 설정합니다.
```text
temperature = 1.0
top_p = 1.0
repeat_penalty = 1.0
```
* 제작사 권장값은 `temperature = 1.0`, `top_p = 1.0` 두 가지뿐입니다. `top_k`는 제한하지 않는 것이 제작사 설정에 가깝습니다.
* 추론 과정에도 토큰을 많이 쓰므로 `n_predict`(최대 생성 길이)를 넉넉하게(예: 8,192 이상) 잡는 것이 좋습니다. High 추론 강도에서는 더 길게 잡으세요.
### Cortex 생성 시
```text
n_ctx = 32768 # 메모리에 맞춰 조절 (최대 131072)
n_gpu_layers = 100 # 전부 GPU에 올림. VRAM 이 부족하면 줄이기
```
## 최소 실행 조건
양자화 수준별 모델 파일 크기와 필요한 메모리입니다. **GPU로 실행할 때는 VRAM, CPU로만 실행할 때는 RAM — 둘 중 하나만 만족하면 됩니다.**
### gpt-oss-20b
|구분|원본 (MXFP4)|Q8|Q5|Q4|Q2|
|-|-|-|-|-|-|
|파일 크기|13.8 GB|12.1 GB|11.7 GB|11.6 GB|11.5 GB|
|GPU 실행 — VRAM|18 GB 이상|16 GB 이상|14 GB 이상|14 GB 이상|14 GB 이상|
|CPU 실행 — RAM|16 GB 이상|14 GB 이상|14 GB 이상|14 GB 이상|14 GB 이상|
### gpt-oss-120b
|구분|원본 (MXFP4)|Q8|Q5|Q4|Q2|
|-|-|-|-|-|-|
|파일 크기|65.4 GB|63.4 GB|62.9 GB|62.8 GB|62.6 GB|
|GPU 실행 — VRAM|74 GB 이상|72 GB 이상|72 GB 이상|72 GB 이상|72 GB 이상|
|CPU 실행 — RAM|74 GB 이상|72 GB 이상|70 GB 이상|70 GB 이상|70 GB 이상|
> * **GPU 실행 — VRAM**: 모든 레이어를 GPU에 올렸을 때(`n_gpu_layers = 100`) 필요한 VRAM입니다. 컨텍스트 32K 기준이며, 이때 시스템 RAM은 많이 필요하지 않습니다.
> * **CPU 실행 — RAM**: GPU 없이 시스템 RAM만으로 실행할 때(`n_gpu_layers = 0`) 필요한 메모리입니다. CPU는 속도가 느려 긴 컨텍스트를 잘 쓰지 않으므로 컨텍스트 8K 기준이며, 운영체제가 쓰는 메모리는 별도입니다.
> * VRAM이 조금 모자라면 `n_gpu_layers`를 줄여 일부 레이어만 GPU에 올릴 수 있습니다. 이때는 필요한 메모리를 VRAM과 RAM이 나눠 맡으며, 속도는 그만큼 느려집니다.
> * 모든 값은 파일 크기에 KV 캐시와 여유분(약 10%)을 더한 추정치입니다.
> * 원본은 MoE 가중치가 MXFP4, 나머지가 16-bit인 GGUF 파일 기준이고, 양자화 칸은 Q8 = Q8_0, Q5 = Q5_K_M, Q4 = Q4_K_M, Q2 = Q2_K 기준입니다.
> * gpt-oss는 원본이 이미 4-bit라 **양자화를 해도 크기가 거의 줄지 않습니다.** 품질 손실 없이 쓰려면 원본(MXFP4)을 권장합니다.
> * 활성 파라미터가 작아 CPU로 실행하거나 일부를 RAM으로 내려도 속도 저하가 상대적으로 적습니다.
**PC 기준 예시**
* gpt-oss-20b — 16 GB GPU (예: RTX 4060 Ti 16GB, RTX 4080, RTX 5080, 컨텍스트를 16K 정도로 줄여서) 또는 24 GB GPU, 24 GB 이상 메모리 Mac
* gpt-oss-120b — 80 GB GPU 1장 (예: H100), 또는 24 GB GPU + 64 GB 이상 시스템 RAM 조합(일부 레이어를 RAM으로 내려서 실행, 속도 저하 있음), 또는 96 GB 이상 메모리 Mac
* GPU 없이 — gpt-oss-20b는 RAM 24 GB PC, gpt-oss-120b는 RAM 96 GB PC에서 실행 가능 (활성 파라미터가 작아 CPU에서도 비교적 빠름)
OS는 FlameBox 지원 OS(Windows / Linux / macOS)면 됩니다.
## FlameAI에서 사용하기
1. **FlameBox 설치 및 등록** — FlameBox를 설치하고 내 계정에 등록합니다.
2. **모델 다운로드** — My AI Console의 FlameBox 상세 화면에서 PC 메모리에 맞는 양자화된 모델을 내려받습니다.
3. **Cortex 생성** — 내려받은 모델로 Cortex를 만듭니다(위 권장 파라미터 참고).
4. **API 호출** — `messages` 엔드포인트로 대화를 보냅니다.
```bash
curl -s -X POST "https://api-N.flameai.im/{my_base_path}/cortex/{cortexId}/messages" \
-H "Authorization: Bearer {Secret Key}" \
-H "Content-Type: application/json" \
-d '{
"conversationId": "chat-001",
"options": { "think": 1, "stream": false },
"messages": [
{ "role": "system", "content": "당신은 유용한 AI 어시스턴트입니다." },
{ "role": "user", "content": "파이썬으로 피보나치 수열을 구하는 함수를 작성해 줘." }
]
}'
```
### 추론 강도 제어 — `options.think`
|값|동작|
|-|-|
|`0`|Low — 짧게 추론하고 빠르게 답변|
|`1`|Medium (기본값) — 속도와 정확도의 균형|
|`2`|High — 깊게 추론한 뒤 답변 (느리지만 정확)|
* gpt-oss는 추론을 완전히 끌 수 없습니다. `0`도 추론을 짧게 할 뿐 생략하지는 않습니다.
* 추론 과정은 응답의 `thinking` 블록으로, 최종 답변은 `text` 블록으로 나뉘어 옵니다.
* `options.stream: true`로 보내면 SSE로 토큰을 실시간으로 받습니다.
* `my_base_path`와 `Secret Key`는 My AI Console의 API 설정 화면에서 확인할 수 있습니다. 자세한 요청 형식은 API 매뉴얼을 참고하세요.
## 활용 분야
* 논리·수학 추론, 분석이 필요한 질의응답
* 코딩 보조(코드 작성, 리뷰, 디버깅)
* 함수 호출 기반 AI 에이전트, 업무 자동화
* 사내 문서 기반 질의응답
* 사내 데이터를 외부로 보내지 않는 온프레미스 AI 서비스
## 제한 사항
* **텍스트 입력만 지원합니다.** 이미지·오디오 입력은 지원하지 않습니다.
* 추론을 완전히 끌 수 없어서, 짧은 대답이 필요한 경우에도 추론 토큰이 생성됩니다. 빠른 응답이 필요하면 `options.think: 0`(Low)을 쓰세요.
* 제작사가 제공하는 웹 브라우징·Python 실행 같은 내장 도구는 FlameAI에서 직접 실행되지 않습니다. 함수 호출은 `tools`로 정의하고 실행은 클라이언트가 담당합니다.
* 제작사 모델 카드 기준 주로 영어 데이터로 학습되어, 한국어 등 다른 언어의 답변 품질은 영어보다 낮을 수 있습니다.
* 원본이 이미 4-bit라 Q8 ~ Q2 양자화로 메모리를 크게 줄일 수 없습니다.
## 참고
* Hugging Face — gpt-oss-20b: https://huggingface.co/openai/gpt-oss-20b
* Hugging Face — gpt-oss-120b: https://huggingface.co/openai/gpt-oss-120b
* GitHub — openai/gpt-oss: https://github.com/openai/gpt-oss
* GGUF 양자화 (Unsloth): https://huggingface.co/unsloth/gpt-oss-20b-GGUF, https://huggingface.co/unsloth/gpt-oss-120b-GGUF
* OpenAI 소개 페이지: https://openai.com/index/introducing-gpt-oss/
