Требования к оборудованию
Требования к памяти GPU
Для загрузки модели в GPU требуется примерно 2 байта на параметр для FP16 (половинная точность) или 1 байт на параметр для INT8 квантизации.
Требования к VRAM (видеопамять)
Размер модели |
FP16 (VRAM) |
INT8 (VRAM) |
INT4 (VRAM) |
|---|---|---|---|
7B параметров |
~14 GB |
~7 GB |
~4 GB |
13B параметров |
~26 GB |
~13 GB |
~7 GB |
20B параметров |
~40 GB |
~20 GB |
~10 GB |
70B параметров |
~140 GB |
~70 GB |
~35 GB |
120B параметров |
~240 GB |
~120 GB |
~60 GB |
Минимальные и рекомендуемые GPU
Размер модели |
Минимальный GPU |
Рекомендуемый GPU |
|---|---|---|
7B (INT4/INT8) |
RTX 5080 (16 GB), T4 (16 GB), L4 (24 GB) |
RTX 4090 (24 GB), RTX 5090 (32 GB) |
7B (FP16) |
RTX 4090 (24 GB), L4 (24 GB) |
RTX 5090 (32 GB), A100 40GB |
13B (INT4/INT8) |
RTX 5080 (16 GB), T4 (16 GB) |
RTX 4090 (24 GB), RTX 5090 (32 GB) |
13B (FP16) |
RTX 5090 (32 GB), A100 40GB |
RTX A6000 (48 GB), A100 80GB |
20B (INT4) |
RTX 5080 (16 GB), T4 (16 GB) |
RTX 4090 (24 GB), RTX 5090 (32 GB) |
20B (INT8) |
RTX 4090 (24 GB), L4 (24 GB) |
RTX 5090 (32 GB), A100 40GB |
20B (FP16) |
A100 40GB, RTX A6000 (48 GB) |
A100 80GB, H100 (80 GB) |
70B (INT4) |
RTX A6000 (48 GB), A100 40GB |
A100 80GB, MI300X (192 GB) |
70B (INT8) |
A100 80GB, H100 (80 GB) |
MI300X (192 GB), 2x H100 |
70B (FP16) |
2x A100 80GB, MI300X (192 GB) |
2x H100, MI325X (256 GB) |
120B (INT4) |
A100 80GB, MI300X (192 GB) |
2x H100, MI325X (256 GB) |
120B (INT8/FP16) |
2x H100, MI300X (192 GB) |
3x H100, MI325X (256 GB) |
Для модели gpt-oss-20b минимально подойдёт GPU с 16 GB памяти (RTX 5080, T4) при использовании квантизации INT4.
Для gpt-oss-120b необходимо минимум 80 GB памяти GPU или конфигурация с несколькими GPU.
При выборе «минимального» GPU учитывайте, что часть памяти занимает KV-кеш для контекста — чем больше контекстное окно, тем больше памяти требуется.
Рекомендации по конфигурации сервера
Минимальная конфигурация (модели до 20B)
CPU: Intel Core i9 14900 /AMD Ryzen 9 9950X
RAM: 32 GB+ DDR4/DDR5
GPU: NVIDIA RTX 4090 (24 GB) или RTX A6000 (48 GB)
SSD: NVMe 1 TB
БП: 850W+ (80+ Gold)
Оптимальная конфигурация (модели до 70B)
CPU: Intel Xeon Gold 6300 / AMD EPYC 7003
RAM: 128 GB+ DDR5
GPU: 1-2x NVIDIA A100 80GB или 1x AMD MI300X
SSD: NVMe 2 TB
БП: 2000W+
Enterprise конфигурация (модели 70B+)
CPU: Intel Xeon Platinum 8400 / AMD EPYC 9004
RAM: 256 GB+ DDR5
GPU: 2-4x NVIDIA H100 80GB или 1-2x AMD MI325X
NVLink/NVSwitch: для связи между GPU
SSD: 4 TB+ NVMe RAID
БП: 3000W+ (рекомендуется резервирование питания).