16GB VRAM GPU에서 Ollama를 사용할 때 가장 빠른 LLM은?

GPT-OSS 20B는 16GB VRAM에 완전히 적재하면서도 139.93 토큰/초의 최고 속도를 달성했으며, CPU 오프로딩 없이 100% GPU에서 실행되어 속도가 중요한 애플리케이션에 이상적입니다.

16GB VRAM을 초과하는 LLM이 발생했을 때 어떤 일이 발생하는가?

Ollama는 모델 계층을 시스템 RAM과 CPU로 자동으로 오프로딩합니다. 이는 성능에 큰 영향을 미칩니다. 예를 들어, Mistral Small 3.2 24B는 18%의 계층이 CPU에서 실행될 때 토큰/초 기준 18.51로 감소합니다.

Ollama에서 컨텍스트 크기가 VRAM 사용량에 어떻게 영향을 미치나요?

더 큰 컨텍스트 윈도우는 KV 캐시를 위해 더 많은 VRAM을 요구합니다. 19K의 컨텍스트를 사용할 경우, 4K 컨텍스트로 VRAM에 맞는 모델은 CPU 오프로딩이 필요할 수 있습니다. GPU 활용률을 최대화하려면 컨텍스트 크기를 줄이는 것이 좋습니다.

16GB GPU에 Qwen3 14B가 적합한가요?

예. Qwen3 14B는 12GB VRAM만 사용하며, 61.85 토큰/초의 속도로 GPU에서 100% 실행됩니다. 명령어 준수 능력이 우수하며, 16GB에 여유 있게 적합하게 맞춰져 있어 더 큰 맥락 크기에도 용이합니다.

CPU 오프로딩을 사용하여 더 큰 모델을 사용해야 할까요, 아니면 GPU에 완전히 로드된 더 작은 모델을 사용해야 할까요?

상호작용이 필요한 경우, GPU에서 100% 실행되는 작은 모델이 일반적으로 더 좋습니다. CPU로 오프로딩할 때의 속도 저하는 상당합니다—12.64 토큰/초로 실행되는 GPT-OSS 120B는 139.93 토큰/초로 실행되는 GPT-OSS 20B에 비해 느립니다.

16GB VRAM GPU용 최적의 LLM 추천

RTX 4080 16GB VRAM에서의 LLM 속도 테스트

Page content

대규모 언어 모델을 로컬에서 실행하면 프라이버시, 오프라인 기능, API 비용이 전혀 들지 않습니다. 이 벤치마크는 RTX 4080에서 실행되는 9개의 인기 있는 LLMs on Ollama에 대해 정확히 기대할 수 있는 내용을 보여줍니다.

16GB VRAM GPU를 사용하는 동안 저는 꾸준히 균형을 유지해야 했습니다: 더 큰 모델로 인해 잠재적으로 더 높은 품질을 얻거나, 더 작은 모델로 인해 더 빠른 추론을 얻는 선택입니다.

7 llamas - Comparing LLMs on Ollama

TL;DR

다음은 Ollama 0.15.2를 사용하여 RTX 4080 16GB에서 LLM 성능을 비교한 표입니다:

모델	RAM+VRAM 사용량	CPU/GPU 분할	토큰/초
gpt-oss:20b	14 GB	100% GPU	139.93
ministral-3:14b	13 GB	100% GPU	70.13
qwen3:14b	12 GB	100% GPU	61.85
qwen3-vl:30b-a3b	22 GB	30%/70%	50.99
glm-4.7-flash	21 GB	27%/73%	33.86
nemotron-3-nano:30b	25 GB	38%/62%	32.77
devstral-small-2:24b	19 GB	18%/82%	18.67
mistral-small3.2:24b	19 GB	18%/82%	18.51
gpt-oss:120b	66 GB	78%/22%	12.64

핵심 통찰: VRAM에 완전히 적합한 모델은 훨씬 더 빠릅니다. GPT-OSS 20B는 139.93 토큰/초를 달성하지만, GPT-OSS 120B는 CPU 오프로딩으로 인해 12.64 토큰/초에 불과하며, 11배의 속도 차이가 있습니다.

테스트 하드웨어 설정

이 벤치마크는 다음 시스템에서 수행되었습니다:

GPU: NVIDIA RTX 4080, 16GB VRAM
CPU: Intel Core i7-14700 (8개의 P코어 + 12개의 E코어)
RAM: 64GB DDR5-6000

이 구성은 로컬 LLM 추론에 일반적인 고사양 소비자 설정을 나타냅니다. 16GB VRAM은 모델이 GPU에 완전히 실행되는지, 아니면 CPU 오프로딩이 필요한지 결정하는 핵심 제약 조건입니다.

인텔 CPU 코어 사용 방법을 이해하는 것이 모델이 VRAM 용량을 초과하는 경우 중요합니다. CPU 성능은 오프로딩된 레이어 추론 속도에 직접적인 영향을 줍니다.

이 벤치마크의 목적

이 벤치마크의 주요 목표는 현실적인 조건에서 추론 속도를 측정하는 것이었습니다. 저는 이미 경험상 Mistral Small 3.2 24B가 언어 품질에서 우수하고, Qwen3 14B가 특정 사용 사례에서 지시사항을 따르는 데 우수하다는 것을 알고 있었습니다.

이 벤치마크는 실용적인 질문에 답합니다: 각 모델이 얼마나 빠르게 텍스트를 생성할 수 있으며, VRAM 제한을 초과했을 때 속도에 어떤 페널티가 있는가?

테스트 파라미터는 다음과 같습니다:

컨텍스트 크기: 19,000 토큰
프롬프트: “호주 수도 도시의 기후와 날씨를 비교하라”
지표: 평가 속도 (생성 중 토큰/초)

Ollama 설치 및 버전

모든 테스트는 Ollama 버전 0.15.2를 사용하여 수행되었습니다. 이 벤치마크에서 사용된 Ollama 명령어에 대한 완전한 참조는 Ollama cheatsheet를 참조하십시오.

Linux에서 Ollama 설치:

curl -fsSL https://ollama.com/install.sh | sh

설치 확인:

ollama --version

모델을 저장할 때 공간 제약이 있다면, Ollama 모델을 다른 드라이브로 이동하는 방법을 참조하십시오.

테스트된 모델

다음 모델들이 벤치마크되었습니다:

모델	파라미터	양자화	메모
gpt-oss:20b	20B	Q4_K_M	가장 빠른 모델
gpt-oss:120b	120B	Q4_K_M	가장 큰 모델
qwen3:14b	14B	Q4_K_M	지시사항을 따르는 데 가장 우수
qwen3-vl:30b-a3b	30B	Q4_K_M	시각 기능이 있는 모델
ministral-3:14b	14B	Q4_K_M	Mistral의 효율적인 모델
mistral-small3.2:24b	24B	Q4_K_M	언어 품질이 우수
devstral-small-2:24b	24B	Q4_K_M	코드 중심
glm-4.7-flash	30B	Q4_K_M	사고 모델
nemotron-3-nano:30b	30B	Q4_K_M	NVIDIA의 제공

모델을 다운로드하려면:

ollama pull gpt-oss:20b
ollama pull qwen3:14b

CPU 오프로딩 이해

모델의 메모리 요구 사항이 사용 가능한 VRAM을 초과할 경우 Ollama는 자동으로 모델 레이어를 GPU와 시스템 RAM 사이에 분배합니다. 결과는 “18%/82% CPU/GPU"와 같은 비율 분할로 표시됩니다.

이것은 성능에 막대한 영향을 미칩니다. 각 토큰 생성은 CPU와 GPU 메모리 간의 데이터 전송이 필요하며, 이는 오프로딩된 레이어 수가 증가할수록 병목 현상이 발생합니다.

우리의 결과에서 패턴이 명확합니다:

100% GPU 모델: 61-140 토큰/초
70-82% GPU 모델: 19-51 토큰/초
22% GPU (대부분 CPU): 12.6 토큰/초

이로 인해 20B 파라미터 모델이 실제로 120B 모델보다 11배 빠르게 실행될 수 있는 이유를 설명합니다. 여러 동시 요청을 처리하려는 경우, Ollama가 병렬 요청을 처리하는 방법을 이해하는 것이 용량 계획에 필수적입니다.

상세 벤치마크 결과

GPU에서 100% 실행되는 모델

GPT-OSS 20B — 속도 챔피언

ollama run gpt-oss:20b --verbose
/set parameter num_ctx 19000

NAME           SIZE     PROCESSOR    CONTEXT
gpt-oss:20b    14 GB    100% GPU     19000

eval count:           2856 token(s)
eval duration:        20.410517947s
eval rate:            139.93 tokens/s

139.93 토큰/초의 속도로, GPT-OSS 20B는 속도가 중요한 애플리케이션에 명확한 우승자입니다. 14GB의 VRAM만 사용하므로, 더 큰 컨텍스트 창 또는 다른 GPU 워크로드를 위한 여유 공간이 있습니다.

Qwen3 14B — 훌륭한 균형

ollama run qwen3:14b --verbose
/set parameter num_ctx 19000

NAME         SIZE     PROCESSOR    CONTEXT
qwen3:14b    12 GB    100% GPU     19000

eval count:           3094 token(s)
eval duration:        50.020594575s
eval rate:            61.85 tokens/s

Qwen3 14B는 제 경험에서 가장 뛰어난 지시사항을 따르는 모델이며, 12GB의 메모리 사용량이 편안합니다. 61.85 토큰/초의 속도로, 대화형 사용에 충분히 빠릅니다.

Qwen3를 애플리케이션에 통합하는 개발자에게는 Ollama와 Qwen3를 사용한 LLM 구조화된 출력에서 구조화된 JSON 응답을 추출하는 방법을 참조하십시오.

Ministral 3 14B — 빠르고 컴팩트

ollama run ministral-3:14b --verbose
/set parameter num_ctx 19000

NAME               SIZE     PROCESSOR    CONTEXT
ministral-3:14b    13 GB    100% GPU     19000

eval count:           1481 token(s)
eval duration:        21.11734277s
eval rate:            70.13 tokens/s

Mistral의 작은 모델은 70.13 토큰/초의 속도로 VRAM에 완전히 적합합니다. 최대 속도에서 Mistral 가족의 품질을 얻고자 할 때 좋은 선택입니다.

CPU 오프로딩이 필요한 모델

Qwen3-VL 30B — 부분 오프로딩 모델 중 최고 성능

ollama run qwen3-vl:30b-a3b-instruct --verbose
/set parameter num_ctx 19000

NAME                         SIZE     PROCESSOR          CONTEXT
qwen3-vl:30b-a3b-instruct    22 GB    30%/70% CPU/GPU    19000

eval count:           1450 token(s)
eval duration:        28.439319709s
eval rate:            50.99 tokens/s

30%의 레이어가 CPU에 있는 경우에도 Qwen3-VL은 50.99 토큰/초의 속도를 유지하며, 일부 100% GPU 모델보다 빠릅니다. 시각 기능은 다중 모달 작업에 유연성을 더합니다.

Mistral Small 3.2 24B — 품질 대 속도의 균형

ollama run mistral-small3.2:24b --verbose
/set parameter num_ctx 19000

NAME                    SIZE     PROCESSOR          CONTEXT
mistral-small3.2:24b    19 GB    18%/82% CPU/GPU    19000

eval count:           831 token(s)
eval duration:        44.899859038s
eval rate:            18.51 tokens/s

Mistral Small 3.2는 훌륭한 언어 품질을 제공하지만, 속도에 대한 가혹한 페널티를 지불합니다. 18.51 토큰/초의 속도로, 대화형 채팅에 느리게 느껴집니다. 품질이 더 중요한 작업에 적합합니다.

GLM 4.7 Flash — MoE 사고 모델

ollama run glm-4.7-flash --verbose
/set parameter num_ctx 19000

NAME                 SIZE     PROCESSOR          CONTEXT
glm-4.7-flash        21 GB    27%/73% CPU/GPU    19000

eval count:           2446 token(s)
eval duration:        1m12.239164004s
eval rate:            33.86 tokens/s

GLM 4.7 Flash는 30B-A3B Mixture of Experts 모델로, 총 30B 파라미터 중 토큰당 3B만 활성화됩니다. “사고” 모델로서, 응답 전에 내부 사고를 생성합니다. 33.86 토큰/초는 사고와 출력 토큰 모두를 포함합니다. CPU 오프로딩에도 불구하고, MoE 아키텍처는 상대적으로 빠릅니다.

GPT-OSS 120B — 강력한 모델

ollama run gpt-oss:120b --verbose
/set parameter num_ctx 19000

NAME            SIZE     PROCESSOR          CONTEXT
gpt-oss:120b    66 GB    78%/22% CPU/GPU    19000

eval count:           5008 token(s)
eval duration:        6m36.168233066s
eval rate:            12.64 tokens/s

16GB VRAM에서 120B 모델을 실행하는 것은 기술적으로 가능하지만 고통스럽습니다. 78%가 CPU에 있을 경우, 12.64 토큰/초로 인터랙티브 사용은 불편합니다. 배치 처리에 더 적합합니다.

실용적 권장 사항

대화형 채팅을 위한 경우

VRAM에 완전히 적합한 모델을 사용하십시오:

GPT-OSS 20B — 최대 속도 (139.93 t/s)
Ministral 3 14B — Mistral 품질과 함께 좋은 속도 (70.13 t/s)
Qwen3 14B — 지시사항을 따르는 데 가장 우수 (61.85 t/s)

더 나은 채팅 경험을 위해 로컬 Ollama LLM에 대한 오픈소스 채팅 UI를 참조하십시오.

배치 처리를 위한 경우

속도가 덜 중요한 경우:

Mistral Small 3.2 24B — 우수한 언어 품질
Qwen3-VL 30B — 시각 + 텍스트 기능

개발 및 코딩을 위한 경우

Ollama를 사용하여 애플리케이션을 개발하는 경우:

대안 호스팅 옵션

Ollama의 제한이 걱정된다면 (Ollama enshittification 우려), 로컬 LLM 호스팅 가이드 또는 Docker 모델 러너 vs Ollama 비교에서 다른 옵션을 탐색하십시오.

결론

16GB VRAM을 사용하면, 적절한 모델을 선택하면 인상적인 속도로 능력 있는 LLM을 실행할 수 있습니다. 주요 발견 사항:

인터랙티브 사용을 위해 VRAM 제한을 지켜주세요. 140 토큰/초의 20B 모델은 대부분의 실용적인 목적에서 12 토큰/초의 120B 모델보다 우수합니다.
GPT-OSS 20B는 순수 속도에서 우승하지만, Qwen3 14B는 지시사항을 따르는 작업에 속도와 기능의 최고 균형을 제공합니다.
CPU 오프로딩은 작동하지만 3-10배의 속도 저하를 기대해야 합니다. 배치 처리에는 수용 가능하지만, 채팅에는 짜증나는 수준입니다.
컨텍스트 크기도 중요합니다. 여기서 사용된 19K 컨텍스트는 VRAM 사용량을 크게 증가시킵니다. 더 나은 GPU 활용을 위해 컨텍스트를 줄이세요.

로컬 LLM과 웹 결과를 결합한 AI 기반 검색을 원하시면 Ollama와 함께 Perplexica를 자가 호스팅을 참조하십시오.