[AI] vLLM 배포 시 흔히 겪는 메모리 및 GPU 활용 문제 해결 가이드

목차

• vLLM 배포 시 흔히 겪는 메모리 및 GPU 활용 문제 해결 가이드
• vLLM, 왜 메모리와 GPU를 많이 쓸까요? (핵심 개념 파고들기)
• vLLM 기본 배포: 첫걸음부터 문제 발생까지
• ⚠️ 제가 겪었던 vLLM 메모리 및 GPU 활용 문제와 해결책
• 1. GPU 메모리 부족 (OOM) 문제 해결
• 2. 낮은 GPU 활용률 문제 해결
• ✅ vLLM 최적화, 제대로 됐는지 확인해볼까요?
• 마무리하며: 삽질은 경험이 되고, 경험은 노하우가 됩니다.

vLLM 배포 시 흔히 겪는 메모리 및 GPU 활용 문제 해결 가이드

안녕하세요, 13년차 서버실 지킴이입니다. 요즘 인프라 엔지니어들 사이에서 LLM(Large Language Model) 배포는 뜨거운 감자죠. 저도 홈랩에서 이것저것 시도해보다가 vLLM이라는 라이브러리를 써봤는데, 처음엔 정말 "이거 물건이다!" 싶었거든요. 그런데 막상 모델을 올리고 트래픽을 좀 주니 메모리는 터져나가고, GPU 활용률은 바닥을 기는 경험, 혹시 있으신가요? ⚠️ 제가 직접 겪었던 vLLM 메모리 최적화와 vLLM GPU 활용 문제, 그리고 그 해결 과정을 솔직하게 공유해볼까 합니다. LLM 추론 서버를 운영하시면서 비슷한 vLLM 문제 해결에 어려움을 겪는 분들께 멘토처럼 도움이 되었으면 좋겠습니다.

vLLM이 어떻게 LLM 추론을 최적화하는지, 그리고 왜 메모리와 GPU 활용률 문제가 발생하는지 전체적인 그림을 먼저 보고 가시죠.

vLLM, 왜 메모리와 GPU를 많이 쓸까요? (핵심 개념 파고들기)

vLLM은 LLM 추론(Inference) 속도를 획기적으로 개선하기 위해 개발된 오픈소스 라이브러리입니다. 특히 두 가지 핵심 기술 덕분에 주목받고 있는데요.

• PagedAttention (페이지드 어텐션): 기존 LLM 추론 방식은 각 시퀀스(Sequence)마다 어텐션 키(Key)와 밸류(Value) 캐시(Cache), 일명 KV Cache를 GPU 메모리에 통째로 할당했습니다. 이는 마치 OS의 페이지 메모리 관리와 비슷하게, KV Cache를 페이지(Page) 단위로 쪼개어 필요한 만큼만 동적으로 할당하고 해제하는 방식입니다. 덕분에 메모리 단편화(Fragmentation)를 줄이고, GPU 메모리 사용 효율을 극대화할 수 있죠.
• Continuous Batching (연속 배치 처리): 일반적인 배치 처리(Batching)는 모든 요청이 완료될 때까지 기다렸다가 다음 배치를 처리합니다. 하지만 Continuous Batching은 GPU가 유휴 상태가 되지 않도록, 새로운 요청이 들어오면 현재 처리 중인 배치에 동적으로 추가하여 계속해서 GPU를 채워 넣는 방식입니다. 이 덕분에 GPU 활용률(Utilization)을 높이고, 전체 처리량(Throughput)을 증가시킬 수 있습니다.

이렇게 들으면 만능 같죠? 그런데 이 두 가지 기술이 역설적으로 vLLM 메모리 문제와 vLLM GPU 활용 문제를 일으키는 주범이 되기도 합니다. PagedAttention은 KV Cache를 효율적으로 쓰지만, 모델 사이즈가 크고 동시 요청이 많아지면 결국 전체 KV Cache가 커질 수밖에 없어요. Continuous Batching은 GPU를 계속 돌리지만, 모델 로딩 자체에 필요한 메모리도 만만치 않거든요. 제가 처음 이걸 접했을 때 "분명 효율적이라고 했는데, 왜 내 서버는 빌빌거리지?" 싶었답니다. 😅

vLLM 기본 배포: 첫걸음부터 문제 발생까지

vLLM을 배포하는 방법은 정말 간단합니다. 저는 주로 Docker를 사용하거나, Python 환경에서 pip으로 설치해서 쓰곤 합니다. 여기서는 Python 코드를 통해 vLLM 서버를 띄우는 기본적인 예시를 보여드릴게요.

1. vLLM 설치:

   pip install vllm

2. vLLM 서버 실행 예제:간단한 Python 스크립트로 vLLM 서버를 실행하고, 모델을 로딩할 수 있습니다. 저는 주로 Hugging Face Hub에 있는 모델을 사용합니다.
3. from vllm import LLM, SamplingParams # LLM 모델 로딩 # 'meta-llama/Llama-2-7b-chat-hf' 와 같은 모델은 상당한 GPU 메모리를 요구합니다. # 실제 운영 환경에서는 더 작은 모델이나 양자화된 모델을 고려해야 합니다. llm = LLM(model="TinyLlama/TinyLlama-1.1B-Chat-v1.0", # 예시로 작은 모델 사용 dtype="auto", # bfloat16, float16 등 GPU에 따라 자동으로 선택 gpu_memory_utilization=0.9 # 이 설정이 중요합니다! 뒤에서 자세히 다룹니다. ) # 프롬프트 리스트 prompts = [ "Hello, my name is", "The president of the United States is", "The capital of France is", "What is the meaning of life?", ] # 샘플링 파라미터 설정 sampling_params = SamplingParams(temperature=0.7, top_p=0.95, max_tokens=128) # 추론 실행 outputs = llm.generate(prompts, sampling_params) # 결과 출력 for prompt, output in zip(prompts, outputs): generated_text = output.outputs[0].text print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}") print("vLLM 서버가 성공적으로 모델을 로딩하고 추론을 수행했습니다.")

위 코드에서 모델을 로딩하는 <code>LLM(model=...) 부분이 핵심입니다. 이때 지정된 모델이 GPU 메모리에 올라가게 되죠. 처음엔 잘 작동하는 것 같다가도, 여러 요청이 몰리면 문제가 생기기 시작합니다. 바로 이 지점에서 vLLM 메모리 최적화의 필요성을 느끼게 됩니다.

⚠️ 제가 겪었던 vLLM 메모리 및 GPU 활용 문제와 해결책

제가 vLLM을 사용하면서 가장 많이 부딪혔던 문제는 크게 두 가지였습니다. 바로 GPU 메모리 부족(OOM: Out Of Memory)과 기대보다 낮은 GPU 활용률이었죠. 마치 "야근은 했는데 성과가 없는" 상황이랄까요? 삽질 좀 했습니다 ㅎㅎ. 하나씩 해결 과정을 공유해 드릴게요.

1. GPU 메모리 부족 (OOM) 문제 해결

가장 흔한 문제입니다. 모델을 로딩하자마자 OOM이 나거나, 몇몇 요청 처리 후 서버가 죽는 경우죠. 이건 주로 KV Cache 때문에 발생합니다.

1. gpu_memory_utilization 옵션 조절 (가장 중요!)
   이 옵션은 vLLM이 GPU 메모리 중 KV Cache에 할당할 최대 비율을 지정합니다. 기본값은 0.9 (90%)인데, 이 값을 잘 조절해야 합니다. 모델 자체를 로딩하는 데 필요한 메모리도 있기 때문에, 너무 높으면 OOM이 날 수 있어요. 그렇다고 너무 낮추면 KV Cache 공간이 부족해져서 동시 처리량이 줄어듭니다.💡 팁: GPU 메모리가 넉넉하다면 0.8~0.9까지도 괜찮지만, 10GB 미만 GPU라면 0.6~0.7부터 시작해서 조금씩 올려보는 걸 추천합니다. vLLM 메모리 최적화의 핵심입니다.
2. llm = LLM(model="TinyLlama/TinyLlama-1.1B-Chat-v1.0", gpu_memory_utilization=0.7 # 70%로 낮춰서 시도해보세요. )
3. 모델 양자화 (Quantization) 적용
   모델 자체의 크기를 줄이는 가장 효과적인 방법입니다. LLM 양자화는 모델의 가중치(Weights)를 낮은 비트(예: FP32 → FP16 → INT8 → INT4)로 표현하여 메모리 사용량을 줄입니다. 정확도는 조금 희생될 수 있지만, 체감 성능 저하 없이 메모리를 크게 절약할 수 있어요.저도 홈랩에서 8비트(INT8)나 4비트(INT4) 양자화(Quantization)된 모델을 많이 사용하는데, 특히 NVIDIA RTX 30/40 시리즈 같은 컨슈머 GPU에서는 필수적이라고 느껴지더라고요.
4. llm = LLM(model="TheBloke/Llama-2-7B-Chat-GPTQ", # GPTQ 양자화된 모델 사용 예시 dtype="auto" # 양자화된 모델은 dtype을 auto로 두는 것이 일반적 )
5. 더 작은 모델 선택
   물론 가장 확실한 방법입니다. Llama-2-70B 같은 거대 모델 대신, Llama-2-7B나 TinyLlama 같은 작은 모델을 사용하는 거죠. 요구사항에 맞춰 모델을 선택하는 것이 LLM 추론 서버 운영의 기본입니다.
6. max_model_len 및 max_num_seqs 조절
   max_model_len은 모델이 처리할 수 있는 최대 시퀀스 길이(토큰 수)를 의미하고, max_num_seqs는 한 번에 처리할 수 있는 최대 동시 시퀀스 수를 의미합니다. 이 값들이 너무 크면 KV Cache가 그만큼 더 많이 필요해집니다. 특히 max_model_len은 프롬프트 길이와 생성될 답변 길이를 모두 고려해야 해서 중요합니다.
7. llm = LLM(model="TinyLlama/TinyLlama-1.1B-Chat-v1.0", max_model_len=1024, # 최대 토큰 길이 조절 max_num_seqs=256 # 최대 동시 시퀀스 수 조절 )
8. 메모리 스와핑 활용
   vLLM은 KV Cache가 GPU 메모리에 부족할 경우 CPU 메모리로 스와핑하는 기능을 제공합니다. 이는 OOM을 방지하는 최후의 보루가 될 수 있지만, 성능 저하가 발생할 수 있으니 주의해야 합니다. 최신 vLLM 버전의 경우 PagedAttention 자체가 이를 효율적으로 처리하므로, 명시적 설정이 필요한 경우는 많지 않습니다.사실 vLLM의 PagedAttention은 이미 OS의 가상 메모리 관리처럼 동작해서, 필요한 경우 자동으로 메모리를 활용하는 경향이 있습니다. 버전에 따라 세부 옵션이 달라질 수 있으므로, 공식 문서를 참고하는 것이 좋습니다.
9. llm = LLM(model="TinyLlama/TinyLlama-1.1B-Chat-v1.0", # 최신 vLLM에서는 PagedAttention 자체가 메모리 관리를 효율적으로 처리합니다 # 필요시 vLLM 버전에 따라 추가 옵션이 사용 가능할 수 있습니다 )

2. 낮은 GPU 활용률 문제 해결

Continuous Batching 덕분에 GPU 활용률이 높아야 하는데, 생각보다 낮게 나오는 경우가 있습니다. 이건 주로 요청이 너무 적거나, 모델의 추론 속도가 너무 빨라서 GPU가 대기하는 시간이 길어질 때 발생합니다.

1. 동시 요청 늘리기
   가장 직접적인 방법입니다. vLLM은 Continuous Batching을 통해 동시 요청이 많을수록 GPU를 더 효율적으로 사용합니다. 테스트 환경이라면 벤치마크 툴로 요청 수를 늘려보세요.
2. 배치 사이즈 최적화
   위에서 언급한 max_num_seqs와 max_model_len 값을 적절히 조절하는 것이 중요합니다. 너무 작으면 GPU가 놀고, 너무 크면 OOM이 나거나 지연 시간(Latency)이 길어질 수 있습니다. 여러 번 테스트하면서 최적값을 찾아야 합니다. "삽질 좀 해봐야 내 것이 되는 법"이거든요. 😉
3. 모델 로딩 시 enforce_eager=True 옵션 (디버깅 목적)
   이 옵션은 디버깅 목적으로 GPU 활용률을 강제로 높여볼 때 사용해볼 수 있습니다. 하지만 실제 운영 환경에서는 오버헤드가 발생할 수 있으니 주의해야 합니다.이 옵션은 주로 vLLM 내부 동작을 확인하거나 특정 문제를 디버깅할 때 유용하고, 일반적인 LLM 추론 서버 운영에는 권장되지 않습니다.
4. llm = LLM(model="TinyLlama/TinyLlama-1.1B-Chat-v1.0", enforce_eager=True # 디버깅 및 테스트 목적으로 사용 )

이렇게 여러 옵션을 조절해가면서 저의 홈랩 GPU 자원을 최대한 쥐어짜내는 데 성공했습니다! 물론 처음부터 완벽하게 되는 건 아니었고, nvidia-smi 명령어를 옆에 띄워놓고 메모리 사용량과 활용률을 실시간으로 보면서 값들을 바꿔가며 테스트했죠. vLLM 트러블슈팅은 인내심과의 싸움이더라고요.

✅ vLLM 최적화, 제대로 됐는지 확인해볼까요?

이제 vLLM 메모리 최적화와 vLLM GPU 활용 개선을 위한 여러 방법을 적용해봤으니, 실제로 효과가 있는지 확인해봐야겠죠? 저는 주로 nvidia-smi와 vLLM의 로그 메시지를 활용해서 검증합니다.

1. nvidia-smi로 GPU 상태 확인
   터미널에서 nvidia-smi를 주기적으로 실행하거나, watch -n 1 nvidia-smi 명령으로 1초마다 갱신되는 정보를 확인해보세요. 최적화 전후로 다음과 같은 변화를 볼 수 있을 겁니다.
   • GPU Memory Usage (메모리 사용량): OOM이 발생하지 않고, 설정한 gpu_memory_utilization에 맞춰 안정적으로 유지되는지 확인합니다.
   • GPU Utilization (GPU 활용률): 요청이 들어올 때 GPU-Util이 70~90% 이상으로 높게 유지되는지 확인합니다. 만약 낮다면 동시 요청 수를 늘리거나 배치 사이즈를 조절해봐야 합니다.

   
   watch -n 1 nvidia-smi
           

   저도 처음엔 GPU-Util이 20~30%에서 빌빌거리다가, 설정을 만지고 나니 80% 이상으로 치솟는 것을 보고 "드디어 됐다!" 하고 환호성을 질렀답니다. 🎉
2. vLLM 로그 확인
   vLLM은 시작 시 모델 로딩 정보, KV Cache 할당 정보 등을 상세하게 로그로 남겨줍니다. 이 로그를 통해 내 설정이 제대로 적용되었는지 확인할 수 있습니다.
   • vLLM engine is initialized with model: ...
   • GPU memory usage: X.X GB (Y.Y%) for model weights, Z.Z GB for KV cache.
   특히 KV Cache에 할당된 메모리 양이 gpu_memory_utilization과 잘 맞아떨어지는지 확인하는 것이 중요합니다.
3. 부하 테스트 (Load Testing)
   실제 서비스 환경을 시뮬레이션하기 위해 부하 테스트 툴(예: `locust`, `wrk`)을 사용해서 동시 요청을 발생시켜보고, 이때의 GPU 상태와 추론 지연 시간(Latency), 처리량(Throughput)을 측정해보는 것이 가장 확실한 방법입니다.

마무리하며: 삽질은 경험이 되고, 경험은 노하우가 됩니다.

오늘은 vLLM 배포 시 흔히 겪는 메모리 및 GPU 활용 문제 해결 가이드를 저의 경험을 토대로 이야기해봤습니다. 돌이켜보면 인프라 엔지니어의 삶은 끊임없는 트러블슈팅(Troubleshooting)의 연속인 것 같아요. 특히 LLM 추론 서버 같은 새로운 기술 스택을 다룰 때는 더욱 그렇죠.

결론적으로 vLLM 최적화의 핵심은 다음과 같습니다.

• gpu_memory_utilization 값을 적절히 조절하여 KV Cache 메모리를 효율적으로 관리하는 것.
• 양자화(Quantization)된 모델을 활용하여 모델 자체의 메모리 점유율을 낮추는 것.
• max_model_len과 max_num_seqs를 서비스 요구사항과 GPU 자원에 맞춰 최적화하는 것.
• 끊임없이 nvidia-smi로 모니터링하며 실험하고, 최적의 파라미터를 찾아내는 인내심!

제가 처음 vLLM을 만졌을 때 "이거 왜 이래?" 하면서 답답해했던 기억이 생생하네요. 하지만 이런 삽질 경험 하나하나가 쌓여서 결국 저만의 vLLM 트러블슈팅 노하우가 되더라고요. 혹시 더 궁금한 점이나 다른 vLLM 문제 해결 팁이 있다면 댓글로 알려주세요. 다음번에는 더 깊이 있는 LLM 배포 팁, 예를 들어 멀티 GPU 환경이나 분산 추론에 대해 다뤄볼 수도 있겠네요. 그때까지 여러분의 서버실도 평안하시기를 바랍니다!

📚 함께 읽으면 좋은 글

• Ollama 로컬 LLM 성능 벤치마크: NPU/GPU 가속 효과 분석
• 프롬프트 엔지니어링 실패? 흔히 저지르는 실수와 해결 전략 5가지
• 중소기업을 위한 Claude 활용 사례: 업무 자동화 및 비용 절감 전략