LLM Performance

대규모 언어 모델(LLM) 은 강력하지만, 프로덕션 환경에서는 자유형식(paragraph) 응답을 원하는 경우가 드뭅니다. 대신, 애플리케이션에 직접 입력할 수 있는 예측 가능한 데이터, 즉 속성, 사실 또는 구조화되어 객체를 원합니다. 이것이 바로 LLM 구조화 출력입니다.

여기에서 저는 새로운 버전의 Ollama가 모델에 얼마나 많은 VRAM을 할당하는지와 이전 버전의 Ollama를 비교하고 있습니다. 새로운 버전은 오히려 더 나빠졌습니다.

PCIe 레인이 LLM 성능에 미치는 영향? 작업에 따라 다릅니다. 학습 및 멀티 GPU 추론의 경우 성능 저하가 상당합니다.

제가 테스트하고 싶은 이론은, 인텔 CPU에서 모든 코어를 사용하면 LLM의 속도가 빨라질까?입니다.
새로운 gemma3 27비트 모델(gemma3:27b, ollama에서 17GB)이 제 GPU의 16GB VRAM에 맞지 않아, 부분적으로 CPU에서 실행되고 있다는 점이 제게 짜증을 주고 있습니다.

현대 세계의 혼란 속에서 저는 AI 작업(딥러닝, 객체 탐지 및 LLM)에 적합한 다양한 그래픽 카드의 사양을 비교하고 있습니다. 하지만 이 카드들은 모두 가격이 매우 비쌉니다.

이 가이드는 Ollama가 병렬 요청을 처리하는 방법(동시성, 대기열, 자원 제한)과 OLLAMA_NUM_PARALLEL 환경 변수(및 관련 설정 항목)를 사용하여 이를 조정하는 방법을 설명합니다.

지난 시간에 새로운 버전이 출시되었습니다. 지금까지의 내용을 확인하고, 기타 LLM과 비교하여 Mistral Small의 성능을 테스트해보세요.

최근 몇몇 새로운 LLM이 출시되었습니다. 흥미로운 시기입니다. 논리적 오류를 감지하는 데 이 모델들이 어떻게 수행되는지 테스트해 보겠습니다.

다양한 파라미터 수와 양자화된 모델들이 어떻게 작동하는지 테스트해보았습니다.

다양한 버전의 LLM(llama3, phi3, gemma, mistral)의 예측 속도를 CPU와 GPU에서 비교합니다.