Llama.cpp

Wkrótce będziesz jugglingować vLLM, llama.cpp i innymi – każdy stos na własnym porcie. Wszystko w dalszym ciągu oczekuje jednej bazowej URL /v1; inaczej ciągle będziesz przesuwać porty, profile i skrypty jednorazowe. llama-swap to proxy /v1 przed tymi stosami.

Zawsze wracam do llama.cpp dla lokalnego wnioskowania – daje Ci kontrolę, którą Ollama i inni abstrahują, a po prostu działa. Łatwe uruchomienie modeli GGUF interaktywnie za pomocą llama-cli lub udostępnienie OpenAI-kompatybilnego HTTP API za pomocą llama-server.

Strategic guide to hosting large language models locally with Ollama, llama.cpp, vLLM, or in the cloud. Compare tools, performance trade-offs, and cost considerations.