Szybki start z llama.cpp: CLI i serwer
Jak zainstalować, skonfigurować i korzystać z OpenCode
Nieustannie wracam do llama.cpp w przypadku wnioskowania lokalnego – zapewnia ono kontrolę, której Ollama i inne narzędzia ukrywają za abstrakcją, a po prostu działa. Interaktywnie uruchamiaj modele GGUF za pomocą llama-cli lub wystawiaj interfejs API HTTP kompatybilny z OpenAI za pomocą llama-server.