AI Coding

Szybki start przełącznika modeli llama.swap dla lokalnych LLM kompatybilnych z OpenAI

Szybki start przełącznika modeli llama.swap dla lokalnych LLM kompatybilnych z OpenAI

Gorące wymiana lokalnych modeli LLM bez konieczności zmiany klientów.

Wkrótce będziesz balansować między vLLM, llama.cpp i innymi rozwiązaniami – każdy stos na własnym porcie. Wszystko w dalszym ciągu oczekuje jednego podstawowego adresu URL /v1; inaczej ciągle będziesz przesuwać porty, profile i skrypty ad-hoc. llama-swap jest proxy /v1 przed tymi stosami.