AI

Szybki start z Vane (Perplexica 2.0), Ollama i llama.cpp

Szybki start z Vane (Perplexica 2.0), Ollama i llama.cpp

Własne wyszukiwanie AI z lokalnymi modelami językowymi (LLM)

Vane to jedna z bardziej praktycznych pozycji w przestrzeni „AI z wyszukiwaniem i cytowaniami": samodzielnie hostowana silnia odpowiedziowa, która łąży pobieranie danych z sieci w czasie rzeczywistym z lokalnymi lub chmurowymi modelami LLM, zachowując jednocześnie pełną kontrolę nad całą infrastrukturą.

Ollama w Docker Compose z obsługą GPU i trwałą pamięcią modeli

Ollama w Docker Compose z obsługą GPU i trwałą pamięcią modeli

Serwer Ollama z pierwszeństwem kompozycji, obsługą GPU i trwałością danych.

Ollama świetnie działa na “gołym metalu”. Zyskuje jednak na ciekawości, gdy potraktujesz ją jako usługę: stabilny punkt końcowy, zablokowane wersje, trwałe przechowywanie danych oraz dostępność GPU, która jest albo dostępna, albo nie.

Szybki start przełącznika modeli llama.swap dla lokalnych LLM kompatybilnych z OpenAI

Szybki start przełącznika modeli llama.swap dla lokalnych LLM kompatybilnych z OpenAI

Gorące wymiana lokalnych modeli LLM bez konieczności zmiany klientów.

Wkrótce będziesz balansować między vLLM, llama.cpp i innymi rozwiązaniami – każdy stos na własnym porcie. Wszystko w dalszym ciągu oczekuje jednego podstawowego adresu URL /v1; inaczej ciągle będziesz przesuwać porty, profile i skrypty ad-hoc. llama-swap jest proxy /v1 przed tymi stosami.