Interfejsy LLM

Gdy zaczynałem eksperymentować z LLM, ich interfejsy użytkownika były w fazie aktywnego rozwoju, a teraz niektóre z nich są naprawdę dobre.

Jan - wieloplatformowy interfejs dla LLM

Jan

Jan jest dostępny na systemy Windows, Linux i Mac.

Posiada motywy ciemny, jasny i przezroczysty.

Jan LLM frontend - okno główne

Może łączyć się z wieloma istniejącymi backendami, takimi jak Anthropic, Cohere, OpenAI, NvidiaNIM, MistralAI itp., oraz samodzielnie hostować modele - zobacz sekcję Cortex na poniższym zrzucie ekranu - pokazującą Jana pobranego i hostującego lokalnie modele Llama3 8b q4 oraz Phi3 medium (q4).

Jan LLM frontend - opcje konfiguracji

Zalety (co mi się spodobało):

Intuicyjny interfejs
Możliwość eksperymentowania z temperaturą modelu, topp, karami za częstotliwość i obecność oraz promptami systemowymi.
Dostarcza serwer API

Wady:

Jakby wolny na moim systemie opartym o Ubuntu. Na Windowsie działał w porządku.
Może łączyć się z wieloma backendami, ale wszystkie są zarządzane. Byłoby miło mieć opcję użycia Ollama.
Nie ma wielu wariantów modeli dostępnych do self-hostingu w Cortex. Również nie ma zbyt wielu opcji kwantyzacji.
Tak, Huggingface gguf jest świetny. Ale chciałem
- ponownie wykorzystać to, co ollama już pobrał i załadował do VRAM
- nie hostować tego samego modelu wszędzie

KoboldAI

Bardzo popularny

Silly Tavern

Kolejny bardzo wszechstronny

LLM Studio

LLM Studio to nie mój ulubiony interfejs dla LLM, ale ma lepszy dostęp do modeli z huggingface.

Wiersz poleceń Ollama

Tak, to również interfejs użytkownika, tylko wiersz poleceń.

Aby uruchomić dla LLM llama3.1:

ollama run llama3.1

gdy skończysz, wyślij komendę do wyjścia z wiersza poleceń ollama:

/bye

cURL Ollama

Zainstaluj cUrl, jeśli jeszcze tego nie zrobiłeś

sudo apt-get install curl

Aby wywołać lokalny mistral nemo q8 llm hostowany na ollama - utwórz lokalny plik z promptem p.json:

{
  model: mistral-nemo:12b-instruct-2407-q8_0,
  prompt: What is post-modernism?,
  stream: false
}

a teraz wykonaj w terminalu bash

curl -X POST http://localhost:11434/api/generate -d @p.json > p-result.json

wynik znajdzie się w pliku p-result.json

jeśli chcesz tylko wyświetlić wynik:

curl -X POST http://localhost:11434/api/generate -d @p.json

Również:

Nie testowałem tych, ale dość kompleksowa lista interfejsów LLM:

Przydatne linki

Szybki start z Vane (Perplexica 2.0), Ollama i llama.cpp

Vane to jedna z bardziej praktycznych pozycji w przestrzeni „AI z wyszukiwaniem i cytowaniami": samodzielnie hostowana silnia odpowiedziowa, która łąży pobieranie danych z sieci w czasie rzeczywistym z lokalnymi lub chmurowymi modelami LLM, zachowując jednocześnie pełną kontrolę nad całą infrastrukturą.

Open WebUI: samowystarczalny interfejs LLM

Open WebUI to potężny, rozszerzalny i bogaty w funkcje samozostawiana aplikacja webowa do interakcji z dużymi modelami językowymi.

Interfejsy chatu dla lokalnych instancji Ollama

Lokalnie hostowane Ollama umożliwia uruchomienie dużych modeli językowych na własnym komputerze, ale korzystanie z niego za pośrednictwem wiersza poleceń nie jest przyjazne dla użytkownika. Oto kilka projektów open source, które oferują interfejsy stylu ChatGPT, łączące się z lokalnym Ollama.

Wspaniałe jedzenie to również przyjemność dla oczu. Ale w tym poście porównamy dwa systemy wyszukiwania oparte na AI: Farfalle i Perplexica.

To jest bardzo ekscytujące! Zamiast korzystać z Copilota lub perplexity.ai i informować cały świat o swoich potrzebach, możesz teraz hostować podobną usługę na własnym komputerze lub laptopie!

Jan