Mehrere Möglichkeiten, strukturierte Ausgaben von Ollama zu erhalten
Große Sprachmodelle (LLMs) sind leistungsfähig, aber in der Produktion wollen wir selten freie Textabsätze. Stattdessen wünschen wir uns vorhersehbare Daten: Attribute, Fakten oder strukturierte Objekte, die wir in eine App einfließen lassen können. Dafür gibt es Strukturierte Ausgabe von LLMs.
Meine eigene Testung der ollama-Modellplanung
Hier vergleiche ich, wie viel VRAM die neue Version von Ollama für das Modell allokiert wie viel VRAM neue Version von Ollama für das Modell allokiert
im Vergleich zur vorherigen Ollama-Version. Die neue Version ist schlechter.
Überlegen Sie, eine zweite GPU für LLMs zu installieren?
Wie PCIe-Lanes die LLM-Performance beeinflussen? Das hängt von der Aufgabe ab. Beim Training und bei der Multi-GPU-Inferenz ist der Leistungseinbuße erheblich.
Ollama auf Intel CPU: Effiziente vs. Leistungscores
Ich habe eine Theorie, die ich testen möchte – wenn man alle Kerne eines Intel-Prozessors nutzt, würde das die Geschwindigkeit von LLMs erhöhen? Test: Wie Ollama die Leistung des Intel-Prozessors und der effizienten Kerne nutzt
Es nervt mich, dass das neue Gemma3-Modell mit 27 Bit (gemma3:27b, 17 GB auf Ollama) nicht in die 16 GB VRAM meines GPUs passt und teilweise auf dem CPU läuft.
KI erfordert viel Strom ...
Inmitten des Chaos der modernen Welt vergleiche ich hier die technischen Spezifikationen verschiedener Grafikkarten für KI-Aufgaben (Deep Learning, Objekterkennung und LLMs). Sie sind alle jedoch unglaublich teuer.
Konkurrenz und Queueing in Ollama verstehen und OLLAMA_NUM_PARALLEL für stabile parallele Anfragen optimieren.
Dieser Leitfaden erklärt, wie Ollama parallele Anfragen verarbeitet (Konkurrenz, Warteschlangen und Ressourcenlimits), und wie man dies mithilfe der Umgebungsvariable OLLAMA_NUM_PARALLEL (und verwandter Einstellungen) anpassen kann.
Nächster Testlauf der LLMs
Vor nicht allzu langer Zeit wurde veröffentlicht. Lassen Sie uns aufschließen und testen Sie, wie Mistral Small sich im Vergleich zu anderen LLMs schlägt.
Testen der Erkennung logischer Fehlschlüsse
Kürzlich haben wir mehrere neue LLMs gesehen, die veröffentlicht wurden. Aufregende Zeiten. Lassen Sie uns testen und sehen, wie sie sich bei der Erkennung logischer Fehlschlüsse schlagen.
8 llama3 (Meta+) und 5 phi3 (Microsoft) LLM-Versionen
Testen, wie Modelle mit unterschiedlicher Anzahl an Parametern und Quantisierung sich verhalten.
Testen wir die Geschwindigkeit der LLMs auf GPU im Vergleich zu CPU
Vergleich der Vorhersagegeschwindigkeit verschiedener Versionen von LLMs: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (Open Source) auf CPU und GPU.
