Konkurrenz und Queueing in Ollama verstehen und OLLAMA_NUM_PARALLEL für stabile parallele Anfragen optimieren.
Dieser Leitfaden erklärt, wie Ollama parallele Anfragen verarbeitet (Konkurrenz, Warteschlangen und Ressourcenlimits), und wie man dies mithilfe der Umgebungsvariable OLLAMA_NUM_PARALLEL (und verwandter Einstellungen) anpassen kann.
KI-gestütztes Coden, bei dem Sie beschreiben, statt tippen.
Vibe Coding ist ein KI-gestützter Programmierungsansatz, bei dem Entwickler gewünschte Funktionalitäten in natürlicher Sprache beschreiben und KI-Tools den Code automatisch generieren – mit minimaler direkter Schreibarbeit.
Vergleich zweier deepseek-r1-Modelle mit zwei Basismodellen
DeepSeek’s erste Generation von Reasoning-Modellen mit Leistungen, die vergleichbar sind mit OpenAI-o1, einschließlich sechs dichter Modelle, die aus DeepSeek-R1 basierend auf Llama und Qwen destilliert wurden.
Aktualisierte Liste der Ollama-Befehle – ls, ps, run, serve usw.
Dieser Ollama CLI-Spickzettel konzentriert sich auf die Befehle, die Sie täglich verwenden (ollama ls, ollama serve, ollama run, ollama ps, Modellverwaltung und gängige Workflows), mit kopier- und einfügbaren Beispielen.
Nächster Testlauf der LLMs
Vor nicht allzu langer Zeit wurde veröffentlicht. Lassen Sie uns aufschließen und testen Sie, wie Mistral Small sich im Vergleich zu anderen LLMs schlägt.
Python-Code für das Reranking von RAG
Beeindruckendes neues KI-Modell zur Generierung von Bildern aus Text
Kürzlich hat Black Forest Labs eine Reihe von
text-to-image AI-Modellen veröffentlicht.
Diese Modelle sollen eine deutlich höhere Ausgabegüte haben.
Lasst uns sie ausprobieren
Vergleich zweier selbst gehosteter KI-Suchmaschinen
Hervorragendes Essen ist auch ein Genuss für die Augen. Aber in diesem Beitrag vergleichen wir zwei KI-basierte Suchsysteme, Farfalle und Perplexica.
Lokaler Betrieb eines Copilot-ähnlichen Services? Einfach!
Das ist sehr aufregend! Anstatt Copilot oder perplexity.ai zu nutzen und der ganzen Welt mitzuteilen, wonach Sie suchen, können Sie nun einen ähnlichen Dienst auf Ihrem eigenen PC oder Laptop hosten!
Testen der Erkennung logischer Fehlschlüsse
Kürzlich haben wir mehrere neue LLMs gesehen, die veröffentlicht wurden. Aufregende Zeiten. Lassen Sie uns testen und sehen, wie sie sich bei der Erkennung logischer Fehlschlüsse schlagen.
Nicht so viele zur Auswahl, aber trotzdem....
Als ich anfing, mit LLMs zu experimentieren, waren die Benutzeroberflächen für diese noch in aktiver Entwicklung und heute sind einige davon wirklich gut.
Erfordert etwas Experimentieren, aber
Es gibt dennoch einige gängige Ansätze, um gute Prompts zu formulieren, damit LLMs nicht durcheinanderkommen, wenn sie versuchen zu verstehen, was man von ihnen möchte.
8 llama3 (Meta+) und 5 phi3 (Microsoft) LLM-Versionen
Testen, wie Modelle mit unterschiedlicher Anzahl an Parametern und Quantisierung sich verhalten.
Die LLM-Modelldateien von Ollama nehmen viel Speicherplatz in Anspruch.
Nach der Installation von Ollama ist es besser, Ollama sofort so neu zu konfigurieren, dass die Modelle im neuen Speicherort abgelegt werden. So werden neue Modelle nach dem Herunterladen nicht mehr im alten Speicherort gespeichert.
Testen wir die Geschwindigkeit der LLMs auf GPU im Vergleich zu CPU
Vergleich der Vorhersagegeschwindigkeit verschiedener Versionen von LLMs: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (Open Source) auf CPU und GPU.
Lassen Sie uns die Qualität der logischen Trugschlusserkennung verschiedener LLMs testen
Vergleich mehrerer Versionen von LLMs: llama3 (Meta), phi3 (Microsoft), gemma (Google), mistral (Open Source) und qwen (Alibaba).
