MTP jämfört med standarddekodning på RTX 4080 — verkliga benchmarkresultat
Jag testade prestandan för spekulativ dekodning (Multi-Token Prediction, MTP) i Qwen 3.6 27B och 35B på en RTX 4080 med 16 GB VRAM.
Sluta tolka stämningar. Validera kontrakt.
De flesta tutorials om “strukturerad utdata” från stora språkmodeller (LLM) är oseriösa. De lägger upp det som att du ska be artigt om JSON och sedan hoppas att modellen beter sig. Det är inte validering. Det är optimisme med klammermärken.
Referens för agensbaserad LLM-tuning
Denna sida är en praktisk referens för justering av agentic LLM-inferens (temperatur, top_p, top_k, strafftermer och hur de samverkar i flerstegs- och verktygstäta arbetsflöden).
Tokenhastighet för llama.cpp på 16 GB VRAM (tabeller).
Här jämför jag hastigheten hos flera LLM:s (storspråkmodeller) som körs på GPU med 16 GB VRAM, och väljer den bästa för egen hosting.
Hastighetstest för LLM på RTX 4080 med 16 GB VRAM
Att köra stora språkmodeller (LLM) lokalt ger dig integritet, offline-funktionalitet och inga API-kostnader. Denna benchmark visar exakt vad man kan förvänta sig från 14 populära LLM-modeller i Ollama på en RTX 4080.
Typsäkra LLM-utdata med BAML och Instructor
När man arbetar med stora språkmodeller (LLM) i produktionsmiljöer är det avgörande att få strukturerade, typsäkra utdata. Två populära ramverk – BAML och Instructor – tar olika tillvägagångssätt för att lösa detta problem.
GPT-OSS 120b-benchmärkningar på tre AI-plattformar
Jag hittade några intressanta prestandatest av GPT-OSS 120b som kör på Ollama över tre olika plattformar: NVIDIA DGX Spark, Mac Studio, och RTX 4080. GPT-OSS 120b-modellen från Ollama-biblioteket väger 65 GB, vilket innebär att den inte passar in i den 16 GB VRAM som finns på en RTX 4080 (eller den nyare RTX 5080).
ASIC och skräddarsydd silicium ökar hastighet och effektivitet för LLM-inferens.
Framtiden för AI handlar inte bara om smartare modeller. Det handlar också om kiselbaserad hårdvara som matchar hur dessa modeller faktiskt serveras. Specialiserad hårdvara för LLM-inferens följer en väg som påminner om Bitcoin-gruvdrifts övergång från GPU till specialbyggda ASIC, men med hårdare begränsningar eftersom modeller och precisionsschemat ständigt utvecklas.
Jämförelse av hastighet, parametrar och prestanda hos dessa två modeller
Här är en jämförelse mellan Qwen3:30b och GPT-OSS:20b med fokus på instruktionföljande och prestandaparametrar, specifikationer och hastighet.
Ingenstans särskilt fin.
Ollama’s GPT-OSS modeller har återkommande problem med att hantera strukturerad utdata, särskilt när de används med ramverk som LangChain, OpenAI SDK, vllm och andra.
Något olika API:er kräver en särskild metod.
Här är en jämförelse sida vid sida av stödet för strukturerad output (att få tillförlitlig JSON tillbaka) hos populära LLM-leverantörer, plus minimala Python-exempel
Min egen test av ollama-modellplanering
Här jämför jag hur mycket VRAM den nya versionen av Ollama allokerar för modellen hur mycket VRAM den nya versionen av Ollama allokerar för modellen med den tidigare versionen av Ollama. Den nya versionen är sämre.
Tänker du på att installera en andra GPU för LLM:er?
Hur påverkar PCIe-laner LLM-prestanda? Beroende på uppgiften. För träning och fler-GPU-inferens – prestandaförändringen är betydande.
Ollama på Intel CPU: Effektivitet vs prestandaenheter
Jag har en teori att testa – om man använder alla kärnor på Intel CPU skulle det öka hastigheten hos LLMs? Det är irriterande att den nya gemma3 27-bit model (gemma3:27b, 17GB på ollama) inte passar in i min GPU:s 16GB VRAM och delvis kör på CPU.
AI kräver mycket kraft...
I mitt håll i den moderna världens kaos här är jag jämförande tekniska specifikationer av olika kort som är lämpliga för AI uppgifter (Deep Learning, Objektidentifiering och LLM). De är alla otroligt dyra dock.
