LLM Performance

Nel settembre 2026, il fronte efficiente dei modelli open source si colloca tra i 25 e i 34 miliardi di parametri: lavoro agenziale quasi al livello di frontiera su una singola GPU da 24 GB, a una frazione dell’hardware di classe 70B.

Un modello può pubblicizzare una finestra di contesto da 128K eppure fallire a 40K token su una GPU da 16 GB. Il limite architetturale non ha mai promesso che pesi, KV cache, buffer di calcolo e il compositor desktop potessero coesistere sulla stessa scheda.

Un modello da 70B genera un token per passaggio avanti e ogni passaggio ricarica i pesi dalla VRAM, calcola l’attenzione su tutto il contesto e sincronizza la memoria. Tra un token e l’altro, la GPU resta inattiva in attesa che si risolvano le dipendenze sequenziali.

Ho testato le prestazioni del decodifica speculativa (Multi-Token Prediction, MTP) con Qwen 3.6 27B e 35B su una RTX 4080 con 16 GB di VRAM.

La maggior parte dei tutorial sull’output strutturato degli LLM è superficiale. Ti insegnano a chiedere JSON gentilmente e poi sperare che il modello si comporti correttamente. Quello non è convalida. È ottimismo con le parentesi graffe.

Questa pagina è un riferimento pratico per la regolazione dell’inferenza di LLM agentic (temperatura, top_p, top_k, penalità e come interagiscono in flussi di lavoro multi-step e intensivi nell’uso di strumenti).

Qui sto confrontando la velocità di diversi LLM eseguiti su una GPU con 16 GB di VRAM, per scegliere quello migliore per l’auto-hospitng.

A performance engineering hub for running LLMs efficiently: runtime behavior, bottlenecks, benchmarks, and the real constraints that shape throughput and latency.

Esecuzione locale di grandi modelli linguistici (LLM) garantisce riservatezza, funzionamento offline e zero costi di API. Questo benchmark rivela esattamente cosa ci si può aspettare da 14 popolari LLM su Ollama su una RTX 4080.

Quando si lavora con i Large Language Models (LLM) in produzione, ottenere output strutturati e type-safe è fondamentale. Due framework popolari - BAML e Instructor - adottano approcci diversi per risolvere questo problema.

L’ottimizzazione dei token è la competenza fondamentale che distingue le applicazioni LLM economicamente efficienti dagli esperimenti che prosciugano il budget.

Ho trovato alcuni interessanti test sulle prestazioni di GPT-OSS 120b in esecuzione su Ollama su tre diversi piattaforme: NVIDIA DGX Spark, Mac Studio, e RTX 4080. Il modello GPT-OSS 120b dalla libreria Ollama pesa 65 GB, il che significa che non si adatta alla VRAM da 16 GB di un RTX 4080 (o al più recente RTX 5080).

Il futuro dell’AI non riguarda solo modelli più intelligenti. Riguarda anche il silicio che corrisponde al modo in cui questi modelli vengono effettivamente serviti. L’hardware specializzato per l’inferenza LLM sta seguendo un percorso simile al passaggio del mining di Bitcoin dalle GPU agli ASIC appositamente progettati, sebbene con vincoli più stringenti poiché i modelli e le ricette di precisione continuano a evolversi.

Ecco un confronto tra Qwen3:30b e GPT-OSS:20b, focalizzato sul rispetto delle istruzioni, sui parametri di prestazioni, sulle specifiche e sulla velocità.

Ollama’s GPT-OSS models presentano frequenti problemi nel gestire l’output strutturato, specialmente quando vengono utilizzate con framework come LangChain, OpenAI SDK, vllm e altri.

Ecco un confronto a fianco del supporto per l’output strutturato (ottenere JSON affidabili) presso i principali provider di LLM, oltre a esempi minimi in Python