NVIDIA

Nel settembre 2026, il fronte efficiente dei modelli open source si colloca tra i 25 e i 34 miliardi di parametri: lavoro agenziale quasi al livello di frontiera su una singola GPU da 24 GB, a una frazione dell’hardware di classe 70B.

Un modello può pubblicizzare una finestra di contesto da 128K eppure fallire a 40K token su una GPU da 16 GB. Il limite architetturale non ha mai promesso che pesi, KV cache, buffer di calcolo e il compositor desktop potessero coesistere sulla stessa scheda.

Il panorama dell’hardware per l’IA è cambiato significativamente nel 2026, con NVIDIA, AMD e Intel che competono per gli sviluppatori che necessitano di GPU in grado di eseguire localmente modelli linguistici di grandi dimensioni (LLM) e carichi di lavoro di inferenza IA.

Ho testato le prestazioni del decodifica speculativa (Multi-Token Prediction, MTP) con Qwen 3.6 27B e 35B su una RTX 4080 con 16 GB di VRAM.

Qui sto confrontando la velocità di diversi LLM eseguiti su una GPU con 16 GB di VRAM, per scegliere quello migliore per l’auto-hospitng.

L’Australia ha scorte di RTX 5090. A malapena. E se ne trovate una, pagherete un sovrapprezzo che sembra distaccato dalla realtà.

Ollama funziona egregiamente su hardware nudo (bare metal). Diventa ancora più interessante quando lo si tratta come un servizio: un endpoint stabile, versioni bloccate, archiviazione persistente e una GPU che è disponibile o non lo è.

Esecuzione locale di grandi modelli linguistici (LLM) garantisce riservatezza, funzionamento offline e zero costi di API. Questo benchmark rivela esattamente cosa ci si può aspettare da 14 popolari LLM su Ollama su una RTX 4080.

Uno degli strumenti più essenziali per gli utenti Linux è l’emulatore di terminale.

L' NVIDIA DGX Spark (GB10 Grace Blackwell) è ora disponibile in Australia nei principali rivenditori di PC con scorte locali. Se segui le prezzi e disponibilità globali del DGX Spark, sarà interessante sapere che i prezzi in Australia variano da 6.249 a 7.999 AUD a seconda della configurazione di archiviazione e del rivenditore.

Confrontiamo i prezzi per le GPU consumer di fascia alta, in particolare quelle adatte per le LLM e per l’IA in generale. Nello specifico, sto esaminando i prezzi di RTX-5080 e RTX-5090.

Embeddingi cross-modal rappresentano un passo avanti significativo nell’intelligenza artificiale, consentendo di comprendere e ragionare su diversi tipi di dati all’interno di uno spazio di rappresentazione unificato.

La democratizzazione dell’IA è qui. Con LLM open-source come Llama, Mistral e Qwen che ora competono con i modelli proprietari, i team possono costruire potenti infrastrutture AI utilizzando hardware consumer - riducendo drasticamente i costi mantenendo il controllo totale sulla privacy dei dati e sul deployment.

Configurazione delle dimensioni del contesto in Docker Model Runner è più complessa di quanto dovrebbe essere.

Black Forest Labs ha rilasciato FLUX.1-Kontext-dev, un avanzato modello AI image-to-image che migliora le immagini esistenti utilizzando istruzioni testuali.

Docker Model Runner è lo strumento ufficiale di Docker per eseguire modelli AI in locale, ma abilitare l’accelerazione GPU di NVidia in Docker Model Runner richiede una configurazione specifica.