Hardware

Docker Model Runner è lo strumento ufficiale di Docker per eseguire modelli AI localmente, ma abilitare l’accelerazione GPU di NVidia in Docker Model Runner richiede una configurazione specifica.

Ho trovato alcuni interessanti test di prestazioni su GPT-OSS 120b in esecuzione su Ollama su tre diversi piattaforme: NVIDIA DGX Spark, Mac Studio e RTX 4080. Il modello GPT-OSS 120b della libreria Ollama pesa 65 GB, il che significa che non si adatta alla VRAM da 16 GB di un RTX 4080 (o al più recente RTX 5080).

Docker Model Runner (DMR) è la soluzione ufficiale di Docker per eseguire modelli AI localmente, introdotta ad aprile 2025. Questa guida rapida fornisce un riferimento veloce per tutti i comandi essenziali, le configurazioni e le best practice.

Nel panorama attuale dell’informatica, la virtualizzazione è diventata essenziale per lo sviluppo, i test e l’esecuzione di diversi sistemi operativi. Per gli utenti Linux che cercano un modo semplice e intuitivo per gestire le macchine virtuali, GNOME Boxes si distingue come un’opzione leggera e user-friendly che privilegia l’usabilità senza sacrificare le funzionalità.

Il futuro dell’AI non riguarda solo modelli più intelligenti modelli — riguarda il silicio più intelligente.

L’hardware specializzato per l’inferenza LLM sta guidando una rivoluzione simile a quella del mining del Bitcoin verso gli ASIC.

NVIDIA DGX Spark è reale, in vendita il 15 ottobre 2025, e rivolto agli sviluppatori CUDA che necessitano di lavori locali su LLM con un NVIDIA AI stack integrato. Prezzo MSRP USA $3.999; il prezzo al dettaglio in UK/DE/JP è più alto a causa dell’IVA e dei canali. I prezzi indicativi pubblici in AUD/KRW non sono ancora ampiamente disponibili.

Ancora e ancora confrontiamo i prezzi delle GPU per consumatori di alto livello, che sono particolarmente adatte per LLM e in generale per l’AI. Specificamente sto guardando a prezzi RTX-5080 e RTX-5090. Hanno subito un lieve calo.

Applicazioni per il monitoraggio del carico della GPU:
nvidia-smi vs nvtop vs nvitop vs KDE plasma systemmonitor.

Nvidia sta per rilasciare NVIDIA DGX Spark - un piccolo supercomputer AI basato sull’architettura Blackwell con 128+GB di RAM unificata e un’efficienza AI di 1 PFLOPS. Un dispositivo interessante per eseguire LLM.

Confrontiamo i prezzi delle GPU per consumatori di alto livello, adatte in particolare per LLM e in generale per l’AI. Guardiamo specificamente a prezzi RTX 5080 e RTX 5090. Sono leggermente diminuiti.

Solo tre mesi fa non vedevamo l’RTX 5090 in negozio, e ora eccola, ma i prezzi sono leggermente più alti rispetto al MRSP. Confrontiamo i prezzi più economici per l’RTX 5080 e l’RTX 5090 in Australia e vediamo come vanno le cose.

Sistema automatizzato di alto livello per un lavoro eccezionale.

Come le lane PCIe influenzano le prestazioni degli LLM? Dipende dal compito. Per l’addestramento e l’inferenza multi-GPU, la riduzione delle prestazioni è significativa.

Sono stato colpito duramente da questo problema. Ma dovresti investigare e testare il tuo PC se il tuo BSOD è simile al mio.
La causa è Il problema di degradazione del processore di Intel nelle generazioni 13ª e 14ª.

Ho un’idea da testare: se l’utilizzo di tutti i core su un processore Intel aumenterebbe la velocità degli LLM? Mi sta infastidendo il fatto che il nuovo modello gemma3 27 bit (gemma3:27b, 17 GB su ollama) non entra nei 16 GB di VRAM della mia GPU e viene eseguito parzialmente sul CPU.