Hardware

Nvidia sta per rilasciare NVIDIA DGX Spark - un piccolo supercomputer AI basato sull’architettura Blackwell con 128+GB di RAM unificata e un’efficienza AI di 1 PFLOPS. Un dispositivo interessante per eseguire LLM.

Confrontiamo i prezzi delle GPU per consumatori di alto livello, che sono particolarmente adatte per i modelli LLM e in generale per l’AI. Guarda specificamente a prezzi RTX 5080 e RTX 5090. Sono leggermente diminuiti.

Solo tre mesi fa non vedevamo l’RTX 5090 in negozio, e ora eccola, ma i prezzi sono leggermente più alti rispetto al MRSP. Confrontiamo i prezzi più economici per l’RTX 5080 e l’RTX 5090 in Australia e vediamo come vanno le cose.

Sistema automatizzato di alto livello per un lavoro eccezionale.

Come le lane PCIe influenzano le prestazioni degli LLM? Dipende dal compito. Per l’addestramento e l’inferenza multi-GPU, la riduzione delle prestazioni è significativa.

Sono stato colpito duramente da questo problema. Ma dovresti investigare e testare il tuo PC se il tuo BSOD è simile al mio.
La causa è Il problema di degradazione del processore di Intel nelle generazioni 13ª e 14ª.

Ho un’idea da testare: se l’utilizzo di tutti i core su un processore Intel aumenterebbe la velocità degli LLM? Mi sta infastidendo il fatto che il nuovo modello gemma3 27 bit (gemma3:27b, 17 GB su ollama) non entra nei 16 GB di VRAM della mia GPU e viene eseguito parzialmente sul CPU.

Nel mezzo del caos del mondo moderno qui sto confrontando le specifiche tecniche di diverse schede adatte a AI compiti (Deep Learning, Object Detection e LLMs). Sono tutte incredibilmente costose però.

Quando il server Ollama riceve due richieste contemporaneamente, il suo comportamento dipende dalla sua configurazione e dalle risorse del sistema disponibili.

L’installazione dell’ET-8500 su Windows è ben documentata nelle istruzioni. L’installazione del driver Linux ET-8500 è semplice ma non banale.

Confronto della velocità di previsione di diverse versioni di LLM: llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) su CPU e GPU.