AI

Ecco il confronto tra quanta VRAM la nuova versione di Ollama alloca per il modello rispetto alla versione precedente di Ollama. La nuova versione è peggio.

Ollama ha rapidamente raggiunto uno dei posti più popolari tra gli strumenti per eseguire i modelli linguistici localmente. La sua semplice CLI e la gestione semplificata dei modelli l’hanno resa un’opzione di riferimento per gli sviluppatori che desiderano lavorare con i modelli AI al di fuori del cloud. Ma, come spesso accade con molte piattaforme promettenti, ci sono già segnali di Enshittification:

Ollama ospitato localmente permette di eseguire modelli linguistici di grandi dimensioni sulla propria macchina, ma utilizzarlo tramite riga di comando non è molto user-friendly. Ecco alcuni progetti open-source che offrono interfacce stile ChatGPT che si collegano a un Ollama locale.

La lettera The Pragmatic Engineer pubblicata un paio di giorni fa presenta statistiche di un sondaggio sull’[popolarità dei linguaggi di programmazione, IDE e strumenti AI e altri dati per la metà del 2025.

Nvidia sta per rilasciare NVIDIA DGX Spark - un piccolo supercomputer AI basato sull’architettura Blackwell con 128+GB di RAM unificata e un’efficienza AI di 1 PFLOPS. Un dispositivo interessante per eseguire LLM.

Poiché l’Ollama standard non dispone di un’API di reranking diretta, sarà necessario implementare reranking utilizzando Qwen3 Reranker in GO generando gli embedding per le coppie query-documento e valutandoli.

Un freddo giorno d’inverno a luglio… che è in Australia… ho avuto un forte bisogno di addestrare un modello AI per rilevare barre di armatura in calcestruzzo non chiuse…

In questo test sto confrontando come diversi LLM ospitati su Ollama traducono una pagina Hugo dall’inglese al tedesco. Le tre pagine che ho testato erano su argomenti diversi, avevano un bel markdown con una certa struttura: intestazioni, elenchi, tabelle, link, ecc.

Questo piccolo Esempio di codice Go per il rirango è che chiama Ollama per generare embedding per la query e per ogni documento candidato, poi ordinando in ordine discendente per similarità coseno.

Come le lane PCIe influenzano le prestazioni degli LLM? Dipende dal compito. Per l’addestramento e l’inferenza multi-GPU, la riduzione delle prestazioni è significativa.

Nella libreria dei modelli Ollama ci sono modelli in grado di convertire contenuti HTML in Markdown, che è utile per compiti di conversione del contenuto.

• Cerca è ideale per recuperare rapidamente informazioni semplici e dirette utilizzando parole chiave.
• Ricerca approfondita eccelle nell’intendere il contesto e l’intento, fornendo risultati più rilevanti e completi per domande complesse.

Ecco la traduzione del contenuto della pagina Hugo dallo pseudocodice in italiano, mantenendo tutte le specifiche tecniche e gli elementi Hugo originali:

Will elencare qui alcuni strumenti di coding assistiti da AI e AI Coding Assistants con i loro lati positivi.

L’utilizzo di LLM non è molto costoso, potrebbe non esserci bisogno di acquistare un nuovo GPU eccezionale.
Ecco un elenco di fornitori di LLM in cloud con gli LLM che ospitano.

Ho un’idea da testare: se l’utilizzo di tutti i core su un processore Intel aumenterebbe la velocità degli LLM? Mi sta infastidendo il fatto che il nuovo modello gemma3 27 bit (gemma3:27b, 17 GB su ollama) non entra nei 16 GB di VRAM della mia GPU e viene eseguito parzialmente sul CPU.