Ollama

I Large Language Models (LLM) sono potenti, ma in produzione raramente vogliamo paragrafi liberi. Invece, vogliamo dati prevedibili: attributi, fatti o oggetti strutturati che puoi alimentare in un’applicazione. Questo è l’Output Strutturato degli LLM.

Ecco che confronto quanta VRAM la nuova versione di Ollama alloca per il modello rispetto alla versione precedente di Ollama. La nuova versione è peggio.

Ollama è rapidamente diventato uno dei strumenti più popolari per eseguire LLM in locale. La sua semplice CLI e la gestione snella dei modelli lo hanno reso l’opzione preferita dagli sviluppatori che desiderano lavorare con i modelli AI al di fuori del cloud.

Locally hosted Ollama consente di eseguire modelli linguistici di grandi dimensioni sul proprio computer, ma l’utilizzo tramite riga di comando non è particolarmente utente-friendly. Ecco diversi progetti open-source che forniscono interfacce simili a ChatGPT che si connettono a un Ollama locale.

Dato che Ollama standard non dispone di una API diretta per il ricalcolo del ranking (reranking), dovrai implementare il reranking utilizzando Qwen3 Reranker in GO generando embedding per le coppie query-documento e assegnando loro un punteggio.

In questo test sto confrontando come diversi LLM ospitati su Ollama traducono una pagina Hugo dall’inglese al tedesco.

Questo piccolo esempio di codice Go per il Reranking chiama Ollama per generare gli embedding per la query e per ciascun documento candidato, ordinando poi in ordine decrescente in base alla similarità coseno.

I modelli Qwen3 Embedding e Reranker sono le ultime uscite della famiglia Qwen, progettati specificamente per compiti avanzati di incorporazione (embedding), recupero (retrieval) e riordinamento (reranking) del testo.

Come le lane PCIe influenzano le prestazioni degli LLM? Dipende dal compito. Per l’addestramento e l’inferenza multi-GPU, la riduzione delle prestazioni è significativa.

Nella libreria dei modelli Ollama ci sono modelli in grado di convertire contenuti HTML in Markdown, che è utile per compiti di conversione del contenuto. Questa guida fa parte del nostro Strumenti per la Documentazione nel 2026: Markdown, LaTeX, PDF e Flussi di Lavoro per la Stampa hub.

Elencherò qui alcuni strumenti di coding assistito da AI e Assistenti di Coding AI e i loro pregi.

Ho un’ipotesi da testare: se utilizzare TUTTI i core su un processore Intel aumenterebbe la velocità degli LLM? Mi sta infastidendo il fatto che il nuovo modello gemma3 27 bit (gemma3:27b, 17 GB su ollama) non si adatti ai 16 GB di VRAM della mia GPU, e venga eseguito parzialmente sul CPU.

Questa guida spiega come Ollama gestisce le richieste parallele (concorrenza, code di attesa e limiti delle risorse) e come ottimizzarlo utilizzando la variabile d’ambiente OLLAMA_NUM_PARALLEL (e le relative impostazioni).

DeepSeek’s prima generazione di modelli di ragionamento con prestazioni paragonabili a quelle di OpenAI-o1, inclusi sei modelli densi distillati da DeepSeek-R1 basati su Llama e Qwen.

Questo riassunto dei comandi Ollama CLI si concentra sui comandi che utilizzi ogni giorno (ollama ls, ollama serve, ollama run, ollama ps, gestione dei modelli e flussi di lavoro comuni), con esempi che puoi copiare e incollare.

Non molto tempo fa è stato rilasciato. Veniamo al punto e testiamo come si comporta Mistral Small rispetto ad altri LLM.