Alcuni modi per ottenere output strutturati da Ollama
Modelli di Linguaggio su Larga Scala (LLM) sono potenti, ma in produzione raramente desideriamo paragrafi liberi. Invece, vogliamo dati prevedibili: attributi, fatti o oggetti strutturati che possiamo alimentare in un’applicazione. Questo è l’Output Strutturato degli LLM.
Il mio test della pianificazione del modello ollama
Ecco che confronto quanta VRAM la nuova versione di Ollama alloca per il modello rispetto alla versione precedente di Ollama. La nuova versione è peggio.
Stai pensando di installare una seconda GPU per le LLM?
Come le lane PCIe influenzano le prestazioni dei LLM? Dipende dal compito. Per l’addestramento e l’inferenza multi-GPU - la riduzione delle prestazioni è significativa.
Ollama su CPU Intel: efficienza vs prestazioni
Ho un’ipotesi da testare: se utilizzare TUTTI i core su un processore Intel aumenterebbe la velocità degli LLM? Mi sta infastidendo il fatto che il nuovo modello gemma3 27 bit (gemma3:27b, 17 GB su ollama) non si adatti ai 16 GB di VRAM della mia GPU, e venga eseguito parzialmente sul CPU.
L'IA richiede molta energia...
Nel bel mezzo del tumulto del mondo moderno, sto qui confrontando le specifiche tecniche di diverse schede adatte ai compiti di IA (Deep Learning, Rilevamento Oggetti e LLM). Tuttavia, sono tutte incredibilmente costose.
Comprendere la concorrenza di Ollama, il code di attesa e come calibrare OLLAMA_NUM_PARALLEL per richieste parallele stabili.
Questa guida spiega come Ollama gestisce le richieste parallele (concorrenza, code e limiti di risorse) e come configurarla utilizzando la variabile d’ambiente OLLAMA_NUM_PARALLEL (e parametri correlati).
Prossima serie di test sull'LLM
Non molto tempo fa è stato rilasciato. Veniamo al punto e testiamo come si comporta Mistral Small rispetto ad altri LLM.
Test della rilevazione delle fallacie logiche
Recentemente abbiamo visto l’uscita di diversi nuovi LLM. Tempi eccitanti. Proviamo a testarli e a vedere come si comportano nel rilevare le fallacie logiche.
8 versioni di llama3 (Meta+) e 5 versioni di phi3 (Microsoft) LLM
Testare come si comportano i modelli con diverso numero di parametri e quantizzazione.
Verifichiamo la velocità degli LLM su GPU rispetto al CPU
Confronto della velocità di previsione di diverse versioni degli LLM (Large Language Models): llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) su CPU e GPU.
