LLM

L’uso degli LLM non è molto costoso, potrebbe non esserci bisogno di acquistare un nuovo GPU fantastico. Ecco un elenco se LLM provider in the cloud con gli LLM che ospitano.

Ho un’ipotesi da testare: se utilizzare TUTTI i core su un processore Intel aumenterebbe la velocità degli LLM? Mi sta infastidendo il fatto che il nuovo modello gemma3 27 bit (gemma3:27b, 17 GB su ollama) non si adatti ai 16 GB di VRAM della mia GPU, e venga eseguito parzialmente sul CPU.

Nel bel mezzo del tumulto del mondo moderno, sto qui confrontando le specifiche tecniche di diverse schede adatte ai compiti di IA (Deep Learning, Rilevamento Oggetti e LLM). Tuttavia, sono tutte incredibilmente costose.

Questa guida spiega come Ollama gestisce le richieste parallele (concorrenza, code e limiti delle risorse) e come ottimizzarla utilizzando la variabile d’ambiente OLLAMA_NUM_PARALLEL (e le relative impostazioni).

La programmazione a “vibe” è un approccio alla programmazione guidato dall’IA in cui gli sviluppatori descrivono la funzionalità desiderata in linguaggio naturale e lasciano che gli strumenti di IA generino il codice automaticamente, con una scrittura diretta minima.

DeepSeek’s prima generazione di modelli di ragionamento con prestazioni paragonabili a quelle di OpenAI-o1, inclusi sei modelli densi distillati da DeepSeek-R1 basati su Llama e Qwen.

Questo riassunto dei comandi Ollama CLI si concentra sui comandi che utilizzi ogni giorno (ollama ls, ollama serve, ollama run, ollama ps, gestione dei modelli e flussi di lavoro comuni), con esempi che puoi copiare e incollare.

Non molto tempo fa è stato rilasciato. Veniamo al punto e testiamo come si comporta Mistral Small rispetto ad altri LLM.

Reranking è un secondo passo nella Generazione Aumentata dal Recupero (RAG) sistemi, posizionato esattamente tra il Recupero e la Generazione.

Recentemente Black Forest Labs ha pubblicato un insieme di modelli AI testo-immagine.
Questi modelli si dice che abbiano una qualità di output molto superiore.
Proviamoli

Il cibo meraviglioso è un piacere anche per i tuoi occhi. Ma in questo post confronteremo due sistemi di ricerca basati sull’IA, Farfalle e Perplexica.

È davvero entusiasmante! Invece di chiamare Copilot o Perplexity.ai e rivelare al mondo intero cosa stai cercando, ora puoi ospitare un servizio simile sul tuo PC o laptop!

Quando ho iniziato a sperimentare con gli LLM, le loro interfacce utente erano in fase di sviluppo attivo e ora alcune di esse sono davvero buone.

Recentemente abbiamo visto l’uscita di diversi nuovi LLM. Tempi eccitanti. Proviamo a testarli e a vedere come si comportano nel rilevare le fallacie logiche.

Tuttavia, esistono alcuni approcci comuni per scrivere promemoria efficaci in modo che i modelli linguistici non si confondano cercando di capire cosa si desidera da essi.

Testare come si comportano i modelli con diverso numero di parametri e quantizzazione.