Comprendere la concorrenza di Ollama, il code di attesa e come calibrare OLLAMA_NUM_PARALLEL per richieste parallele stabili.
Questa guida spiega come Ollama gestisce le richieste parallele (concorrenza, code e limiti di risorse) e come configurarla utilizzando la variabile d’ambiente OLLAMA_NUM_PARALLEL (e parametri correlati).
Programmazione assistita dall'IA in cui descrivi invece di digitare.
La programmazione a “vibe” è un approccio alla programmazione guidato dall’IA in cui gli sviluppatori descrivono la funzionalità desiderata in linguaggio naturale e lasciano che gli strumenti di IA generino il codice automaticamente, con una scrittura diretta minima.
Confronto tra due modelli deepseek-r1 e due modelli base
DeepSeek’s prima generazione di modelli di ragionamento con prestazioni paragonabili a quelle di OpenAI-o1, inclusi sei modelli densi distillati da DeepSeek-R1 basati su Llama e Qwen.
Aggiornata l'elenco dei comandi di Ollama: ls, ps, run, serve, ecc.
Questa scheda rapida CLI di Ollama si concentra sui comandi che utilizzi ogni giorno (ollama ls, ollama serve, ollama run, ollama ps, gestione dei modelli e workflow comuni), con esempi che puoi copiare/incollare.
Prossima serie di test sull'LLM
Non molto tempo fa è stato rilasciato. Veniamo al punto e testiamo come si comporta Mistral Small rispetto ad altri LLM.
Un codice Python per il reranking di RAG
Nuovo modello AI affascinante per generare un'immagine da testo
Recentemente Black Forest Labs ha pubblicato un insieme di modelli AI testo-immagine.
Questi modelli si dice che abbiano una qualità di output molto superiore.
Proviamoli
Confronto tra due motori di ricerca AI self-hosted
Il cibo meraviglioso è un piacere anche per i tuoi occhi. Ma in questo post confronteremo due sistemi di ricerca basati sull’IA, Farfalle e Perplexica.
Eseguire un servizio simile a Copilot in locale? È semplice!
È davvero entusiasmante! Invece di chiamare Copilot o Perplexity.ai e rivelare al mondo intero cosa stai cercando, ora puoi ospitare un servizio simile sul tuo PC o laptop!
Non ce ne sono così tanti tra cui scegliere, ma comunque....
Quando ho iniziato a sperimentare con gli LLM, le loro interfacce utente erano in fase di sviluppo attivo e ora alcune di esse sono davvero buone.
Test della rilevazione delle fallacie logiche
Recentemente abbiamo visto l’uscita di diversi nuovi LLM. Tempi eccitanti. Proviamo a testarli e a vedere come si comportano nel rilevare le fallacie logiche.
Richiede alcuni esperimenti ma
Tuttavia, esistono alcuni approcci comuni per scrivere promemoria efficaci in modo che i modelli linguistici non si confondano cercando di capire cosa si desidera da essi.
8 versioni di llama3 (Meta+) e 5 versioni di phi3 (Microsoft) LLM
Testare come si comportano i modelli con diverso numero di parametri e quantizzazione.
I file dei modelli LLM di Ollama occupano molto spazio
Dopo aver installato Ollama, è meglio riconfigurare immediatamente Ollama per archivarli nel nuovo luogo. In questo modo, quando viene scaricato un nuovo modello, non verrà salvato nella vecchia posizione.
Verifichiamo la velocità degli LLM su GPU rispetto al CPU
Confronto della velocità di previsione di diverse versioni degli LLM (Large Language Models): llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) su CPU e GPU.
Verifichiamo la qualità del rilevamento delle fallacie logiche di diversi LLM
Ecco qui che confronto diverse versioni di LLM: Llama3 (Meta), Phi3 (Microsoft), Gemma (Google), Mistral Nemo (Mistral AI) e Qwen (Alibaba).
