Comprendi la concorrenza, la gestione delle code in Ollama e come ottimizzare OLLAMA_NUM_PARALLEL per richieste parallele stabili.
Questa guida spiega come Ollama gestisce le richieste parallele (concorrenza, code e limiti delle risorse) e come ottimizzarla utilizzando la variabile d’ambiente OLLAMA_NUM_PARALLEL (e i relativi parametri).
Prossima serie di test sull'LLM
Non molto tempo fa è stato rilasciato. Veniamo al punto e testiamo come si comporta Mistral Small rispetto ad altri LLM.
Test della rilevazione delle fallacie logiche
Recentemente abbiamo visto l’uscita di diversi nuovi LLM. Tempi eccitanti. Proviamo a testarli e a vedere come si comportano nel rilevare le fallacie logiche.
8 versioni di llama3 (Meta+) e 5 versioni di phi3 (Microsoft) LLM
Testare come si comportano i modelli con diverso numero di parametri e quantizzazione.
Verifichiamo la velocità degli LLM su GPU rispetto al CPU
Confronto della velocità di previsione di diverse versioni degli LLM (Large Language Models): llama3 (Meta/Facebook), phi3 (Microsoft), gemma (Google), mistral (open source) su CPU e GPU.
