Self-Hosting Cognee: Test delle Prestazioni del LLM
Test di Cognee con LLM locali - risultati reali
Cognee è un framework Python per costruire grafi di conoscenza da documenti utilizzando LLM. Ma funziona con modelli autohostati?
Test di Cognee con LLM locali - risultati reali
Cognee è un framework Python per costruire grafi di conoscenza da documenti utilizzando LLM. Ma funziona con modelli autohostati?
Riflessioni sui modelli LLM per Cognee autoospitati
Scegliere il miglior LLM per Cognee richiede un equilibrio tra la qualità della costruzione dei grafici, i tassi di allucinazione e le limitazioni hardware. Cognee eccelle con modelli più grandi e a bassa allucinazione (32B+) tramite Ollama, ma le opzioni di dimensioni intermedie funzionano per le configurazioni più leggere.
Costruisci agenti di ricerca AI con Python e Ollama
La libreria Python di Ollama ora include funzionalità native di ricerca web OLLama. Con poche righe di codice, puoi arricchire i tuoi LLM locali con informazioni in tempo reale dal web, riducendo le illusioni e migliorando l’accuratezza.
Scegli il database vettoriale giusto per il tuo stack RAG
Scegliere il giusto archivio vettoriale può fare la differenza tra il successo e il fallimento delle prestazioni, dei costi e della scalabilità dell’applicazione RAG. Questo confronto completo copre le opzioni più popolari del 2024-2025.
Costruisci agenti di ricerca AI con Go e Ollama
L’API di ricerca web di Ollama ti permette di integrare LLM locali con informazioni in tempo reale dal web. Questa guida ti mostra come implementare le capacità di ricerca web in Go, dal semplice utilizzo dell’API alle funzionalità complete degli agenti di ricerca.
Mastri deployment locale LLM con 12+ strumenti confrontati
Deployimento locale di LLMs è diventato sempre più popolare mentre sviluppatori e organizzazioni cercano una maggiore privacy, una ridotta latenza e un maggiore controllo sulla propria infrastruttura AI.
Distribuisci l'AI aziendale su hardware a basso costo con modelli open source
La democratizzazione dell’AI è arrivata. Con modelli open source come Llama 3, Mixtral e Qwen che ora competono con i modelli proprietari, i team possono costruire potenti infrastrutture AI utilizzando hardware consumer - riducendo i costi mentre mantengono il pieno controllo sulla privacy dei dati e sull’implementazione.
LongRAG, Self-RAG, GraphRAG - Tecniche di ultima generazione
Generazione Rafforzata con Recupero (RAG) ha evoluto molto al di là della semplice ricerca per similarità vettoriale. LongRAG, Self-RAG e GraphRAG rappresentano l’avanguardia di queste capacità.
Riduci i costi degli LLM del 80% con un'ottimizzazione intelligente dei token
L’ottimizzazione dei token è l’abilità critica che distingue le applicazioni economiche degli LLM dagli esperimenti che consumano il budget.
Python per convertire HTML in Markdown pulito e pronto per l'LLM
Conversione da HTML a Markdown è un compito fondamentale nei flussi di lavoro moderni di sviluppo, in particolare quando si prepara il contenuto web per i Large Language Models (LLMs), i sistemi di documentazione o i generatori di siti statici come Hugo.
Integra Ollama con Go: guida all'SDK, esempi e migliori pratiche per la produzione.
Questo documento fornisce un overview completo dei disponibili Go SDKs per Ollama e confronta i loro set di funzionalità.
Confronto della velocità, dei parametri e delle prestazioni di questi due modelli
Ecco un confronto tra Qwen3:30b e GPT-OSS:20b
che si concentra su seguire le istruzioni e sulle prestazioni, specifiche e velocità:
+ Esempi Specifici Utilizzando LLMs Pensanti
In questo post, esploreremo due modi per connettere la tua applicazione Python a Ollama: 1. Attraverso HTTP REST API; 2. Attraverso la libreria ufficiale Python di Ollama.
API leggermente diverse richiedono un approccio speciale.
Ecco un confronto a fianco a fianco del supporto per output strutturato (ottenere un JSON affidabile) tra i principali fornitori di LLM, più esempi minimi in Python
Un paio di modi per ottenere un output strutturato da Ollama
Modelli di grandi dimensioni (LLMs) sono potenti, ma in produzione raramente desideriamo paragrafi liberi. Invece, vogliamo dati prevedibili: attributi, fatti o oggetti strutturati che possiamo alimentare in un’app. Questo è LLM Structured Output.
L'implementazione di RAG? Ecco alcuni frammenti di codice in Go - 2...
Poiché l’Ollama standard non dispone di un’API di reranking diretta, sarà necessario implementare reranking utilizzando Qwen3 Reranker in GO generando gli embedding per le coppie query-documento e valutandoli.