Self-Hosting

Deep Research è diventato una categoria software a sé stante, e non è più soltanto un modello indirizzato verso una casella di ricerca. Questo articolo confronta dodici sistemi self-hosted e le architetture di ricerca che li sottendono.

Ollama e llama.cpp vengono spesso confrontati come se fossero motori di inferenza rivali. La scelta reale è tra un servizio di modelli gestito e un toolkit che si opera direttamente.

Un modello può pubblicizzare una finestra di contesto da 128K eppure fallire a 40K token su una GPU da 16 GB. Il limite architetturale non ha mai promesso che pesi, KV cache, buffer di calcolo e il compositor desktop potessero coesistere sulla stessa scheda.

Ogni chiamata API sembra una semplice transazione - finché non si accumulano abbastanza da far sì che i dati di fine-tuning, gli harness di valutazione e gli schemi degli strumenti siano tutti modellati attorno a un singolo vendor, e cambiare diventi altro che una modifica al routing.

Ollama è uno dei modi più semplici per eseguire un modello linguistico locale, ma la praticità può nascondere il momento in cui un esperimento locale diventa un servizio di inferenza condiviso che richiede una migliore pianificazione e osservabilità.

Docker Compose e Podman Quadlet risolvono problemi sovrapposti ma provengono da centri di progettazione diversi, e la scelta tra i due dipende dal fatto che si pensi in termini di stack di applicazioni o di servizi Linux.

Docker Compose su un server Linux dovrebbe avviarsi all’avvio, fermarsi in modo pulito allo spegnimento e sopravvivere ai riavvii senza intervento manuale.

L’installazione di Docker su Ubuntu dovrebbe essere semplice, ma nella pratica diverse opzioni “a forma di Docker” competono per lo stesso nome comando, ognuna con packaging, comportamenti di aggiornamento e implicazioni di sicurezza diversi.

I guasti di APT sono comuni nelle macchine Ubuntu di lunga durata e di solito si manifestano dopo un aggiornamento di rilascio, una modifica di un repository di terze parti, la rimozione di un PPA, un’installazione manuale di un pacchetto .deb o un’installazione di pacchetti interrotta.

Modalità router di llama.cpp è uno dei cambiamenti più utili a llama-server degli ultimi anni. Fornisce finalmente agli operatori di LLM locali un’esperienza di gestione dei modelli vicina a quella che ci si aspetta da Ollama, mantenendo al contempo le prestazioni grezze e il controllo a basso livello che rendono llama.cpp meritevole di essere utilizzato in primo luogo.

Questa pagina è un riferimento pratico per la regolazione dell’inferenza di LLM agentic (temperatura, top_p, top_k, penalità e come interagiscono in flussi di lavoro multi-step e intensivi nell’uso di strumenti).

Hai già chiacchierato con Hermes Agent dal tuo telefono usando il testo. Ora vuoi parlarci direttamente e ricevere risposte vocali. Questa è solitamente la mossa giusta, soprattutto se utilizzi già Hermes come assistente self-hosted persistente. Digitare prompt lunghi su uno schermo piccolo è lento e soggetto a errori.

La maggior parte degli stack per agenti AI tratta ancora la sicurezza come una correzione da applicare dopo la dimostrazione. NemoClaw parte dall’assunzione opposta e rende isolamento, policy e routing le impostazioni predefinite fin dal primo giorno.

La gestione della conoscenza personale abbraccia Obsidian, Logseq, DokuWiki, Zettelkasten e PARA — la scelta giusta dipende da ciò che desideri: un grafo di note locale, un wiki self-hosted o un flusso di lavoro guidato da un outliner.

La falla silenziosa che ha alimentato un’onda di sperimentazione con gli agenti è ora chiusa.

Vane è una delle opzioni più pragmatiche nell’ambito della “ricerca AI con citazioni”: un motore di risposta self-hosted che combina il recupero live dal web con LLM locali o cloud, mantenendo l’intero stack sotto il vostro controllo.