Cheatsheet

Questa pagina è un riferimento pratico per la regolazione dell’inferenza di LLM agentic (temperatura, top_p, top_k, penalità e come interagiscono in flussi di lavoro multi-step e intensivi nell’uso di strumenti).

Hermes Agent di Nous Research è un assistente agnostico rispetto al modello e basato su strumenti, che puoi eseguire localmente o su un VPS.

La maggior parte degli stack per agenti AI tratta ancora la sicurezza come una correzione da applicare dopo la dimostrazione. NemoClaw parte dall’assunzione opposta e rende isolamento, policy e routing le impostazioni predefinite fin dal primo giorno.

Per molto tempo, llama.cpp ha avuto una limitazione evidente:
potevi servire un solo modello per processo e il cambio richiedeva un riavvio.

I file batch e gli script shell hanno spesso bisogno di una breve pausa affinché una finestra aperta con un doppio clic o un log di installazione rimangano visibili. Windows CMD dispone di un comando dedicato, pause. I shell Unix utilizzano read.

SGLang è un framework di serving ad alte prestazioni per grandi modelli linguistici e modelli multimodali, progettato per fornire inferenza a bassa latenza e alto throughput in tutto, da una singola GPU a cluster distribuiti.

Presto ti troverai a gestire vLLM, llama.cpp e altro ancora, con ogni stack sul proprio porto. Tutto il downstream desidera comunque un URL base /v1; altrimenti continuerai a spostare porti, profili e script ad hoc. llama-swap è il proxy /v1 che precede questi stack.

OpenHands è una piattaforma open-source, agnostica rispetto al modello, per agenti di sviluppo software guidati dall’IA. Permette a un agente di comportarsi più come un partner di programmazione che come un semplice strumento di autocompletamento.

LocalAI è un server di inferenza self-hosted e local-first progettato per comportarsi come un’API OpenAI plug-and-play per eseguire carichi di lavoro di IA sull’hardware proprio (laptop, workstation o server in locale).

Torno sempre su llama.cpp per l’inferenza locale: offre un controllo che Ollama e altri astraggono, e semplicemente funziona. È facile eseguire modelli GGUF in modo interattivo con llama-cli o esporre un’API HTTP compatibile con OpenAI con llama-server.

OpenCode è un agente di coding AI open source che puoi eseguire nel terminale (TUI + CLI) con interfacce desktop e IDE opzionali. Questa è la Guida rapida OpenCode: installazione, verifica, connessione a un modello/fornitore ed esecuzione di flussi di lavoro reali (CLI + API).

Scegliere la giusta stack di automazione del browser e web scraping in Go influisce sulla velocità, sulla manutenzione e su dove esegue il codice.

Launcher per il desktop su Ubuntu 24 (e su maggior parte dei desktop Linux) sono definiti da file .desktop: piccoli file di configurazione basati su testo che descrivono un’applicazione o un collegamento.

Scegliere lo stack giusto per l’automazione del browser in Python influisce sulla velocità, sulla stabilità e sulla manutenzione. Questo riepilogo confronta Playwright vs Selenium vs Puppeteer vs LambdaTest vs ZenRows vs Gauge - con un focus su Python, notando dove Node.js o altri linguaggi si adattano.

Due forti opzioni disponibili oggi per costruire interfacce utente per il terminale sono BubbleTea (Go) e Ratatui (Rust). Una ti fornisce un framework opinato nello stile Elm; l’altra una libreria flessibile in modalità immediata.

Jumpstart the produttività del Jupyter Notebook con scorciatiere essenziali, comandi magici e suggerimenti per il flusso di lavoro che trasformeranno l’esperienza di data science e sviluppo.