LLM

Il protocollo Agent2Agent di Google, solitamente abbreviato in A2A, ha avuto un primo anno strano.

Gli agenti di polling rappresentano una delle parti meno glamour dell’architettura degli assistenti AI, ma sono anche tra le più utili.

L’architettura degli agenti AI sta iniziando a dividersi in due livelli.

Il protocollo A2A, acronimo di Agent2Agent Protocol, è uno standard aperto per la comunicazione tra sistemi di agenti AI indipendenti.

Design decisions for production LLM systems — routing, cost, guardrails, and multi-model orchestration. The layer between running models and building reliable AI applications.

I modelli di linguaggio di grandi dimensioni (LLM) sono imprevedibili. Possono allucinare, perdere dati, generare contenuti dannosi o rifiutare richieste legittime. I meccanismi di controllo (guardrails) vincolano il comportamento del modello senza sacrificare le sue capacità.

Eseguire un modello con 70 miliardi di parametri per riassumere un’email di 200 parole è uno spreco. Eseguire un modello da 3 miliardi di parametri per revisionare il codice in produzione è imprudente. La maggior parte dei sistemi si colloca da qualche punto intermedio: ed è qui che entra in gioco il routing dei modelli.

I costi degli LLM scala linearmente con l’utilizzo. Un sistema che elabora 10.000 richieste al giorno a $0,01 per richiesta costa $100 al giorno — 365 dollari l’anno. Su scala enterprise, si superano i $10.000.

I sistemi single-model sono semplici. I sistemi multi-model sono potenti. La sfida non consiste nel scegliere i modelli, ma nel progettare l’architettura che li orchestra.

La memoria trasforma gli assistenti da reattivi a persistenti, ma è anche il punto in cui molti sistemi si deteriorano silenziosamente. Le ricerche sostengono che la divisione tra memoria a breve e a lungo termine non sia più sufficiente per la memoria degli agenti moderni; gli SDK di OpenAI e LangGraph indicano un’architettura più semplice — memoria di lavoro, stato duraturo e recupero.

Un assistente AI in produzione non è “un LLM con un prompt”. È un sistema che accetta l’intento, mantiene lo stato, decide quando recuperare dati o agire ed espone dettagli sufficienti del runtime per debuggare i fallimenti.

L’intelligenza artificiale non sta sostituendo la gestione della conoscenza; sta cambiando la sua forma sia per gli individui che per i team.

I framework open source per agenti AI stanno esplodendo di popolarità su GitHub. Due progetti al centro dell’ecosistema dei sistemi AI auto-ospitati — OpenClaw e Hermes Agent — hanno preso un tale vantaggio che il resto del settore si contende un lontano terzo posto.

Ho testato le prestazioni di Speculative Decoding (Multi-Token Prediction, MTP) su Qwen 3.6 27B e 35B su una RTX 4080 con 16 GB di VRAM.

Modalità router di llama.cpp è uno dei cambiamenti più utili a llama-server degli ultimi anni. Fornisce finalmente agli operatori di LLM locali un’esperienza di gestione dei modelli vicina a quella che ci si aspetta da Ollama, mantenendo al contempo le prestazioni grezze e il controllo a basso livello che rendono llama.cpp meritevole di essere utilizzato in primo luogo.

La premessa è semplice: la conoscenza compilata è più riutilizzabile dei frammenti recuperati. RAG è diventata la risposta predefinita a una domanda semplice: come fornisco a un LLM l’accesso a conoscenze esterne?