Configurare le dimensioni del contesto in Docker Model Runner con soluzioni alternative
Configurazione delle dimensioni del contesto in Docker Model Runner è più complessa di quanto dovrebbe essere.
Modello AI per l'aumento di immagini con istruzioni testuali
Black Forest Labs ha rilasciato FLUX.1-Kontext-dev, un avanzato modello AI image-to-image che migliora le immagini esistenti utilizzando istruzioni testuali.
Abilita l'accelerazione GPU per Docker Model Runner con supporto NVIDIA CUDA
Docker Model Runner è lo strumento ufficiale di Docker per eseguire modelli AI in locale, ma abilitare l’accelerazione GPU di NVidia in Docker Model Runner richiede una configurazione specifica.
Riduci i costi degli LLM del 80% con un'ottimizzazione intelligente dei token
L’ottimizzazione dei token è l’abilità critica che distingue le applicazioni economiche degli LLM dagli esperimenti che consumano il budget.
Le tue foto sul backup alimentato da AI autoospitato
Immich è una soluzione rivoluzionaria, open-source e autoospitata per la gestione di foto e video che ti dà il pieno controllo sui tuoi ricordi. Con funzionalità paragonabili a quelle di Google Photos, tra cui il riconoscimento facciale alimentato dall’intelligenza artificiale, la ricerca intelligente e il backup automatico dal telefono, tutto mantenendo i tuoi dati privati e sicuri sul tuo server.
Benchmark GPT-OSS 120b su tre piattaforme AI
Ho trovato alcuni interessanti test sulle prestazioni di GPT-OSS 120b in esecuzione su Ollama su tre diversi piattaforme: NVIDIA DGX Spark, Mac Studio, e RTX 4080. Il modello GPT-OSS 120b dalla libreria Ollama pesa 65 GB, il che significa che non si adatta alla VRAM da 16 GB di un RTX 4080 (o al più recente RTX 5080).
Costruisci server MCP per assistenti AI con esempi in Python
Il Model Context Protocol (MCP) sta rivoluzionando il modo in cui gli assistenti AI interagiscono con le fonti di dati esterne e gli strumenti. In questa guida, esploreremo come costruire server MCP in Python, con esempi focalizzati sulle capacità di ricerca web e scraping.
Riferimento rapido per i comandi di Docker Model Runner
Docker Model Runner (DMR) è la soluzione ufficiale di Docker per eseguire modelli AI localmente, introdotta nel aprile 2025. Questo foglio di riferimento fornisce un rapido riferimento per tutti i comandi essenziali, le configurazioni e le best practice.
Confronta Docker Model Runner e Ollama per LLM locali
Running large language models (LLMs) locally ha guadagnato popolarità per la privacy, il controllo dei costi e le capacità offline. Il panorama si è notevolmente modificato nel aprile 2025 quando Docker ha introdotto Docker Model Runner (DMR), la sua soluzione ufficiale per il deployment di modelli AI.
I chip specializzati stanno rendendo l'inferenza dell'AI più veloce e economica.
Il futuro dell’AI non riguarda solo modelli più intelligenti modelli – riguarda silicio più intelligente.
L’hardware specializzato per l’inferenza LLM sta guidando una rivoluzione simile a quella del mining del Bitcoin verso i dispositivi ASIC.
Disponibilità, prezzi reali al dettaglio in sei paesi e confronto con Mac Studio.
NVIDIA DGX Spark è reale, in vendita dal 15 ottobre 2025, ed è rivolto agli sviluppatori CUDA che necessitano di lavori locali con LLM con uno stack NVIDIA AI integrato. Prezzo di listino USA $3.999; il prezzo al dettaglio nel Regno Unito/DE/JP è più alto a causa dell’IVA e dei canali di distribuzione. I prezzi pubblici AUD/KRW non sono ancora ampiamente pubblicati.
Integra Ollama con Go: guida all'SDK, esempi e best practice per la produzione.
Questo documento fornisce un’overview completa degli SDK Go per Ollama disponibili e confronta i loro set di funzionalità.
Confronto della velocità, dei parametri e delle prestazioni di questi due modelli
Ecco un confronto tra Qwen3:30b e GPT-OSS:20b che si concentra su seguito delle istruzioni e parametri di prestazione, specifiche e velocità.
Non molto bello.
Ollama’s GPT-OSS models presentano frequenti problemi nel gestire l’output strutturato, specialmente quando vengono utilizzate con framework come LangChain, OpenAI SDK, vllm e altri.
Un paio di modi per ottenere un output strutturato da Ollama
Modelli di grandi dimensioni (LLMs) sono potenti, ma in produzione raramente desideriamo paragrafi liberi. Invece, vogliamo dati prevedibili: attributi, fatti o oggetti strutturati che possiamo alimentare in un’app. Questo è LLM Structured Output.
Il mio test della pianificazione del modello ollama
Ecco che confronto quanta VRAM la nuova versione di Ollama alloca per il modello rispetto alla versione precedente di Ollama. La nuova versione è peggio.
