Self-Hosting

Il mercato della memoria sta vivendo una volatilità dei prezzi senza precedenti alla fine del 2025, con i prezzi della RAM in forte aumento che si stanno verificando drammaticamente in tutti i segmenti.

Eseguire i modelli LLM localmente è ora pratico per sviluppatori, startup e persino team aziendali.
Ma scegliere lo strumento giusto — Ollama, vLLM, LM Studio, LocalAI o altri — dipende dagli obiettivi:

Confrontiamo i prezzi per le GPU consumer di fascia alta, in particolare quelle adatte per le LLM e per l’IA in generale. Nello specifico, sto esaminando i prezzi di RTX-5080 e RTX-5090.

La democratizzazione dell’IA è qui. Con LLM open-source come Llama, Mistral e Qwen che ora competono con i modelli proprietari, i team possono costruire potenti infrastrutture AI utilizzando hardware consumer - riducendo drasticamente i costi mantenendo il controllo totale sulla privacy dei dati e sul deployment.

Prometheus è diventato lo standard de facto per il monitoraggio delle applicazioni e dell’infrastruttura cloud-native, offrendo la raccolta di metriche, interrogazioni e integrazione con strumenti di visualizzazione.

Grafana è la piattaforma open-source leader per il monitoraggio e l’osservabilità, trasformando metriche, log e tracce in insight utili attraverso visualizzazioni straordinarie.

Kubernetes StatefulSets sono la soluzione ideale per gestire applicazioni stateful che richiedono identità stabili, archiviazione persistente e modelli di distribuzione ordinati—essenziali per database, sistemi distribuiti e strati di caching.

FLUX.1-dev è un potente modello di generazione di immagini da testo che produce risultati straordinari, ma il suo requisito di memoria di 24GB+ rende difficile il suo utilizzo su molti sistemi. Quantizzazione GGUF di FLUX.1-dev offre una soluzione, riducendo l’utilizzo della memoria del circa 50% mantenendo comunque una buona qualità delle immagini.

Configurazione delle dimensioni del contesto in Docker Model Runner è più complessa di quanto dovrebbe essere.

Black Forest Labs ha rilasciato FLUX.1-Kontext-dev, un avanzato modello AI image-to-image che migliora le immagini esistenti utilizzando istruzioni testuali.

Docker Model Runner è lo strumento ufficiale di Docker per eseguire modelli AI in locale, ma abilitare l’accelerazione GPU di NVidia in Docker Model Runner richiede una configurazione specifica.

Scegliere il giusto headless CMS può fare la differenza nel tuo piano di gestione del contenuto. Confrontiamo tre soluzioni open source che influenzano il modo in cui gli sviluppatori costruiscono applicazioni guidate dal contenuto.

Nextcloud è la piattaforma di archiviazione e collaborazione cloud open source e autoospitata leader che mette completamente sotto il tuo controllo i tuoi dati.

Immich è una soluzione rivoluzionaria, open-source e autoospitata per la gestione di foto e video che ti dà il pieno controllo sui tuoi ricordi. Con funzionalità paragonabili a quelle di Google Photos, tra cui il riconoscimento facciale alimentato dall’intelligenza artificiale, la ricerca intelligente e il backup automatico dal telefono, tutto mantenendo i tuoi dati privati e sicuri sul tuo server.

Elasticsearch è un potente motore di ricerca e analisi distribuito costruito su Apache Lucene. Questo completo riferimento rapido copre comandi essenziali, best practice e riferimenti rapidi per lavorare con i cluster Elasticsearch.

Ho trovato alcuni interessanti test sulle prestazioni di GPT-OSS 120b in esecuzione su Ollama su tre diversi piattaforme: NVIDIA DGX Spark, Mac Studio, e RTX 4080. Il modello GPT-OSS 120b dalla libreria Ollama pesa 65 GB, il che significa che non si adatta alla VRAM da 16 GB di un RTX 4080 (o al più recente RTX 5080).