Self-Hosting

Confrontiamo i prezzi delle GPU per consumatori di alto livello, adatte in particolare per LLM e in generale per l’AI. Guardiamo specificamente a prezzi RTX 5080 e RTX 5090. Sono leggermente diminuiti.

Apache Airflow è una piattaforma open source progettata per creare, pianificare e monitorare i flussi di lavoro in modo programmabile, interamente in codice Python, offrendo un’alternativa flessibile e potente rispetto agli strumenti tradizionali, manuali o basati sull’interfaccia utente.

Poiché l’Ollama standard non dispone di un’API di reranking diretta, sarà necessario implementare reranking utilizzando Qwen3 Reranker in GO generando gli embedding per le coppie query-documento e valutandoli.

In questo test sto confrontando come diversi LLM ospitati su Ollama traducono una pagina Hugo dall’inglese al tedesco. Le tre pagine che ho testato erano su argomenti diversi, avevano un bel markdown con una certa struttura: intestazioni, elenchi, tabelle, link, ecc.

Questo piccolo Esempio di codice Go per il rirango è che chiama Ollama per generare embedding per la query e per ogni documento candidato, poi ordinando in ordine discendente per similarità coseno.

Solo tre mesi fa non vedevamo l’RTX 5090 in negozio, e ora eccola, ma i prezzi sono leggermente più alti rispetto al MRSP. Confrontiamo i prezzi più economici per l’RTX 5080 e l’RTX 5090 in Australia e vediamo come vanno le cose.

YaCy è un motore di ricerca decentralizzato, peer-to-peer (P2P) progettato per funzionare senza server centralizzati, permettendo agli utenti di creare indici locali o globali e di eseguire ricerche interrogando i pari distribuiti.

Sistema automatizzato di alto livello per un lavoro eccezionale.

I modelli Qwen3 Embedding e Reranker sono le ultime release della famiglia Qwen, specificamente progettati per compiti avanzati di embedding del testo, recupero e rirango.

Per molto tempo ho avuto questa fastidiosa necessità di mettere immagini miniature delle pagine nella cartella statica. Questo è per Mainroad, Rodster e temi Hugo simili.

Come le lane PCIe influenzano le prestazioni degli LLM? Dipende dal compito. Per l’addestramento e l’inferenza multi-GPU, la riduzione delle prestazioni è significativa.

Il passo successivo è implementare alcuni CI/CD e configurare Gitea Actions per il sito Hugo, per spostare il sito su AWS S3 automaticamente quando la branch master viene aggiornata.

Nella libreria dei modelli Ollama ci sono modelli in grado di convertire contenuti HTML in Markdown, che è utile per compiti di conversione del contenuto.

Ecco la traduzione del contenuto della pagina Hugo dallo pseudocodice in italiano, mantenendo tutte le specifiche tecniche e gli elementi Hugo originali:

Will elencare qui alcuni strumenti di coding assistiti da AI e AI Coding Assistants con i loro lati positivi.

Ho un’idea da testare: se l’utilizzo di tutti i core su un processore Intel aumenterebbe la velocità degli LLM? Mi sta infastidendo il fatto che il nuovo modello gemma3 27 bit (gemma3:27b, 17 GB su ollama) non entra nei 16 GB di VRAM della mia GPU e viene eseguito parzialmente sul CPU.