Modello AI Flux da testo a immagine

Recentemente Black Forest Labs ha pubblicato un insieme di modelli AI testo-immagine.
Questi modelli si dice che abbiano una qualità di output molto superiore.
Proviamoli

Quest’immagine è ciò che Flux può generare in meno di un minuto.

Installazione

Per installarlo sul tuo PC personale avrai bisogno di 16 GB di VRAM sulla tua GPU per FLUX.1-dev e 8 GB di VRAM per FLUX.1-schnell

1. Crea un account sul sito huggingface.co se non lo hai già
2. Guarda l’annuncio e la descrizione dei modelli https://blackforestlabs.ai/announcing-black-forest-labs/
3. Vai alla pagina https://huggingface.co/black-forest-labs/FLUX.1-dev per la versione dev
   e alla pagina https://huggingface.co/black-forest-labs/FLUX.1-schnell per la versione schnell
4. Accetta l’accordo di licenza se sei d’accordo
5. Crea un token di accesso in scrittura sulla pagina https://huggingface.co/settings/tokens. Ti servirà per scaricare il modello.
6. Scarica il modello. Sto scaricando la versione dev

git clone https://huggingface.co/black-forest-labs/FLUX.1-dev  

7. Aspetta

Esegui

Installa diffusers, torch e altre fantastiche librerie Python.

pip install -U diffusers torch transformers protobuf accelerate sentencepiece  

Crea un file Python e incolla:

import torch  
from diffusers import FluxPipeline  

pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", torch_dtype=torch.bfloat16)  
# risparmia alcuni GB di VRAM spostando il modello sulla CPU. Rimuovi questa riga se hai abbastanza potenza GPU  
pipe.enable_model_cpu_offload()  
pipe.enable_sequential_cpu_offload()  

prompt = "Un gatto che tiene un cartello che dice hello world"  
image = pipe(  
    prompt,  
    height=1024,  
    width=1024,  
    guidance_scale=3.5,  
    num_inference_steps=50,  
    max_sequence_length=512,  
    generator=torch.Generator("cpu").manual_seed(0)  
).images[0]  
image.save("flux-dev.png")  

Per saperne di più consulta la documentazione diffusers

Il risultato

1. Quando stavo testando gli LLM per Perplexica
   una delle domande che ho dato a Perplexica era Di cosa si trattava della protesta dei tradie in Australia il 27 agosto 2024?
   Vediamo cosa genera Flux per il prompt molto vago

Un gruppo di protestatori tradie supporta  
il loro sindacato a Melbourne  

2. E questa:

I diritti umani vengono influenzati dalla pandemia di COVID-19  

3. E il mio test preferito

Un tram corre attraverso la città di Melbourne di notte  

Tutte queste immagini sembrano molto buone. Cerchiamo di trovare difetti nell’ultima:

• È una città di Melbourne. I tram e le auto devono viaggiare sulla sinistra.
• Il colore del tram non è corretto. Va bene, potrebbe essere troppo pignolo
• Le luci anteriori del tram sono di colore rosso?
• Il tram non ha un conducente
• La tratta è molto strana

Complessivamente, mi piace questo modello!