Flux text-till-bild AI-modell

Nyckelfull ny AI-modell för att skapa bilder från text

Sidinnehåll

Nyligen publicerade Black Forest Labs en uppsättning text-till-bild AI-modeller. Dessa modeller sägs ha mycket högre utdata kvalitet. Låt oss prova dem

Det här är bilden som Flux kan generera på mindre än en minut. Dolores

Installation

För att installera det på din egen dator behöver du 16GB VRAM på din GPU för FLUX.1-dev och 8 GB VRAM för FLUX.1-schnell

  1. Skapa ett konto på sidan huggingface.co om du inte har det redan

  2. Titta på modellernas annons och beskrivning https://blackforestlabs.ai/announcing-black-forest-labs/

  3. Gå till sidan https://huggingface.co/black-forest-labs/FLUX.1-dev för dev och till sidan https://huggingface.co/black-forest-labs/FLUX.1-schnell för schnell

  4. Acceptera licensavtalet om du är överens

  5. Skapa Write access token på sidan https://huggingface.co/settings/tokens. Du kommer att behöva det för att dra ner modellen.

  6. Dra ner modellen. Jag drar ner dev

git clone https://huggingface.co/black-forest-labs/FLUX.1-dev
  1. Vänta

Kör det

Installera diffusers, torch och andra bra fantastiska python-bibliotek.

pip install -U diffusers torch transformers protobuf accelerate sentencepiece

Skapa en python-fil och kopiera-klistra in:

import torch
from diffusers import FluxPipeline

pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", torch_dtype=torch.bfloat16)
#spara lite VRAM genom att flytta modellen till CPU. Ta bort detta om du har tillräckligt med GPU-kraft
pipe.enable_model_cpu_offload()
pipe.enable_sequential_cpu_offload()

prompt = "En katt som håller en skylt som säger hello world"
image = pipe(
    prompt,
    height=1024,
    width=1024,
    guidance_scale=3.5,
    num_inference_steps=50,
    max_sequence_length=512,
    generator=torch.Generator("cpu").manual_seed(0)
).images[0]
image.save("flux-dev.png")

För att lära dig mer, kolla in diffusers dokumentationen

Resultatet

  1. När jag testade LLMs för Perplexica var en av frågorna jag gav till Perplexica Vad handlade den tradies-protesten i Australien den 27 augusti 2024 om? Låt oss se vilken bild Flux genererar för den mycket vaga prompten
En grupp tradie-protester stöder
deras fackförening i Melbourne

topimage

  1. Och den här:
Mänskliga rättigheter påverkas av COVID-19-pandemin

topimage

  1. Och min favorittest
En spårvagn kör genom Melbourne City på natten

topimage

Alla dessa bilder ser väldigt bra ut. Låt oss hitta fel i den sista en:

  • Det är Melbourne City. Spårvagnar och bilar måste köra på vänster sida.
  • Spårvagnens färg är inte rätt. ok det kanske är för petigt
  • Framlyktorna på spårvagnen är av röd färg?
  • Spårvagnen har ingen förare
  • Ruten är mycket konstig

Överlag tycker jag om den här modellen!

Användbara länkar