Модель ИИ Flux текст в изображение

Потрясающая новая модель ИИ для генерирования изображения на основе текста

Содержимое страницы

Недавно Black Forest Labs опубликовала набор моделей генерации изображений на основе текста. Эти модели, как утверждается, имеют значительно более высокое качество вывода. Попробуем их

Это изображение, которое может сгенерировать Flux за менее чем минуту. Dolores

Установка

Чтобы установить его на вашем собственном ПК, вам понадобится 16 ГБ видеопамяти на вашем GPU для FLUX.1-dev и 8 ГБ видеопамяти для FLUX.1-schnell

  1. Создайте аккаунт на сайте huggingface.co, если у вас его еще нет

  2. Посмотрите объявление и описание моделей https://blackforestlabs.ai/announcing-black-forest-labs/

  3. Перейдите на страницу https://huggingface.co/black-forest-labs/FLUX.1-dev для dev и на страницу https://huggingface.co/black-forest-labs/FLUX.1-schnell для schnell

  4. Примите лицензионное соглашение, если вы согласны

  5. Создайте токен для записи на странице https://huggingface.co/settings/tokens . Вам понадобится этот токен для загрузки модели.

  6. Загрузите модель. Я загружаю dev

git clone https://huggingface.co/black-forest-labs/FLUX.1-dev
  1. Подождите

Запуск

Установите diffusers, torch и другие отличные python библиотеки.

pip install -U diffusers torch transformers protobuf accelerate sentencepiece

Создайте python файл и скопируйте-вставьте:

import torch
from diffusers import FluxPipeline

pipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-dev", torch_dtype=torch.bfloat16)
#освободите немного видеопамяти, переместив модель на CPU. Уберите это, если у вас достаточно мощности GPU
pipe.enable_model_cpu_offload() 
pipe.enable_sequential_cpu_offload()

prompt = "Кот, держащий табличку с надписью hello world"
image = pipe(
    prompt,
    height=1024,
    width=1024,
    guidance_scale=3.5,
    num_inference_steps=50,
    max_sequence_length=512,
    generator=torch.Generator("cpu").manual_seed(0)
).images[0]
image.save("flux-dev.png")

Чтобы узнать больше, посетите документацию diffusers

Результат

  1. Когда я тестировал LLM для Perplexica одним из вопросов, который я задал Perplexica, был О чём был протест ремесленников в Австралии 27 августа 2024 года? Давайте посмотрим, какое изображение сгенерирует Flux для этого очень расплывчатого запроса
Группа демонстрантов-ремесленников поддерживает
свою профсоюзную организацию в Мельбурне

topimage

  1. И это:
Права человека страдают от пандемии COVID-19

topimage

  1. И мой любимый тест
Трамвай проезжает по Мельбурну ночью

topimage

Все эти изображения выглядят очень хорошо. Найдём недостатки в последнем:

  • Это Мельбурн. Трамваи и машины должны двигаться по левой стороне.
  • Цвет трамвая неправильный. Возможно, это слишком придирчиво
  • Передние фары трамвая красного цвета?
  • Трамвай не имеет водителя
  • Маршрут очень странный

В целом, мне нравится эта модель!

Полезные ссылки