Создание архитектурных изображений с FLUX в Diffusers: контроль и скорость

Документация Hugging Face Diffusers описывает модели FLUX для генерации изображений по тексту и редактирования с использованием существующих изображений в качестве условий. В этом руководстве настройки из документации адаптированы для сценариев работы над архитектурными концептами, атмосферой интерьеров и визуализациями на основе референсов. В документации не указана конкретная версия Diffusers, поэтому приведённые ниже шаги основаны на примерах FLUX из документации; следует отдельно проверить, меняется ли что-либо в зависимости от версии установленного пакета.

1. Выберите подходящий вариант FLUX

В семействе FLUX есть отдельные модели для разных задач. FLUX.1-schnell — модель с дистилляцией временных шагов (timestep-distilled), а FLUX.1-dev — вариант с дистилляцией guidance. В документации также перечислены Fill, Canny Control, Depth Control, Redux и Kontext. Если для начала нужно получить изображение атмосферы только по текстовому описанию, можно рассмотреть Schnell или dev; если требуется следовать определённому контуру или структуре глубины — Canny или Depth.

Для Schnell значение max_sequence_length должно быть не больше 256, а guidance_scale следует установить на 0. В примере из документации для изображения размером 768 × 1360 пикселей используется 4 шага сэмплирования. Указано, что для получения хорошего качества с вариантом dev требуется около 50 шагов; для max_sequence_length у этой модели такого ограничения нет. Это примеры настроек из документации; качество и время генерации для каждого проекта нужно проверять отдельно.

2. Создайте первый концепт по текстовому описанию

При первом запуске кратко и понятно опишите основные элементы сцены и её атмосферу. Например, в архитектурной работе в описание можно включить тип пространства, ощущение от материалов и характер освещения. Это рекомендации по составлению prompt; документация Diffusers не требует использовать конкретный шаблон архитектурного prompt.

Пример ниже основан на описании использования FLUX.1-schnell в документации. Текст в поле prompt следует адаптировать под сцену. В примере из документации используется enable_model_cpu_offload(), позволяющий задействовать offload модели на CPU.

import torch
from diffusers import FluxPipeline

pipe = FluxPipeline.from_pretrained(
    "black-forest-labs/FLUX.1-schnell",
    dtype=torch.bfloat16
)
pipe.enable_model_cpu_offload()

image = pipe(
    prompt="A calm contemporary interior with natural materials and soft daylight",
    guidance_scale=0.0,
    height=768,
    width=1360,
    num_inference_steps=4,
    max_sequence_length=256,
).images[0]

Размер изображения и количество шагов в этом примере совпадают с примером Schnell из исходной документации; текст prompt приведён только в качестве образца. Оценивая результат, обращайте внимание не только на визуальную привлекательность, но и на то, сохранилась ли базовая организация пространства. Если для большей детализации вы решите попробовать модель dev, учитывайте, что генерация примерно за 50 шагов может занять больше времени.

3. Управляйте ощущением геометрии с помощью Canny или Depth

Если текстовое описание недостаточно точно сохраняет форму существующего эскиза или пространственную композицию, можно использовать изображение-условие. Canny Control работает с информацией о контурах; в документации Diffusers отмечается, что этот метод предназначен для близкого следования структурному условию. В качестве примеров настроек предварительной обработки Canny в документации приведены нижний порог 50, верхний порог 200, а также значение 1024 для обнаружения и разрешения изображения. В примере генерации используются выходное разрешение 1024 × 1024, 50 шагов и guidance_scale 30,0.

Depth Control использует изображение-условие, полученное с помощью препроцессора глубины. В примере из документации указаны выходное разрешение 1024 × 1024, 30 шагов и guidance_scale 10,0. При экспериментах с интерьерным эскизом или объёмной моделью рассматривайте Canny как способ выделить структуру контуров, а Depth — как способ подчеркнуть отношения глубины. Эти методы следует воспринимать как возможность добавить условие для генерации, а не как гарантию полной фиксации результата.

4. Рассмотрите Fill, Redux или Kontext для редактирования изображений

FLUX Fill поддерживает изменение изображения внутри области маски и outpainting за пределами исходного изображения. Согласно документации Diffusers, этому pipeline не требуется входной параметр strength, используемый в стандартных pipeline для inpainting. Эта функция может подойти для рабочих процессов, где нужно изменить только отдельную область изображения интерьера или расширить кадр; подготовка маски и исходного изображения остаётся за пользователем.

Redux описывается как adapter, работающий с базовыми моделями FLUX.1 и поддерживающий FLUX.1-dev и FLUX.1-schnell для генерации изображений на основе других изображений. Kontext предназначен для редактирования существующего изображения, улучшения, повторного освещения и переноса стиля. В документации также указано, что после генерации с Kontext следует запускать integrity safety checker. Поэтому в процессе редактирования важно учитывать не только выбранный pipeline, но и добавлять в рабочий процесс этапы контроля и проверки безопасности.

5. Спланируйте требования к оборудованию и воспроизводимость

В документации Diffusers говорится, что запуск FLUX может быть ресурсоёмким на потребительском оборудовании, а оптимизации помогают ускорить работу или снизить потребление памяти. Также отмечается, что квантование может повысить эффективность использования памяти, но при этом увеличить задержку вывода. Поэтому для работы в студии разумно сначала провести небольшие тесты с целевым разрешением и вариантом модели, а затем оценить требования к оборудованию и времени. В документации не указаны конкретные требования к видеокарте или стоимость.

В общем руководстве Diffusers по генерации изображений объясняется, что указание seed с помощью torch.Generator помогает повторно получить тот же результат. Это может пригодиться при сравнении prompt и других настроек для презентации концепта. Однако в этих источниках нет гарантии, что разные pipeline FLUX при любых условиях будут выдавать одинаковый результат.

Частые ошибки

• Использовать для Schnell значение guidance_scale, отличное от 0, или устанавливать max_sequence_length выше 256.

• Считать пример Schnell с 4 шагами настройкой для модели dev: в документации для этих вариантов указаны разные требования.

• Предполагать, что использование изображения-условия Canny или Depth гарантированно зафиксирует все детали результата.

• Рассматривать квантование только как способ сэкономить память: в документации также прямо отмечается компромисс с задержкой.