Generación de imágenes arquitectónicas con FLUX y Diffusers: guía de control y velocidad

La documentación de Hugging Face Diffusers presenta los modelos FLUX para generar imágenes a partir de texto y modificar imágenes existentes mediante condiciones. Esta guía adapta los ajustes documentados a casos de uso como conceptos arquitectónicos, atmósferas de interiores y trabajo a partir de imágenes de referencia. Como la documentación no especifica un número de versión de Diffusers, los pasos siguientes se basan en los ejemplos de FLUX incluidos en ella; conviene comprobar si hay diferencias según la versión instalada.

1. Elige la variante de FLUX adecuada para tu tarea

La familia FLUX incluye distintos modelos para diferentes tareas. FLUX.1-schnell es un modelo destilado por pasos de tiempo (timestep-distilled), mientras que FLUX.1-dev es una variante destilada con guidance. La documentación también enumera Fill, Canny Control, Depth Control, Redux y Kontext. Si el objetivo inicial es crear una imagen de atmósfera a partir de una descripción de texto, puedes probar Schnell o dev; si quieres seguir una línea o una distribución de profundidad concretas, puedes considerar Canny o Depth.

Para Schnell, max_sequence_length debe ser como máximo 256 y se debe usar un valor de guidance_scale de 0. El ejemplo de la documentación utiliza 4 pasos de muestreo para generar una imagen de 768 × 1360 píxeles. Se indica que dev necesita alrededor de 50 pasos para generar imágenes de buena calidad; esta variante no tiene el mismo límite para max_sequence_length. Son ajustes de ejemplo que aparecen en la documentación; conviene probar por separado la calidad y el tiempo para cada proyecto.

2. Genera un primer concepto a partir de texto

En el primer intento, describe de forma breve y clara los elementos principales de la escena y su atmósfera. En un proyecto arquitectónico, la descripción puede incluir el tipo de espacio, la sensación de los materiales y las características de la luz. Son sugerencias prácticas para redactar prompts; la documentación de Diffusers no exige una plantilla específica para prompts arquitectónicos.

El siguiente ejemplo se basa en el uso de FLUX.1-schnell que aparece en la documentación. El texto del campo prompt debe adaptarse a la escena de trabajo. enable_model_cpu_offload() aparece en el ejemplo documentado y permite usar la opción de offload del modelo a la CPU.

import torch
from diffusers import FluxPipeline

pipe = FluxPipeline.from_pretrained(
    "black-forest-labs/FLUX.1-schnell",
    dtype=torch.bfloat16
)
pipe.enable_model_cpu_offload()

image = pipe(
    prompt="A calm contemporary interior with natural materials and soft daylight",
    guidance_scale=0.0,
    height=768,
    width=1360,
    num_inference_steps=4,
    max_sequence_length=256,
).images[0]

En este ejemplo, las dimensiones y el número de pasos coinciden con el ejemplo de Schnell de la documentación original; el texto del prompt se incluye únicamente a modo ilustrativo. Al evaluar el resultado, no te fijes solo en la calidad visual: comprueba también si se conserva la distribución básica del espacio. Si quieres probar el modelo dev para obtener más detalle, ten en cuenta que una generación de unos 50 pasos puede tardar más.

3. Controla la percepción de la geometría con Canny o Depth

Si el prompt no conserva con suficiente precisión la forma de un boceto o una distribución espacial existentes, puedes utilizar una imagen de condicionamiento. Canny Control trabaja con información de bordes; la documentación de Diffusers indica que está diseñado para seguir de cerca la condición estructural. Como ejemplo para el preprocesamiento Canny, la documentación muestra un umbral bajo de 50, uno alto de 200 y valores de 1024 para la detección y la resolución de imagen. El ejemplo de generación utiliza una salida de 1024 × 1024, 50 pasos y un guidance_scale de 30,0.

Depth Control utiliza una condición visual obtenida mediante un preprocesador de profundidad. El ejemplo de la documentación muestra una salida de 1024 × 1024, 30 pasos y un guidance_scale de 10,0. Si haces pruebas con un boceto de interior o un estudio de volúmenes, considera Canny como una opción que prioriza la disposición de los contornos y Depth como una que prioriza las relaciones de profundidad. Estos métodos deben entenderse como una forma de añadir condiciones a la generación, no como una garantía de que el resultado quede completamente fijado.

4. Considera Fill, Redux o Kontext para editar imágenes

FLUX Fill admite la modificación de imágenes dentro del área de una máscara y el outpainting, que amplía la imagen más allá de sus límites. Según la documentación de Diffusers, este pipeline no requiere la entrada strength que se utiliza en los pipelines de inpainting estándar. Esta función puede ser adecuada para un flujo de trabajo en el que haya que cambiar solo una zona de una imagen de interior o ampliar el encuadre; la preparación de la máscara y de la imagen de origen sigue siendo responsabilidad del usuario.

Redux se describe como un adaptador que funciona con los modelos base FLUX.1 y admite FLUX.1-dev y FLUX.1-schnell para la generación de imagen a imagen. Kontext está pensado para usos como editar una imagen existente, mejorarla, volver a iluminarla y transferir estilos. La documentación también indica que se debe ejecutar el comprobador de seguridad integrity safety checker disponible después de generar con Kontext. Por tanto, en la etapa de edición es importante incorporar al flujo de trabajo tanto los controles como las medidas de seguridad, además de elegir el pipeline adecuado.

5. Planifica el hardware y la reproducibilidad

La documentación de Diffusers indica que ejecutar FLUX puede ser costoso en hardware de consumo y que las optimizaciones pueden ayudar a conseguir un funcionamiento más rápido o eficiente en memoria. También señala que la cuantización puede mejorar la eficiencia de memoria, aunque puede implicar un compromiso en la latencia de inferencia. Por eso, para las oficinas es más prudente empezar con pruebas pequeñas usando la resolución y la variante de modelo previstas y, después, evaluar los requisitos de hardware y tiempo. La documentación no especifica requisitos de tarjeta gráfica ni precios.

La documentación general de generación de imágenes de Diffusers explica que establecer una seed con torch.Generator ayuda a reproducir el mismo resultado. Esto puede resultar útil para comparar prompts u otros ajustes en una presentación de conceptos. Sin embargo, las fuentes no garantizan que distintos pipelines de FLUX vayan a producir siempre el mismo resultado.

Errores frecuentes

• Usar en Schnell un valor de guidance_scale distinto de 0 o superar 256 en max_sequence_length.

• Tratar el ejemplo de 4 pasos de Schnell como si fueran los ajustes del modelo dev; la documentación explica que las dos variantes tienen requisitos distintos.

• Suponer que al usar una imagen de condicionamiento Canny o Depth el resultado quedará fijado con total precisión en cada detalle.

• Considerar la cuantización únicamente como una forma de ahorrar memoria; la documentación también señala explícitamente el compromiso en latencia.