Architekturvisualisierungen mit FLUX und Diffusers: Leitfaden zu Kontrolle und Geschwindigkeit

Die Hugging-Face-Diffusers-Dokumentation beschreibt FLUX-Modelle für die Text-zu-Bild-Generierung und für die Bearbeitung von Bildern anhand zusätzlicher Bedingungen. Dieser Leitfaden überträgt die dortigen Einstellungen auf Szenarien wie Architekturkonzepte, Innenraumatmosphäre und die Arbeit mit Referenzbildern. Da die Dokumentation keine konkrete Diffusers-Versionsnummer nennt, basieren die folgenden Schritte auf den FLUX-Beispielen in der Dokumentation. Prüfen Sie zusätzlich, ob es Unterschiede zu Ihrer installierten Version gibt.

1. Die passende FLUX-Variante auswählen

Zur FLUX-Familie gehören verschiedene Modelle für unterschiedliche Aufgaben. FLUX.1-schnell ist ein Modell mit distillierten Zeitschritten (timestep-distilled), FLUX.1-dev eine guidance-distilled Variante. Darüber hinaus listet die Dokumentation Fill, Canny Control, Depth Control, Redux und Kontext auf. Soll zunächst nur anhand einer Textbeschreibung eine atmosphärische Visualisierung entstehen, kommen Schnell oder dev infrage. Wenn eine bestimmte Linienführung oder Tiefenstruktur berücksichtigt werden soll, bieten sich Canny oder Depth an.

Für Schnell muss max_sequence_length höchstens 256 betragen und guidance_scale auf 0 gesetzt werden. Das Dokumentationsbeispiel verwendet für eine Ausgabe mit 768 × 1360 Pixeln 4 Sampling-Schritte. Für eine gute Bildqualität mit der dev-Variante sind laut Dokumentation ungefähr 50 Schritte erforderlich; für max_sequence_length gilt dort nicht dieselbe Obergrenze. Dies sind die in der Dokumentation gezeigten Beispielwerte. Qualität und Laufzeit sollten für jedes Projekt separat getestet werden.

2. Ein erstes Konzept aus einer Textbeschreibung erzeugen

Beschreiben Sie für den ersten Versuch die wichtigsten Elemente und die gewünschte Atmosphäre der Szene kurz und verständlich. Bei einer Architekturvisualisierung können beispielsweise die Art des Raums, die Materialwirkung und der Charakter des Lichts Teil der Beschreibung sein. Das sind Empfehlungen für die Prompt-Erstellung; die Diffusers-Dokumentation schreibt keine bestimmte Vorlage für Architektur-Prompts vor.

Das folgende Beispiel basiert auf der FLUX.1-schnell-Anwendung aus der Dokumentation. Passen Sie den Text im Feld prompt an die gewünschte Szene an. enable_model_cpu_offload() wird im Dokumentationsbeispiel verwendet und lagert das Modell über die CPU aus.

import torch
from diffusers import FluxPipeline

pipe = FluxPipeline.from_pretrained(
    "black-forest-labs/FLUX.1-schnell",
    dtype=torch.bfloat16
)
pipe.enable_model_cpu_offload()

image = pipe(
    prompt="A calm contemporary interior with natural materials and soft daylight",
    guidance_scale=0.0,
    height=768,
    width=1360,
    num_inference_steps=4,
    max_sequence_length=256,
).images[0]

Die Größen- und Schrittwerte in diesem Beispiel entsprechen dem Schnell-Beispiel in der Quelldokumentation. Der Prompt ist lediglich eine beispielhafte Beschreibung. Beurteilen Sie die Ausgabe nicht nur nach dem visuellen Eindruck, sondern auch danach, ob die grundlegende Raumaufteilung erhalten bleibt. Wenn Sie für mehr Details das dev-Modell ausprobieren, sollten Sie berücksichtigen, dass eine Generierung mit etwa 50 Schritten länger dauern kann.

3. Den Geometrieeindruck mit Canny oder Depth steuern

Wenn die Textbeschreibung die Form einer vorhandenen Skizze oder räumlichen Anordnung nicht ausreichend erhält, können Sie ein Bild als zusätzliche Bedingung verwenden. Canny Control arbeitet mit Kanteninformationen. Laut Diffusers-Dokumentation ist die Methode darauf ausgelegt, der strukturellen Vorgabe eng zu folgen. Für die Canny-Vorverarbeitung nennt die Dokumentation als Beispiel eine niedrige Schwelle von 50, eine hohe Schwelle von 200 sowie den Wert 1024 für die Erkennung und die Bildauflösung. Das Generierungsbeispiel verwendet außerdem eine Ausgabe mit 1024 × 1024 Pixeln, 50 Schritte und einen guidance_scale-Wert von 30,0.

Depth Control nutzt eine Bildbedingung, die mit einem Tiefen-Präprozessor erzeugt wurde. Das Dokumentationsbeispiel zeigt eine Ausgabe mit 1024 × 1024 Pixeln, 30 Schritte und einen guidance_scale-Wert von 10,0. Bei Tests mit einer Innenraumskizze oder einem Massenmodell können Sie Canny nutzen, um die Konturführung hervorzuheben, und Depth, um Tiefenbeziehungen einzubeziehen. Diese Methoden sollten als zusätzliche Bedingungen für die Generierung verstanden werden, nicht als Garantie für ein vollständig festgelegtes Ergebnis.

4. Für die Bildbearbeitung Fill, Redux oder Kontext in Betracht ziehen

FLUX Fill unterstützt Änderungen innerhalb einer Maskenfläche sowie Outpainting über die Bildgrenzen hinaus. Laut Diffusers-Dokumentation benötigt diese Pipeline nicht die Eingabe strength, die bei standardmäßigen Inpainting-Pipelines verwendet wird. Wenn in einer Innenraumvisualisierung nur ein bestimmter Bereich geändert oder der Bildausschnitt nach außen erweitert werden soll, kann sich die Funktion für den Arbeitsablauf eignen. Die Maske und das Ausgangsbild müssen weiterhin von den Anwenderinnen und Anwendern vorbereitet werden.

Redux wird als Adapter beschrieben, der mit den FLUX.1-Basismodellen arbeitet und für die Bild-zu-Bild-Generierung FLUX.1-dev und FLUX.1-schnell unterstützt. Kontext ist unter anderem für die Bearbeitung bestehender Bilder, deren Verfeinerung, eine neue Beleuchtung und Stilübertragungen gedacht. Nach der Generierung mit Kontext soll laut Dokumentation außerdem der Integrity Safety Checker ausgeführt werden. Im Bearbeitungsschritt kommt es daher nicht nur auf die verwendete Pipeline an: Auch Kontroll- und Sicherheitsmaßnahmen sollten Teil des Arbeitsablaufs sein.

5. Hardware und Reproduzierbarkeit einplanen

Die Diffusers-Dokumentation weist darauf hin, dass FLUX auf Consumer-Hardware ressourcenintensiv sein kann und Optimierungen zu einer schnelleren oder speicherschonenderen Ausführung beitragen können. Quantisierung kann die Speichereffizienz verbessern, laut Dokumentation jedoch zu einem Kompromiss bei der Inferenzlatenz führen. Daher empfiehlt es sich, in Büros zunächst mit der gewünschten Auflösung und Modellvariante kleine Tests durchzuführen und anschließend den Hardware- und Zeitbedarf einzuschätzen. Die Dokumentation nennt keine konkreten Anforderungen an Grafikkarten oder Preise.

Die allgemeine Dokumentation zur Bildgenerierung mit Diffusers erklärt, dass sich mit torch.Generator ein Seed festlegen lässt, um dasselbe Ergebnis erneut zu erzeugen. Das kann hilfreich sein, wenn Sie bei einer Konzeptpräsentation Prompts oder andere Einstellungen vergleichen. Die Quellen garantieren jedoch nicht, dass unterschiedliche FLUX-Pipelines unter allen Bedingungen dasselbe Ergebnis liefern.

Häufige Fehler

• Bei Schnell guidance_scale auf einen anderen Wert als 0 setzen oder max_sequence_length über 256 erhöhen.

• Das 4-Schritte-Beispiel für Schnell als Einstellung für das dev-Modell behandeln. Die Dokumentation beschreibt für die beiden Varianten unterschiedliche Anforderungen.

• Annehmen, dass Canny- oder Depth-Bedingungen das Ergebnis in allen Details verbindlich festlegen.

• Quantisierung nur als Möglichkeit zum Speichergewinn betrachten. Die Dokumentation weist ausdrücklich auch auf den Kompromiss bei der Latenz hin.