Diffusers ile FLUX mimari görsel üretimi: kontrol ve hız rehberi

Hugging Face Diffusers belgeleri, FLUX modellerini metinden görsel üretimi ve mevcut görselleri koşullandırarak değiştirme seçenekleriyle anlatıyor. Bu rehber, belgelerdeki ayarları mimari konsept, iç mekân atmosferi ve referans görsel üzerinden çalışma senaryolarına uyarlıyor. Belgelerde belirli bir Diffusers sürüm numarası belirtilmediğinden, aşağıdaki adımlar dokümantasyondaki FLUX örneklerine dayanıyor; kurulum sürümüne göre değişiklik olup olmadığı ayrıca kontrol edilmeli.

1. İşe uygun FLUX çeşidini seçin

FLUX ailesinde farklı görevler için ayrı modeller bulunuyor. FLUX.1-schnell, zaman adımları damıtılmış (timestep-distilled) bir model; FLUX.1-dev ise guidance-distilled çeşidi. Ayrıca Fill, Canny Control, Depth Control, Redux ve Kontext seçenekleri belgelerde listeleniyor. Başlangıçta amaç yalnızca metin tarifinden bir atmosfer görseli çıkarmaksa Schnell veya dev; belirli bir çizgi ya da derinlik düzenini takip ettirmek isteniyorsa Canny veya Depth değerlendirilebilir.

Schnell için max_sequence_length en fazla 256 olmalı ve guidance_scale değeri 0 kullanılmalı. Belgelerdeki örnek, 768 × 1360 piksel boyutunda çıktı için 4 örnekleme adımı kullanıyor. Dev çeşidinin iyi kalite üretimi için yaklaşık 50 adıma ihtiyaç duyduğu aktarılıyor; bu modelde max_sequence_length için aynı sınır bulunmuyor. Bunlar belgelerde gösterilen örnek ayarlardır; her proje için kalite ve süreyi ayrıca denemek gerekir.

2. Metin tarifinden ilk konsepti üretin

İlk denemede sahnenin temel öğelerini ve atmosferini kısa, anlaşılır biçimde tanımlayın. Örneğin mimari çalışmada mekân türü, malzeme hissi ve ışık karakteri tarifin parçası olabilir. Bunlar prompt yazımına yönelik çalışma önerileridir; Diffusers belgeleri belirli bir mimari prompt şablonu zorunlu kılmıyor.

Aşağıdaki örnek, belgelerdeki FLUX.1-schnell kullanımını temel alıyor. prompt alanındaki metin, çalışma sahnesine göre düzenlenmeli. enable_model_cpu_offload() belgedeki örnekte yer alıyor ve modeli CPU üzerinden offload etme seçeneğini kullanıyor.

import torch
from diffusers import FluxPipeline

pipe = FluxPipeline.from_pretrained(
    "black-forest-labs/FLUX.1-schnell",
    dtype=torch.bfloat16
)
pipe.enable_model_cpu_offload()

image = pipe(
    prompt="A calm contemporary interior with natural materials and soft daylight",
    guidance_scale=0.0,
    height=768,
    width=1360,
    num_inference_steps=4,
    max_sequence_length=256,
).images[0]

Bu örnekte ölçü ve adım değerleri kaynak dokümandaki Schnell örneğiyle aynıdır; prompt metni ise yalnızca örnek bir tarif olarak verilmiştir. Çıktıyı değerlendirirken yalnızca görsel beğeniye değil, mekânın temel düzeninin korunup korunmadığına da bakın. Daha fazla ayrıntı için dev modelini deneyecekseniz, yaklaşık 50 adımlık örnek üretimin daha uzun sürebileceğini hesaba katın.

3. Geometri hissini Canny veya Depth ile yönetin

Metin tarifi, mevcut bir eskizin ya da mekânsal düzenin biçimini yeterince belirgin biçimde korumuyorsa koşullandırma görseli kullanılabilir. Canny Control kenar bilgisiyle çalışır; Diffusers belgesi bu yöntemin yapısal koşulu yakından izleyecek şekilde tasarlandığını belirtiyor. Belgede Canny ön işlemi için düşük eşik 50, yüksek eşik 200 ve algılama ile görüntü çözünürlüğü için 1024 değerleri örnekleniyor. Üretim örneği de 1024 × 1024 çıktı, 50 adım ve 30,0 guidance_scale kullanıyor.

Depth Control, derinlik ön işlemcisiyle elde edilen görsel koşulunu kullanır. Belgelerdeki örnek 1024 × 1024 çıktı, 30 adım ve 10,0 guidance_scale değerlerini gösteriyor. Bir iç mekân eskizi ya da kütle çalışmasıyla deneme yaparken Canny’yi kontur düzenini, Depth’i derinlik ilişkisini öne çıkaran seçenek olarak değerlendirin. Bu yöntemler sonucu tamamen sabitleme garantisi olarak değil, üretime ek koşul sağlama yolu olarak ele alınmalı.

4. Görsel düzenleme için Fill, Redux veya Kontext’i düşünün

FLUX Fill, maske alanı içinde görsel değiştirme ve görselin dışına taşan outpainting işlemlerini destekliyor. Diffusers belgesine göre bu pipeline, standart inpainting pipeline’larındaki strength girdisini istemiyor. Bir iç mekân görselinde yalnızca belirli bir bölgeyi değiştirmek veya kadraj dışına doğru genişletmek gerektiğinde bu özellik iş akışına uygun olabilir; maske ve kaynak görselin hazırlanması yine kullanıcıya kalır.

Redux, FLUX.1 temel modelleriyle çalışan bir adapter olarak tanımlanıyor ve görselden görsele üretimde FLUX.1-dev ile FLUX.1-schnell’i destekliyor. Kontext ise mevcut görsel üzerinden düzenleme, iyileştirme, yeniden ışıklandırma ve stil aktarımı gibi kullanımlara yönelik. Kontext üretiminden sonra belgelerde bulunan integrity safety checker’ın çalıştırılması da belirtiliyor. Dolayısıyla düzenleme adımında hangi pipeline’ın kullanıldığı kadar, kontrol ve güvenlik adımlarının da iş akışına eklenmesi önemli.

5. Donanım ve tekrar üretilebilirlik planı yapın

Diffusers belgeleri FLUX’un tüketici donanımında çalıştırılmasının maliyetli olabileceğini; optimizasyonların daha hızlı veya bellek dostu çalışmaya yardımcı olabileceğini söylüyor. Nicemlemenin bellek verimliliği sağlayabileceği, ancak çıkarım gecikmesiyle ödünleşim yaratabileceği de belirtiliyor. Bu nedenle ofislerde önce hedef çözünürlük ve model çeşidiyle küçük testler yapmak, ardından donanım ve süre gereksinimini değerlendirmek daha sağlıklı olur. Belgeler belirli bir ekran kartı gereksinimi veya fiyat vermiyor.

Diffusers’ın genel görsel üretimi belgesi, torch.Generator ile seed belirlemenin aynı sonucu yeniden üretmeye yardımcı olduğunu açıklıyor. Bu özellik, bir konsept sunumunda prompt veya diğer ayarları karşılaştırırken yararlı olabilir. Ancak farklı FLUX pipeline’larının her koşulda aynı sonucu vereceğine dair bir garanti bu kaynaklarda yer almıyor.

Sık yapılan hatalar

• Schnell’de guidance_scale değerini 0 dışında kullanmak veya max_sequence_length değerini 256’nın üzerine çıkarmak.

• Schnell’in 4 adımlı örneğini dev modelinin ayarı gibi görmek; belgeler iki çeşidi ayrı gereksinimlerle açıklıyor.

• Canny ya da Depth koşul görselini kullanırken, bunun çıktıyı her ayrıntıda kesin olarak kilitleyeceğini varsaymak.

• Nicemlemeyi yalnızca bellek kazancı olarak düşünmek; belgeler gecikme ödünleşimini de açıkça belirtiyor.