Diffusers ilə FLUX memarlıq vizualları: nəzarət və sürət bələdçisi

Hugging Face Diffusers sənədlərində FLUX modelləri mətn əsasında vizual yaratmaq və mövcud vizualları şərtləndirməklə dəyişmək imkanları ilə təqdim olunur. Bu bələdçi sənədlərdəki parametrləri memarlıq konsepti, interyer atmosferi və referans vizual əsasında işləmə ssenarilərinə uyğunlaşdırır. Sənədlərdə konkret Diffusers versiyası göstərilmədiyi üçün aşağıdakı addımlar FLUX barədə sənədləşdirilmiş nümunələrə əsaslanır; quraşdırılmış versiyadan asılı olaraq fərqlərin olub-olmadığını ayrıca yoxlamaq lazımdır.

1. İşə uyğun FLUX variantını seçin

FLUX ailəsində müxtəlif tapşırıqlar üçün ayrı modellər var. FLUX.1-schnell timestep-distilled modeldir; FLUX.1-dev isə guidance-distilled variantdır. Sənədlərdə həmçinin Fill, Canny Control, Depth Control, Redux və Kontext seçimləri sadalanır. Məqsəd yalnız mətn təsvirindən atmosfer vizualı yaratmaqdırsa, Schnell və ya dev; konkret xətt və ya dərinlik quruluşunu izlətmək istəyirsinizsə, Canny və ya Depth seçimlərini nəzərdən keçirmək olar.

Schnell üçün max_sequence_length ən çox 256 olmalı, guidance_scale dəyəri isə 0 təyin edilməlidir. Sənədlərdəki nümunədə 768 × 1360 piksel ölçülü çıxış üçün 4 sampling addımından istifadə olunur. Dev variantının yaxşı keyfiyyətli nəticə verməsi üçün təxminən 50 addım tələb etdiyi bildirilir; bu modeldə max_sequence_length üçün eyni məhdudiyyət yoxdur. Bunlar sənədlərdə göstərilən nümunə parametrləridir; hər layihədə keyfiyyəti və müddəti ayrıca yoxlamaq lazımdır.

2. Mətn təsvirindən ilkin konsept yaradın

İlk sınaqda səhnənin əsas elementlərini və atmosferini qısa, anlaşıqlı şəkildə təsvir edin. Məsələn, memarlıq işində məkanın növü, materialların təəssüratı və işıq xarakteri təsvirə daxil edilə bilər. Bunlar prompt yazmaq üçün iş təklifləridir; Diffusers sənədləri konkret memarlıq prompt şablonunu məcburi etmir.

Aşağıdakı nümunə sənədlərdəki FLUX.1-schnell istifadəsinə əsaslanır. prompt sahəsindəki mətn iş səhnəsinə uyğunlaşdırılmalıdır. enable_model_cpu_offload() sənədlərdəki nümunədə yer alır və modeli CPU üzərindən offload etmək imkanından istifadə edir.

import torch
from diffusers import FluxPipeline

pipe = FluxPipeline.from_pretrained(
    "black-forest-labs/FLUX.1-schnell",
    dtype=torch.bfloat16
)
pipe.enable_model_cpu_offload()

image = pipe(
    prompt="A calm contemporary interior with natural materials and soft daylight",
    guidance_scale=0.0,
    height=768,
    width=1360,
    num_inference_steps=4,
    max_sequence_length=256,
).images[0]

Bu nümunədə ölçü və addım parametrləri mənbə sənəddəki Schnell nümunəsi ilə eynidir; prompt mətni isə sadəcə nümunə təsviridir. Nəticəni qiymətləndirərkən yalnız vizualın xoşunuza gəlib-gəlmədiyinə deyil, məkanın əsas quruluşunun qorunub-qorunmadığına da baxın. Daha çox detal əldə etmək üçün dev modelini sınayacaqsınızsa, təxminən 50 addımlıq nümunə generasiyasının daha uzun çəkə biləcəyini nəzərə alın.

3. Geometriya hissini Canny və ya Depth ilə idarə edin

Mətn təsviri mövcud eskizin və ya məkan quruluşunun formasını kifayət qədər dəqiq qoruyub saxlamırsa, şərtləndirici vizualdan istifadə etmək olar. Canny Control kənar məlumatı ilə işləyir; Diffusers sənədində bu üsulun struktur şərtini yaxından izləmək üçün nəzərdə tutulduğu bildirilir. Sənəddə Canny ilkin emalı üçün aşağı hədd 50, yuxarı hədd 200, aşkarlama və vizualın ölçüsü üçün isə 1024 dəyərləri nümunə kimi göstərilir. Generasiya nümunəsində həmçinin 1024 × 1024 çıxış, 50 addım və 30,0 guidance_scale istifadə olunur.

Depth Control dərinlik ilkin emalçısı vasitəsilə əldə edilən vizual şərtdən istifadə edir. Sənədlərdəki nümunədə 1024 × 1024 çıxış, 30 addım və 10,0 guidance_scale dəyərləri göstərilir. İnteryer eskizi və ya kütlə modeli ilə sınaq apararkən Canny-ni kontur quruluşunu, Depth-i isə dərinlik əlaqəsini önə çıxaran seçim kimi nəzərdən keçirin. Bu üsulları nəticəni tam sabitləmək zəmanəti kimi yox, generasiyaya əlavə şərt vermək yolu kimi qəbul etmək lazımdır.

4. Vizualı redaktə etmək üçün Fill, Redux və ya Kontext-i nəzərdən keçirin

FLUX Fill maskalanmış sahədə vizualı dəyişməyi və vizualın hüdudlarından kənara çıxan outpainting əməliyyatlarını dəstəkləyir. Diffusers sənədinə görə bu pipeline standart inpainting pipeline-larındakı strength parametrini tələb etmir. İnteryer vizualında yalnız müəyyən bir sahəni dəyişmək və ya kadrı genişləndirmək lazım gəldikdə bu xüsusiyyət iş axınına uyğun ola bilər; maskanın və mənbə vizualın hazırlanması yenə də istifadəçinin öhdəsindədir.

Redux FLUX.1 əsas modelləri ilə işləyən adapter kimi təqdim olunur və vizualdan-vizuala generasiyada FLUX.1-dev və FLUX.1-schnell-i dəstəkləyir. Kontext mövcud vizual üzərində redaktə, təkmilləşdirmə, yenidən işıqlandırma və üslub transferi kimi istifadələr üçün nəzərdə tutulub. Kontext generasiyasından sonra sənədlərdəki integrity safety checker-in işə salınması da qeyd olunur. Buna görə redaktə mərhələsində hansı pipeline-dan istifadə olunduğu qədər, nəzarət və təhlükəsizlik addımlarını da iş axınına daxil etmək vacibdir.

5. Avadanlıq və təkrar istehsal imkanlarını planlaşdırın

Diffusers sənədlərində FLUX-u istehlakçı avadanlığında işə salmağın baha başa gələ biləcəyi, optimallaşdırmaların isə daha sürətli və ya yaddaşa qənaətcil işləməyə kömək edə biləcəyi bildirilir. Kvantlaşdırmanın yaddaş səmərəliliyi yarada biləcəyi, bununla belə inferensiya gecikməsi ilə kompromisə səbəb ola biləcəyi də qeyd olunur. Buna görə ofislərdə əvvəlcə hədəf ölçü və model variantı ilə kiçik sınaqlar aparmaq, sonra avadanlıq və vaxt tələblərini qiymətləndirmək daha məqsədəuyğundur. Sənədlərdə konkret videokart tələbi və ya qiymət göstərilmir.

Diffusers-ın ümumi vizual generasiyası sənədində torch.Generator vasitəsilə seed təyin etməyin eyni nəticəni yenidən əldə etməyə kömək etdiyi izah olunur. Bu, konsept təqdimatında promptu və ya digər parametrləri müqayisə edərkən faydalı ola bilər. Bununla belə, bu mənbələrdə müxtəlif FLUX pipeline-larının hər şəraitdə eyni nəticəni verəcəyinə dair zəmanət yoxdur.

Tez-tez edilən səhvlər

• Schnell-də guidance_scale dəyərini 0-dan fərqli təyin etmək və ya max_sequence_length dəyərini 256-dan yuxarı qaldırmaq.

• Schnell-in 4 addımlı nümunəsini dev modelinin parametri kimi qəbul etmək; sənədlərdə bu iki variantın tələbləri ayrı izah olunur.

• Canny və ya Depth şərtləndirici vizualından istifadə edərkən nəticənin bütün detalları dəqiq şəkildə sabitləyəcəyini düşünmək.

• Kvantlaşdırmanı yalnız yaddaş qənaəti kimi görmək; sənədlərdə gecikmə kompromisi də açıq şəkildə qeyd olunur.