Son xəbərlər
Blender Geometry Nodes Raycast Node ilə səth və toqquşma məlumatı əldə edinAfter Night There Is Nothing: Şarjada üç günbəzli instalyasiyaArchicad 29-da Graphic Override Rules: Qaydaların yaradılması üzrə təlimatGemma 4 ilə memarlıq vizuallarının təhlili: Python-da quraşdırma və tətbiqBlender Bevel Modifier ilə idarəolunan və dağıdıcı olmayan kənar pahı yaradınSketchUp performansını artırmaq: Yüngül modelləmə və CAD idxalı bələdçisiAPS Design Automation ilə Revit plaginini buludda işlətmək bələdçisiRevit API Agent Skill necə yaradılır? dll2llm bələdçisiRevit-də Global Parameters və Parameters Service: Praktik bələdçi3ds Max-də MAXScript öyrənmə bələdçisi: skriptin açılması və işlədilməsi
TəlimlərMariGemma

Gemma 4 ilə memarlıq vizuallarının təhlili: Python-da quraşdırma və tətbiq

Gemma 3 və sonrakı modellər vizualları təhlil etmək, səhnələri təsvir etmək, mətnləri tanımaq və obyektləri tapmaq kimi tapşırıqlar üçün istifadə oluna bilər. Bu bələdçi Gemma 4-ü Python və Transformers ilə memarlıq vizualları üzərində sınamaq üçün əsas addımları izah edir.

Memarlıq komandası masasının üzərində müqayisə edilən iki interyer vizuallaşdırmasıSüni intellekt şəkli
Təmsili şəkil, süni intellektlə yaradılıb.Şəkil: 3dsınıfı / FCA AI

Qısaca

  1. Gemma 3 və sonrakı modellər vizual məzmunun təhlili üçün istifadə oluna bilər.
  2. Gemma 4 nümunəsində Transformers kitabxanasının image-text-to-text pipeline-ından istifadə edilir.
  3. Bələdçidə səhnə təsviri, bir neçə vizualın qiymətləndirilməsi, OCR və obyekt aşkarlanması nəzərdən keçirilir.
  4. Gemma 4-də vizual token büdcəsini 70, 140, 280, 560 və ya 1120 olaraq seçmək mümkündür.

Bu bələdçidə nə öyrənəcəksiniz?

Gemma-nın vizual anlama imkanlarından memarlıq vizualını təsvir etdirməkdən daha geniş tapşırıqlar üçün istifadə etmək mümkündür. Google-ın bələdçisində qeyd olunur ki, Gemma 3 və sonrakı modellər vizuallardakı məzmunu təsvir edə, obyektləri tanıya, səhnələri təsnif edə və vizual kontekst haqqında nəticə çıxara bilir. Bələdçidə həmçinin bir neçə vizualı eyni sorğuda nəzərdən keçirmək, vizualdakı yazıları tanımaq (OCR) və obyektlər üçün sərhəd qutularının koordinatlarını yaratmaq nümunələri verilir.

Bu tətbiq memarlıq və interyer komandalarının layihə vizuallarını ilkin mərhələdə təsvir etməsinə, onları konkret suallar əsasında nəzərdən keçirməsinə və ya vizualdakı elementləri siyahıya almasına yönəlib. Modelin nəticəsini dizayn qərarı və ya ölçüləri dəqiq göstərən texniki sənədləşmə kimi deyil, yoxlanmalı təhlil yardımı kimi qiymətləndirmək lazımdır: mənbə dəqiqlik zəmanəti və ya memarlıq ölçmələri üçün dəqiqlik vəd etmir.

Tələblər

Rəsmi bələdçidəki nümunədə Python paketlərini quraşdırmaq üçün PyTorch və accelerate ilə birlikdə Transformers kitabxanasından istifadə olunur. Sənəddə Transformers üçün 5.10.1 və ya daha yeni versiya tələb olunur. Model identifikatoru nümunəsi google/gemma-4-E2B-it-dir; vizual və mətn girişləri üçün image-text-to-text tapşırığı ilə pipeline qurulur.

python
pip install torch accelerate
pip install 'transformers>=5.10.1'

Quraşdırma və yerli işlətmə üçün tələb olunan avadanlıq təfərrüatları bu bələdçidə göstərilmir. Buna görə istifadə etdiyiniz kompüterin tələblərə uyğunluğunu işə salma mühitində ayrıca yoxlamaq lazımdır. Nümunədə device_map='auto' və dtype='auto' istifadə olunur; bunlar bələdçidə göstərilən pipeline konfiqurasiyasının hissələridir.

Tətbiq addımları

1. Model pipeline-ını qurun

Aşağıdakı nümunədə MODEL_ID bələdçidə verilən model identifikatoruna uyğunlaşdırılır. Pipeline vizual və mətn ehtiva edən istifadəçi mesajlarını emal etmək üçün qurulur.

python
MODEL_ID = 'google/gemma-4-E2B-it'
from transformers import pipeline
vqa_pipe = pipeline(
    task='image-text-to-text',
    model=MODEL_ID,
    device_map='auto',
    dtype='auto'
)

2. Layihə vizualı haqqında sual verin

Mənbədəki nümunə vizualı URL vasitəsilə götürür və mesajın məzmununda vizualı mətnlə birlikdə göndərir. Öz işinizdə img_url dəyərini təhlil ediləcək vizuala keçid verən ünvanla əvəz edin. Aşağıdakı sorğu mənbədə göstərilən vizual barədə sualvermə üsulunun memarlıq təhlilinə uyğunlaşdırılmış variantıdır.

Prompt
Bu memarlıq vizualında görünən məkanı qərəzsiz şəkildə təsvir et. Aydın seçilən konstruktiv elementləri, səthləri, açılışları, işıqlandırma şəraitini və kadra düşən obyektləri ayrı-ayrılıqda qeyd et. Vizualla təsdiqlənməyən ölçüləri və ya materialları təxmin etmə.

Bu sorğu modeldən vizualı mətnlə təsvir etməyi istəyir və qeyri-müəyyən məqamları dəqiq məlumat kimi təqdim etməməsini də açıq şəkildə bildirir. Hazırlanan təsviri layihə çertyojları və material məlumatları ilə müqayisə edin.

python
from transformers import GenerationConfig
config = GenerationConfig.from_pretrained(MODEL_ID)
config.max_new_tokens = 512
gen_kwargs = dict(generation_config=config)
img_url = 'ANALIZ_EDILECEK_GORSELIN_URL_ADRESI'
messages = [
    {
        'role': 'user',
        'content': [
            {'type': 'image', 'url': img_url},
            {'type': 'text', 'text': 'Bu görselde görünen mekânı ve belirgin tasarım unsurlarını tarif et.'}
        ]
    }
]
output = vqa_pipe(messages, return_full_text=False, generate_kwargs=gen_kwargs)
print(output[0]['generated_text'])

Mənbədəki nümunədə max_new_tokens parametri 512 olaraq təyin edilib. Burada da nümunə konfiqurasiyasına uyğun olaraq həmin dəyərdən istifadə olunur; fərqli çıxış uzunluğu üçün mənbədə qeyd olunmayan performans və ya keyfiyyət nəticəsi güman edilməməlidir.

3. İki vizualı birlikdə qiymətləndirin

Gemma bələdçisində eyni sorğuda bir neçə vizual təqdim etmək və onlara ümumi mətn təlimatı vermək mümkün olduğu göstərilir. Bu yanaşma, məsələn, eyni interyerin iki fərqli bucaqdan çəkilmiş görüntüsünü şərh etdirmək və ya iki alternativ vizualın görünən xüsusiyyətlərini ayrı-ayrılıqda ümumiləşdirmək üçün sınana bilər. Modelin hər detalı düzgün uyğunlaşdırdığı güman edilməməlidir.

Prompt
İki vizualı ayrı-ayrılıqda nəzərdən keçir. Hər birində görünən məkan xüsusiyyətlərini və mebel düzülüşünü ayrıca başlıq altında ümumiləşdir. Yalnız vizuallarda aydın seçilən ortaq və fərqli elementləri qeyd et; baxış bucağı və ya kadr fərqini dizayn dəyişikliyi kimi yozma.

İki vizualı mesaj siyahısına ayrı image məzmunları kimi əlavə edin, sonra təlimatı text məzmunu ilə göndərin. Bələdçidəki nümunə eyni mesajda birdən çox vizual məzmunun istifadə oluna bildiyini göstərir; buradakı memarlıq sorğusu isə bu yazı üçün hazırlanmış yeni tətbiq nümunəsidir.

4. Vizualdakı yazıları oxuyun

Mənbədə OCR nümunəsi ilə modellərin vizuallardakı çoxdilli mətnləri tanıya bildiyi göstərilir. Bu xüsusiyyət vizualdakı istiqamət göstəricilərini, lövhədə görünən etiketi və ya interyer fotosundakı yazını mətn kimi nəzərdən keçirmək üçün sınana bilər. Bununla belə, mənbədə konkret dəqiqlik göstəricisi verilmir.

Prompt
Vizualda oxuna bilən bütün yazıları, yerləşdikləri yeri qısaca göstərməklə köçür. Əmin olmadığın simvolları təxmin etməkdənsə, oxunmaz kimi qeyd et. Vizualla yazı yoxdursa, bunu bildir.

Vizualdakı mətndən istifadə edərkən hərfləri və rəqəmlərin kontekstini orijinal vizualla yoxlayın. Xüsusilə lövhədəki xırda yazılarda və aşağı təsvir ölçülü ekran görüntülərində modelin nəticəsini birbaşa təhvil sənədinə köçürmək əvəzinə, əl ilə yoxlama aparın.

5. Obyekt aşkarlanması və təsvir ölçüsü seçimi

Bələdçidəki obyekt aşkarlanması nümunəsində tapılan obyektlər etiketləri və 1000 × 1000 toruna əsasən normallaşdırılmış koordinatları ilə göstərilir. Bu koordinatların real vizual ölçüsünə uyğunlaşdırılmalı olduğu qeyd olunur. Buna görə nəticədəki koordinatları birbaşa piksel mövqeyi kimi qəbul etməyin; mənbədəki nümunədə də koordinatlar vizualın eni və hündürlüyünə görə miqyaslandırılır.

Gemma 4 modelləri dəyişən təsvir ölçüsünü dəstəkləyir. Vizual token büdcəsini 70, 140, 280, 560 və ya 1120 olaraq seçmək mümkündür. Sənəddə daha yüksək büdcənin vizual detalların daha çoxunu qoruduğu, aşağı büdcənin isə daha az patch emal etməklə çıxarış sürətini artıra bildiyi izah olunur. Bu, sürətlə vizual detal arasında seçimdir; mənbədə hər layihə vizualı üçün vahid ideal dəyər göstərilmir. Obyekt aşkarlanması kimi detallı tapşırıqlarda daha yüksək büdcəni nəzərdən keçirin və nəticələri müxtəlif büdcələrdə yoxlayın.

Tez-tez rast gəlinən xətalar

Koordinatları piksel kimi yozmaq: Bələdçiyə görə, obyekt aşkarlanmasında qaytarılan qutu koordinatları 1000 × 1000 miqyasına əsasən normallaşdırılır. Vizualın real eni və hündürlüyündən istifadə edərək miqyaslama aparmadan qutular düzgün mövqedə çəkilməyə bilər.

Vizualla görünməyən məlumatları dəqiqləşdirmək: Səthin materialı, məkanın ölçüsü və ya görünməyən elementin funksiyası görüntüdən həmişə müəyyən edilə bilməz. Sorğuda modeldən yalnız seçilə bilən elementləri istəmək və nəticəni layihə məlumatları ilə yoxlamaq daha təhlükəsiz iş vərdişidir.

Bir neçə vizualda bucaq fərqini nəzərdən qaçırmaq: İki görüntü eyni məkanı fərqli bucaqlardan göstərə bilər. Müqayisə sorğusunda hər vizualın ayrıca nəzərdən keçirilməsini və kadr fərqinin dizayn dəyişikliyi sayılmamasını açıq şəkildə bildirin.

Token büdcəsini nəzərə almamaq: Vizualın təsvir ölçüsü və token büdcəsi emal olunan vizual detalların miqdarına təsir edir. Detal tələb edən aşkarlama tapşırıqlarını daha aşağı büdcə ilə qiymətləndirmək xırda elementlərin nəzərdən qaçmasına səbəb ola bilər; yüksək büdcənin isə daha çox patch emal etdiyini və sürətlə detal arasında tarazlıq yaratdığını nəzərə alın.

Növbəti addımlar: memarlıq və vizuallaşdırma iş axınında istifadə

Memarlıq ofisləri, interyer dizaynerləri və archviz komandaları bu üsulu vizual arxivinin ilkin nəzərdən keçirilməsi, səhnə təsviri, iki alternativin görünən fərqlərinin qeyd edilməsi və ya vizualdakı yazıların yoxlanması kimi köməkçi işlərdə sınaya bilərlər. Tələbələr də istinad vizualını təsvir etdirib sonra bu təsviri öz müşahidələri ilə müqayisə etməklə faydalı məşq edə bilərlər. Bunlar sənədləşdirilmiş vizual anlama və çoxsaylı vizual emalı imkanlarının mümkün istifadə formalarıdır; mənbədə qeyd olunan xüsusi memarlıq məhsulu xüsusiyyəti deyil.

Növbəti sınağa bir sualla başlayın, sorğunu layihənin məqsədinə uyğun məhdudlaşdırın və nəticəni vizualla birlikdə yoxlayın. Obyekt aşkarlanması tələb olunursa, koordinatların miqyasını düzgün yozun; detal səviyyəsinə təsir edən token büdcəsini də ayrıca qiymətləndirin. Bələdçidə modelin lisenziya xərci, konkret avadanlıq tələbi və ya memarlıq proqramları ilə uyğunluğu barədə məlumat verilmir. Bu mövzularda qərar verməzdən əvvəl istifadə ediləcək paylama və iş mühitinin şərtləri ayrıca araşdırılmalıdır.

Mənbə və lisenziya

Bu bələdçi Google-ın Gemma vizual anlama sənədlərindəki nümunələr əsasında Azərbaycan dilinə uyğunlaşdırılıb. Mənbə CC BY 4.0 lisenziyası ilə təqdim olunur. Memarlıq sorğusu nümunələri bu yazı üçün orijinal olaraq hazırlanıb.

Mənbələr

1 mənbə
A(
ai.google.dev (CC BY 4.0)ai.google.dev/gemma/docs/capabilities/vision/image
Xülasə

Mənbə mətnləri yenidən dərc edilmir; qısa sitatlar işarələnir, qalanı bizim xülasə və şərhimizdir.

3dsınıfı rəyi
3dRedaktorun qiymətləndirməsi

Türkiyədəki ofislər və tələbələr Gemma-nın vizual anlama imkanlarını layihə vizuallarını tez təsvir etdirmək və istinad materiallarını sistemli şəkildə nəzərdən keçirmək kimi ilkin işlərdə sınaya bilərlər. Xüsusilə çoxsaylı vizualları ilkin mərhələdə nəzərdən keçirən komandalar nəticəni dizayn qərarı deyil, yoxlanmalı qeyd kimi istifadə etməlidirlər.

Tətbiqə başlamazdan əvvəl iş mühitinin avadanlıq tələblərini və lisenziya şərtlərini ayrıca yoxlamaq vacibdir; mənbədə bunlar barədə dəqiq məlumat verilmir. Token büdcəsi də sürətlə detal arasında seçim tələb edir. Memarlıq proqramları ilə birbaşa uyğunluq güman edilməməli, OCR nəticələri və obyekt koordinatları real vizuallar üzərində yoxlanmalıdır.

Tez-tez verilən suallar

Gemma 4 vizualları təhlil edə bilərmi?

Google-ın bələdçisində Gemma 3 və sonrakı modellərin vizual məzmunu təsvir etmək, obyektləri tanımaq, səhnələri anlamaq və vizual kontekstdən nəticə çıxarmaq üçün istifadə oluna bildiyi qeyd olunur.

Gemma 4 ilə eyni sorğuda birdən çox vizual emal etmək mümkündürmü?

Bəli. Bələdçidə bir neçə vizualın tək mesaj məzmununda təqdim edilə və ümumi mətn təlimatı ilə emal oluna bildiyi göstərilir.

Gemma 4-də vizual token büdcəsi üçün hansı seçimlər var?

Bələdçidə 70, 140, 280, 560 və 1120 token büdcələri sadalanır. Daha yüksək büdcə vizual detalların daha çoxunun qorunmasına, aşağı büdcə isə daha az patch emal edilməsinə imkan verir.

Şərhlər və forum türkcədir.Müzakirəyə qoşulun
+

Əlaqəli xəbərlər