Qısaca
- Gemma 3 və sonrakı modellər vizual məzmunun təhlili üçün istifadə oluna bilər.
- Gemma 4 nümunəsində Transformers kitabxanasının image-text-to-text pipeline-ından istifadə edilir.
- Bələdçidə səhnə təsviri, bir neçə vizualın qiymətləndirilməsi, OCR və obyekt aşkarlanması nəzərdən keçirilir.
- Gemma 4-də vizual token büdcəsini 70, 140, 280, 560 və ya 1120 olaraq seçmək mümkündür.
Bu bələdçidə nə öyrənəcəksiniz?
Gemma-nın vizual anlama imkanlarından memarlıq vizualını təsvir etdirməkdən daha geniş tapşırıqlar üçün istifadə etmək mümkündür. Google-ın bələdçisində qeyd olunur ki, Gemma 3 və sonrakı modellər vizuallardakı məzmunu təsvir edə, obyektləri tanıya, səhnələri təsnif edə və vizual kontekst haqqında nəticə çıxara bilir. Bələdçidə həmçinin bir neçə vizualı eyni sorğuda nəzərdən keçirmək, vizualdakı yazıları tanımaq (OCR) və obyektlər üçün sərhəd qutularının koordinatlarını yaratmaq nümunələri verilir.
Bu tətbiq memarlıq və interyer komandalarının layihə vizuallarını ilkin mərhələdə təsvir etməsinə, onları konkret suallar əsasında nəzərdən keçirməsinə və ya vizualdakı elementləri siyahıya almasına yönəlib. Modelin nəticəsini dizayn qərarı və ya ölçüləri dəqiq göstərən texniki sənədləşmə kimi deyil, yoxlanmalı təhlil yardımı kimi qiymətləndirmək lazımdır: mənbə dəqiqlik zəmanəti və ya memarlıq ölçmələri üçün dəqiqlik vəd etmir.
Tələblər
Rəsmi bələdçidəki nümunədə Python paketlərini quraşdırmaq üçün PyTorch və accelerate ilə birlikdə Transformers kitabxanasından istifadə olunur. Sənəddə Transformers üçün 5.10.1 və ya daha yeni versiya tələb olunur. Model identifikatoru nümunəsi google/gemma-4-E2B-it-dir; vizual və mətn girişləri üçün image-text-to-text tapşırığı ilə pipeline qurulur.
pip install torch accelerate
pip install 'transformers>=5.10.1'Quraşdırma və yerli işlətmə üçün tələb olunan avadanlıq təfərrüatları bu bələdçidə göstərilmir. Buna görə istifadə etdiyiniz kompüterin tələblərə uyğunluğunu işə salma mühitində ayrıca yoxlamaq lazımdır. Nümunədə device_map='auto' və dtype='auto' istifadə olunur; bunlar bələdçidə göstərilən pipeline konfiqurasiyasının hissələridir.
Tətbiq addımları
1. Model pipeline-ını qurun
Aşağıdakı nümunədə MODEL_ID bələdçidə verilən model identifikatoruna uyğunlaşdırılır. Pipeline vizual və mətn ehtiva edən istifadəçi mesajlarını emal etmək üçün qurulur.
MODEL_ID = 'google/gemma-4-E2B-it'
from transformers import pipeline
vqa_pipe = pipeline(
task='image-text-to-text',
model=MODEL_ID,
device_map='auto',
dtype='auto'
)2. Layihə vizualı haqqında sual verin
Mənbədəki nümunə vizualı URL vasitəsilə götürür və mesajın məzmununda vizualı mətnlə birlikdə göndərir. Öz işinizdə img_url dəyərini təhlil ediləcək vizuala keçid verən ünvanla əvəz edin. Aşağıdakı sorğu mənbədə göstərilən vizual barədə sualvermə üsulunun memarlıq təhlilinə uyğunlaşdırılmış variantıdır.
Bu memarlıq vizualında görünən məkanı qərəzsiz şəkildə təsvir et. Aydın seçilən konstruktiv elementləri, səthləri, açılışları, işıqlandırma şəraitini və kadra düşən obyektləri ayrı-ayrılıqda qeyd et. Vizualla təsdiqlənməyən ölçüləri və ya materialları təxmin etmə.Bu sorğu modeldən vizualı mətnlə təsvir etməyi istəyir və qeyri-müəyyən məqamları dəqiq məlumat kimi təqdim etməməsini də açıq şəkildə bildirir. Hazırlanan təsviri layihə çertyojları və material məlumatları ilə müqayisə edin.
from transformers import GenerationConfig
config = GenerationConfig.from_pretrained(MODEL_ID)
config.max_new_tokens = 512
gen_kwargs = dict(generation_config=config)
img_url = 'ANALIZ_EDILECEK_GORSELIN_URL_ADRESI'
messages = [
{
'role': 'user',
'content': [
{'type': 'image', 'url': img_url},
{'type': 'text', 'text': 'Bu görselde görünen mekânı ve belirgin tasarım unsurlarını tarif et.'}
]
}
]
output = vqa_pipe(messages, return_full_text=False, generate_kwargs=gen_kwargs)
print(output[0]['generated_text'])Mənbədəki nümunədə max_new_tokens parametri 512 olaraq təyin edilib. Burada da nümunə konfiqurasiyasına uyğun olaraq həmin dəyərdən istifadə olunur; fərqli çıxış uzunluğu üçün mənbədə qeyd olunmayan performans və ya keyfiyyət nəticəsi güman edilməməlidir.
3. İki vizualı birlikdə qiymətləndirin
Gemma bələdçisində eyni sorğuda bir neçə vizual təqdim etmək və onlara ümumi mətn təlimatı vermək mümkün olduğu göstərilir. Bu yanaşma, məsələn, eyni interyerin iki fərqli bucaqdan çəkilmiş görüntüsünü şərh etdirmək və ya iki alternativ vizualın görünən xüsusiyyətlərini ayrı-ayrılıqda ümumiləşdirmək üçün sınana bilər. Modelin hər detalı düzgün uyğunlaşdırdığı güman edilməməlidir.
İki vizualı ayrı-ayrılıqda nəzərdən keçir. Hər birində görünən məkan xüsusiyyətlərini və mebel düzülüşünü ayrıca başlıq altında ümumiləşdir. Yalnız vizuallarda aydın seçilən ortaq və fərqli elementləri qeyd et; baxış bucağı və ya kadr fərqini dizayn dəyişikliyi kimi yozma.İki vizualı mesaj siyahısına ayrı image məzmunları kimi əlavə edin, sonra təlimatı text məzmunu ilə göndərin. Bələdçidəki nümunə eyni mesajda birdən çox vizual məzmunun istifadə oluna bildiyini göstərir; buradakı memarlıq sorğusu isə bu yazı üçün hazırlanmış yeni tətbiq nümunəsidir.
4. Vizualdakı yazıları oxuyun
Mənbədə OCR nümunəsi ilə modellərin vizuallardakı çoxdilli mətnləri tanıya bildiyi göstərilir. Bu xüsusiyyət vizualdakı istiqamət göstəricilərini, lövhədə görünən etiketi və ya interyer fotosundakı yazını mətn kimi nəzərdən keçirmək üçün sınana bilər. Bununla belə, mənbədə konkret dəqiqlik göstəricisi verilmir.
Vizualda oxuna bilən bütün yazıları, yerləşdikləri yeri qısaca göstərməklə köçür. Əmin olmadığın simvolları təxmin etməkdənsə, oxunmaz kimi qeyd et. Vizualla yazı yoxdursa, bunu bildir.Vizualdakı mətndən istifadə edərkən hərfləri və rəqəmlərin kontekstini orijinal vizualla yoxlayın. Xüsusilə lövhədəki xırda yazılarda və aşağı təsvir ölçülü ekran görüntülərində modelin nəticəsini birbaşa təhvil sənədinə köçürmək əvəzinə, əl ilə yoxlama aparın.
5. Obyekt aşkarlanması və təsvir ölçüsü seçimi
Bələdçidəki obyekt aşkarlanması nümunəsində tapılan obyektlər etiketləri və 1000 × 1000 toruna əsasən normallaşdırılmış koordinatları ilə göstərilir. Bu koordinatların real vizual ölçüsünə uyğunlaşdırılmalı olduğu qeyd olunur. Buna görə nəticədəki koordinatları birbaşa piksel mövqeyi kimi qəbul etməyin; mənbədəki nümunədə də koordinatlar vizualın eni və hündürlüyünə görə miqyaslandırılır.
Gemma 4 modelləri dəyişən təsvir ölçüsünü dəstəkləyir. Vizual token büdcəsini 70, 140, 280, 560 və ya 1120 olaraq seçmək mümkündür. Sənəddə daha yüksək büdcənin vizual detalların daha çoxunu qoruduğu, aşağı büdcənin isə daha az patch emal etməklə çıxarış sürətini artıra bildiyi izah olunur. Bu, sürətlə vizual detal arasında seçimdir; mənbədə hər layihə vizualı üçün vahid ideal dəyər göstərilmir. Obyekt aşkarlanması kimi detallı tapşırıqlarda daha yüksək büdcəni nəzərdən keçirin və nəticələri müxtəlif büdcələrdə yoxlayın.
Tez-tez rast gəlinən xətalar
Koordinatları piksel kimi yozmaq: Bələdçiyə görə, obyekt aşkarlanmasında qaytarılan qutu koordinatları 1000 × 1000 miqyasına əsasən normallaşdırılır. Vizualın real eni və hündürlüyündən istifadə edərək miqyaslama aparmadan qutular düzgün mövqedə çəkilməyə bilər.
Vizualla görünməyən məlumatları dəqiqləşdirmək: Səthin materialı, məkanın ölçüsü və ya görünməyən elementin funksiyası görüntüdən həmişə müəyyən edilə bilməz. Sorğuda modeldən yalnız seçilə bilən elementləri istəmək və nəticəni layihə məlumatları ilə yoxlamaq daha təhlükəsiz iş vərdişidir.
Bir neçə vizualda bucaq fərqini nəzərdən qaçırmaq: İki görüntü eyni məkanı fərqli bucaqlardan göstərə bilər. Müqayisə sorğusunda hər vizualın ayrıca nəzərdən keçirilməsini və kadr fərqinin dizayn dəyişikliyi sayılmamasını açıq şəkildə bildirin.
Token büdcəsini nəzərə almamaq: Vizualın təsvir ölçüsü və token büdcəsi emal olunan vizual detalların miqdarına təsir edir. Detal tələb edən aşkarlama tapşırıqlarını daha aşağı büdcə ilə qiymətləndirmək xırda elementlərin nəzərdən qaçmasına səbəb ola bilər; yüksək büdcənin isə daha çox patch emal etdiyini və sürətlə detal arasında tarazlıq yaratdığını nəzərə alın.
Növbəti addımlar: memarlıq və vizuallaşdırma iş axınında istifadə
Memarlıq ofisləri, interyer dizaynerləri və archviz komandaları bu üsulu vizual arxivinin ilkin nəzərdən keçirilməsi, səhnə təsviri, iki alternativin görünən fərqlərinin qeyd edilməsi və ya vizualdakı yazıların yoxlanması kimi köməkçi işlərdə sınaya bilərlər. Tələbələr də istinad vizualını təsvir etdirib sonra bu təsviri öz müşahidələri ilə müqayisə etməklə faydalı məşq edə bilərlər. Bunlar sənədləşdirilmiş vizual anlama və çoxsaylı vizual emalı imkanlarının mümkün istifadə formalarıdır; mənbədə qeyd olunan xüsusi memarlıq məhsulu xüsusiyyəti deyil.
Növbəti sınağa bir sualla başlayın, sorğunu layihənin məqsədinə uyğun məhdudlaşdırın və nəticəni vizualla birlikdə yoxlayın. Obyekt aşkarlanması tələb olunursa, koordinatların miqyasını düzgün yozun; detal səviyyəsinə təsir edən token büdcəsini də ayrıca qiymətləndirin. Bələdçidə modelin lisenziya xərci, konkret avadanlıq tələbi və ya memarlıq proqramları ilə uyğunluğu barədə məlumat verilmir. Bu mövzularda qərar verməzdən əvvəl istifadə ediləcək paylama və iş mühitinin şərtləri ayrıca araşdırılmalıdır.
Mənbə və lisenziya
Bu bələdçi Google-ın Gemma vizual anlama sənədlərindəki nümunələr əsasında Azərbaycan dilinə uyğunlaşdırılıb. Mənbə CC BY 4.0 lisenziyası ilə təqdim olunur. Memarlıq sorğusu nümunələri bu yazı üçün orijinal olaraq hazırlanıb.
Mənbələr
1 mənbəMənbə mətnləri yenidən dərc edilmir; qısa sitatlar işarələnir, qalanı bizim xülasə və şərhimizdir.
Türkiyədəki ofislər və tələbələr Gemma-nın vizual anlama imkanlarını layihə vizuallarını tez təsvir etdirmək və istinad materiallarını sistemli şəkildə nəzərdən keçirmək kimi ilkin işlərdə sınaya bilərlər. Xüsusilə çoxsaylı vizualları ilkin mərhələdə nəzərdən keçirən komandalar nəticəni dizayn qərarı deyil, yoxlanmalı qeyd kimi istifadə etməlidirlər.
Tətbiqə başlamazdan əvvəl iş mühitinin avadanlıq tələblərini və lisenziya şərtlərini ayrıca yoxlamaq vacibdir; mənbədə bunlar barədə dəqiq məlumat verilmir. Token büdcəsi də sürətlə detal arasında seçim tələb edir. Memarlıq proqramları ilə birbaşa uyğunluq güman edilməməli, OCR nəticələri və obyekt koordinatları real vizuallar üzərində yoxlanmalıdır.
Tez-tez verilən suallar
Gemma 4 vizualları təhlil edə bilərmi?
Google-ın bələdçisində Gemma 3 və sonrakı modellərin vizual məzmunu təsvir etmək, obyektləri tanımaq, səhnələri anlamaq və vizual kontekstdən nəticə çıxarmaq üçün istifadə oluna bildiyi qeyd olunur.
Gemma 4 ilə eyni sorğuda birdən çox vizual emal etmək mümkündürmü?
Bəli. Bələdçidə bir neçə vizualın tək mesaj məzmununda təqdim edilə və ümumi mətn təlimatı ilə emal oluna bildiyi göstərilir.
Gemma 4-də vizual token büdcəsi üçün hansı seçimlər var?
Bələdçidə 70, 140, 280, 560 və 1120 token büdcələri sadalanır. Daha yüksək büdcə vizual detalların daha çoxunun qorunmasına, aşağı büdcə isə daha az patch emal edilməsinə imkan verir.



