Kısaca
- Gemma 3 ve sonraki modeller görsel içerik analizi için kullanılabiliyor.
- Gemma 4 örneği, Transformers kütüphanesindeki image-text-to-text hattını kullanıyor.
- Rehberde sahne açıklama, birden fazla görseli değerlendirme, OCR ve nesne tespiti ele alınıyor.
- Gemma 4’te görsel token bütçesi 70, 140, 280, 560 veya 1120 olarak seçilebiliyor.
Bu rehberde ne öğreneceksiniz?
Gemma’nın görsel anlama özelliklerini, bir mimari görseli tarif ettirmekten daha geniş işler için kullanmak mümkün. Google’ın rehberi, Gemma 3 ve sonraki modellerin görsellerdeki içeriği açıklayabildiğini, nesneleri tanıyabildiğini, sahneleri sınıflandırabildiğini ve görsel bağlam hakkında çıkarım yapabildiğini belirtiyor. Ayrıca birden fazla görseli aynı istekte ele alma, görseldeki yazıları tanıma (OCR) ve nesneler için sınırlayıcı kutu koordinatları üretme örnekleri sunuyor.
Bu uygulama, mimari ve iç mekân ekiplerinin proje görsellerini ilk aşamada tarif etmesine, görselleri belirli sorular üzerinden incelemesine veya bir görseldeki unsurları listelemesine odaklanıyor. Model çıktısını tasarım kararı ya da ölçülü teknik dokümantasyon yerine, kontrol edilmesi gereken bir analiz yardımı olarak değerlendirmek gerekir: kaynak, doğruluk garantisi veya mimari ölçüm hassasiyeti vaat etmiyor.
Gereksinimler
Resmî rehberdeki örnek, Python paketlerini yüklemek için PyTorch ve accelerate ile birlikte Transformers kütüphanesini kullanıyor. Belgede Transformers için 5.10.1 veya üzeri sürüm belirtiliyor. Model kimliği örneği google/gemma-4-E2B-it; görsel ve metin girdileri için image-text-to-text göreviyle bir pipeline kuruluyor.
pip install torch accelerate
pip install 'transformers>=5.10.1'Kurulum ve yerel çalıştırma için gereken donanım ayrıntıları bu rehberde belirtilmiyor. Bu nedenle mevcut bilgisayarın yeterliliğini, çalıştırma ortamında ayrıca doğrulamak gerekir. Örnekte device_map='auto' ve dtype='auto' kullanılıyor; bunlar, rehberde gösterilen pipeline yapılandırmasının parçalarıdır.
Uygulama adımları
1. Model hattını kurun
Aşağıdaki örnekte MODEL_ID, rehberde verilen model kimliğiyle eşleştiriliyor. Pipeline, görsel ve metin içeren kullanıcı mesajlarını işlemek üzere kuruluyor.
MODEL_ID = 'google/gemma-4-E2B-it'
from transformers import pipeline
vqa_pipe = pipeline(
task='image-text-to-text',
model=MODEL_ID,
device_map='auto',
dtype='auto'
)2. Bir proje görseline soru sorun
Kaynak örnek, görseli bir URL üzerinden alıp mesaj içeriğinde görsel ve metni birlikte iletiyor. Kendi çalışmanızda img_url değerini analiz edilecek görsele erişen bir adresle değiştirin. Aşağıdaki istem, kaynakta gösterilen görsel sorma yöntemini mimari inceleme için uyarlıyor.
Bu mimari görselde görünen mekânı tarafsız biçimde tarif et. Belirgin yapı elemanlarını, yüzeyleri, açıklıkları, ışık koşullarını ve kadrajda seçilebilen nesneleri ayrı ayrı belirt. Görselde doğrulanamayan ölçüleri veya malzemeleri tahmin etme.Bu istem, modelden görseli metinle açıklamasını ister; belirsiz unsurları kesin bilgi gibi sunmamasını da açıkça belirtir. Üretilen açıklamayı proje çizimleri ve malzeme bilgileriyle karşılaştırın.
from transformers import GenerationConfig
config = GenerationConfig.from_pretrained(MODEL_ID)
config.max_new_tokens = 512
gen_kwargs = dict(generation_config=config)
img_url = 'ANALIZ_EDILECEK_GORSELIN_URL_ADRESI'
messages = [
{
'role': 'user',
'content': [
{'type': 'image', 'url': img_url},
{'type': 'text', 'text': 'Bu görselde görünen mekânı ve belirgin tasarım unsurlarını tarif et.'}
]
}
]
output = vqa_pipe(messages, return_full_text=False, generate_kwargs=gen_kwargs)
print(output[0]['generated_text'])max_new_tokens ayarı kaynak örneğinde 512 olarak kullanılıyor. Bu değer, burada da örnek yapılandırmayı izliyor; farklı bir çıktı uzunluğu için kaynakta verilenin dışında bir performans veya kalite sonucu varsayılmamalı.
3. İki görseli birlikte değerlendirin
Gemma rehberi, aynı istekte birden fazla görsel sunulabileceğini ve bu görseller için ortak bir metin talimatı verilebileceğini gösteriyor. Bu yaklaşım, örneğin aynı iç mekânın iki açıdan çekilmiş görüntüsünü yan yana yorumlatmak veya iki alternatif görselin görünen özelliklerini ayrı ayrı özetletmek için denenebilir. Modelin her ayrıntıyı doğru eşleştirdiği varsayılmamalı.
İki görseli ayrı ayrı incele. Her birinde görülebilen mekân özelliklerini ve mobilya düzenini kendi başlığı altında özetle. Yalnızca görselde seçilebilen ortak ve farklı unsurları belirt; açı veya kadraj farkını tasarım değişikliği olarak yorumlama.İki görseli mesaj listesine ayrı image içerikleri olarak ekleyin ve ardından talimatı text içeriğiyle gönderin. Rehberdeki örnek, aynı mesaj içinde birden fazla görsel içeriği kullanılabildiğini gösteriyor; burada verilen mimari istem ise yeni ve uygulama amaçlı bir örnektir.
4. Görseldeki yazıları okuyun
Kaynak, modellerin görsellerdeki çok dilli metinleri tanıyabildiğini OCR örneğiyle gösteriyor. Bu özellik; görselde bulunan bir yönlendirme levhasını, paftadaki görünür bir etiketi veya iç mekân fotoğrafındaki tabelayı metin olarak incelemek için denenebilir. Bununla birlikte, kaynak belirli bir doğruluk oranı vermiyor.
Görselde okunabilen tüm yazıları, konumlarını kısaca belirterek aktar. Emin olmadığın karakterleri tahmin etmek yerine okunaksız olarak işaretle. Görselde yazı yoksa bunu söyle.Görseldeki metni kullanırken harfleri ve sayıların bağlamını özgün görselle kontrol edin. Özellikle pafta üzerindeki küçük yazılarda veya düşük çözünürlüklü ekran görüntülerinde, model çıktısını doğrudan teslim dokümanına aktarmak yerine manuel doğrulama yapın.
5. Nesne tespiti ve çözünürlük tercihi
Rehberdeki nesne tespiti örneği, bulunan nesneleri etiketleri ve 1000 × 1000 ızgarasına göre normalize edilmiş koordinatlarıyla ifade ediyor. Bu koordinatların gerçek görsel boyutuna uyarlanması gerektiği belirtiliyor. Dolayısıyla çıktıdaki koordinatları doğrudan piksel konumu saymayın; kaynakta yer alan örnek de koordinatları görselin genişliği ve yüksekliğiyle ölçeklendiriyor.
Gemma 4 modelleri değişken çözünürlüğü destekliyor. Görsel token bütçesi 70, 140, 280, 560 veya 1120 olarak seçilebiliyor. Belgede yüksek bütçenin daha fazla görsel ayrıntıyı koruyabildiği, düşük bütçenin ise daha az yama işleyerek çıkarım hızını artırabildiği açıklanıyor. Bu, hız ile görsel ayrıntı arasında bir tercihtir; projeye ait her görsel için tek bir ideal değer olduğu kaynakta söylenmiyor. Nesne tespiti gibi ayrıntı isteyen işlerde daha yüksek bütçeyi değerlendirin, sonuçları farklı bütçelerde kontrol edin.
Sık karşılaşılan hatalar
Koordinatları piksel gibi yorumlamak: Nesne tespitinde dönen kutu koordinatları, rehbere göre 1000 × 1000 ölçeğine göre normalize ediliyor. Gerçek görsel genişliği ve yüksekliği kullanılarak ölçekleme yapılmadan kutular doğru konumda çizilmeyebilir.
Görselde olmayan bilgileri kesinleştirmek: Bir yüzeyin malzemesi, mekânın ölçüsü veya görünmeyen bir elemanın işlevi görüntüden her zaman doğrulanamaz. İstemde modelden yalnızca seçilebilen unsurları istemek ve sonucu proje bilgileriyle teyit etmek daha güvenli bir çalışma alışkanlığıdır.
Birden fazla görselde açı farkını gözden kaçırmak: İki görüntü aynı mekânı farklı açılardan gösterebilir. Karşılaştırma isteminde her görselin ayrı ele alınmasını ve kadraj farkının tasarım değişikliği sayılmamasını açıkça yazın.
Token bütçesini göz ardı etmek: Görsel çözünürlüğü ve token bütçesi, işlenen görsel ayrıntı miktarını etkiler. Daha düşük bütçeyle ayrıntı gerektiren tespitleri değerlendirmek, küçük elemanların gözden kaçmasına yol açabilir; yüksek bütçenin ise daha fazla yama işlediğini ve hız- ayrıntı dengesi oluşturduğunu hesaba katın.
Sonraki adımlar: mimarlık ve görselleştirme iş akışında kullanım
Mimarlık ofisleri, iç mimarlar ve archviz ekipleri bu yöntemi görsel arşivini ön inceleme, sahne açıklaması, iki alternatifin görünür farklarını not etme veya görseldeki yazıları kontrol etme gibi yardımcı işlerde deneyebilir. Öğrenciler için de bir referans görseli tarif ettirip ardından açıklamayı kendi gözlemleriyle karşılaştırmak yararlı bir çalışma olabilir. Bunlar, belgelenen görsel anlama ve çoklu görsel işleme yeteneklerinin olası kullanım biçimleridir; kaynağın belirttiği özel bir mimarlık ürünü özelliği değildir.
Bir sonraki denemede tek bir soruyla başlayın, istemi proje hedefiyle sınırlandırın ve çıktıyı görselle birlikte kontrol edin. Görsel tespiti gerekiyorsa koordinatların ölçeğini doğru yorumlayın; ayrıntı düzeyini etkileyen token bütçesini ayrıca değerlendirin. Rehber, modelin lisans maliyeti, belirli bir donanım gereksinimi veya mimari yazılımlarla uyumluluğu konusunda bilgi vermiyor. Bu başlıklarda karar vermeden önce kullanılacak dağıtım ve çalışma ortamının koşulları ayrıca incelenmeli.
Kaynak ve lisans
Bu rehber, Google’ın Gemma görsel anlama dokümantasyonundaki örnekler temel alınarak Türkçeye uyarlanmıştır. Kaynak, CC BY 4.0 lisansıyla sunulmuştur. Mimari istem örnekleri bu yazı için özgün olarak hazırlanmıştır.
Sık sorulan sorular
Gemma 4 görselleri analiz edebilir mi?
Google’ın rehberi, Gemma 3 ve sonraki modellerin görsel içeriği açıklama, nesneleri tanıma, sahneleri anlama ve görsel bağlamdan çıkarım yapma görevlerinde kullanılabildiğini belirtiyor.
Gemma 4 ile birden fazla görsel aynı istekte işlenebilir mi?
Evet. Rehber, birden fazla görselin tek bir mesaj içeriğinde sunulabildiğini ve ortak bir metin talimatıyla işlenebildiğini gösteriyor.
Gemma 4 görsel token bütçesi seçenekleri nelerdir?
Rehberde 70, 140, 280, 560 ve 1120 token bütçeleri listeleniyor. Daha yüksek bütçe daha fazla görsel ayrıntının korunmasına, daha düşük bütçe ise daha az yama işlenmesine imkân tanıyor.
Kaynaklar
1 kaynakKaynak metinler yeniden yayımlanmaz; kısa alıntılar tırnak içinde verilir, geri kalanı özgün özet ve yorumdur.
Türkiye’deki ofisler ve öğrenciler için Gemma’nın görsel anlama özellikleri, proje görsellerini hızlıca tarif ettirme ve referansları düzenli inceleme gibi ön işlerde denenebilir. Özellikle çok sayıda görseli ilk aşamada gözden geçiren ekipler, çıktıyı tasarım kararı yerine kontrol edilecek bir not olarak kullanmalı.
Uygulamaya geçmeden önce çalışma ortamının donanım gereksinimini ve lisans koşullarını ayrıca doğrulamak önemli; kaynak bunlar için net bilgi vermiyor. Token bütçesi de hız ve ayrıntı arasında seçim gerektiriyor. Mimari yazılımlarla doğrudan uyumluluk varsayılmamalı, OCR ve nesne koordinatları gerçek görseller üzerinde kontrol edilmelidir.




Yorumlar 0