باختصار
- يمكن استخدام Gemma 3 والنماذج الأحدث لتحليل المحتوى المرئي.
- يستخدم مثال Gemma 4 مسار image-text-to-text في مكتبة Transformers.
- يتناول الدليل وصف المشاهد، وتحليل صور متعددة، وOCR، واكتشاف العناصر.
- يمكن اختيار ميزانية رموز الصور في Gemma 4 بقيم 70 أو 140 أو 280 أو 560 أو 1120.
ما الذي ستتعلمه في هذا الدليل؟
يمكن الاستفادة من قدرات Gemma على فهم الصور في مهام تتجاوز مجرد وصف صورة معمارية. يذكر دليل Google أن Gemma 3 والنماذج الأحدث تستطيع وصف محتوى الصور، والتعرّف على العناصر، وتصنيف المشاهد، والاستدلال بشأن سياق الصورة. كما يعرض أمثلة على معالجة عدة صور في الطلب نفسه، والتعرّف على النصوص الظاهرة في الصور (OCR)، وإنتاج إحداثيات مربعات إحاطة حول العناصر.
يركز هذا التطبيق على مساعدة فرق العمارة والتصميم الداخلي في وصف صور المشاريع مبدئيًا، أو فحصها من خلال أسئلة محددة، أو إعداد قائمة بالعناصر الظاهرة فيها. وينبغي التعامل مع مخرجات النموذج باعتبارها أداة مساعدة للتحليل تحتاج إلى التحقق، لا أساسًا لاتخاذ قرارات تصميمية أو لإعداد توثيق فني دقيق القياسات؛ فالمصدر لا يَعِد بضمان الدقة أو بدقة القياسات المعمارية.
المتطلبات
يستخدم المثال الوارد في الدليل الرسمي مكتبة Transformers، إلى جانب PyTorch وaccelerate لتثبيت حزم Python. ويحدد المستند الإصدار 5.10.1 أو أحدث من Transformers. ومعرّف النموذج الوارد في المثال هو google/gemma-4-E2B-it؛ ويُنشأ خط معالجة باستخدام مهمة image-text-to-text لاستقبال مدخلات الصور والنصوص.
pip install torch accelerate
pip install 'transformers>=5.10.1'لا يوضح هذا الدليل تفاصيل الأجهزة المطلوبة للتثبيت والتشغيل المحلي. لذلك ينبغي التحقق من ملاءمة الكمبيوتر المتاح ضمن بيئة التشغيل بشكل مستقل. يستخدم المثال device_map='auto' وdtype='auto'، وهما جزء من إعداد خط المعالجة المعروض في الدليل.
خطوات التطبيق
1. إعداد خط النموذج
في المثال التالي، تُطابق قيمة MODEL_ID معرّف النموذج الوارد في الدليل. ويُعد خط المعالجة لمعالجة رسائل المستخدم التي تتضمن صورًا ونصوصًا.
MODEL_ID = 'google/gemma-4-E2B-it'
from transformers import pipeline
vqa_pipe = pipeline(
task='image-text-to-text',
model=MODEL_ID,
device_map='auto',
dtype='auto'
)2. اطرح سؤالًا عن صورة لمشروع
يحمّل المثال الأصلي الصورة عبر URL، ويرسل الصورة والنص معًا ضمن محتوى الرسالة. في تطبيقك، استبدل قيمة img_url بعنوان يتيح الوصول إلى الصورة المراد تحليلها. ويكيّف الطلب أدناه طريقة طرح سؤال عن صورة كما يعرضها المصدر، لتناسب الفحص المعماري.
صِف المكان الظاهر في هذه الصورة المعمارية بموضوعية. اذكر على نحو منفصل عناصر البناء البارزة والأسطح والفتحات وظروف الإضاءة والأشياء الظاهرة في إطار الصورة. لا تخمّن القياسات أو المواد التي لا يمكن التحقق منها في الصورة.يطلب هذا النص من النموذج وصف الصورة بالكلمات، ويوضح صراحةً ألا يعرض العناصر غير المؤكدة كما لو كانت حقائق قاطعة. قارن الوصف الناتج برسومات المشروع ومعلومات المواد.
from transformers import GenerationConfig
config = GenerationConfig.from_pretrained(MODEL_ID)
config.max_new_tokens = 512
gen_kwargs = dict(generation_config=config)
img_url = 'ANALIZ_EDILECEK_GORSELIN_URL_ADRESI'
messages = [
{
'role': 'user',
'content': [
{'type': 'image', 'url': img_url},
{'type': 'text', 'text': 'Bu görselde görünen mekânı ve belirgin tasarım unsurlarını tarif et.'}
]
}
]
output = vqa_pipe(messages, return_full_text=False, generate_kwargs=gen_kwargs)
print(output[0]['generated_text'])تُستخدم قيمة max_new_tokens في المثال الأصلي للمصدر على أنها 512. وتتبع هذه القيمة هنا إعداد المثال أيضًا؛ ولا ينبغي افتراض نتيجة تتعلق بالأداء أو الجودة خارج ما يورده المصدر عند اختيار طول مختلف للمخرجات.
3. تحليل صورتين معًا
يوضح دليل Gemma إمكانية تقديم أكثر من صورة في الطلب نفسه، مع إرفاق تعليمات نصية مشتركة بها. ويمكن تجربة هذا النهج، مثلًا، لمقارنة صورتين لداخل المكان نفسه ملتقطتين من زاويتين، أو لتلخيص الخصائص الظاهرة في صورتين بديلتين كلٌّ على حدة. لكن لا ينبغي افتراض أن النموذج سيطابق كل التفاصيل بدقة.
افحص الصورتين كلًّا على حدة. لخّص خصائص المكان وترتيب الأثاث الظاهر في كل منهما تحت عنوان منفصل. اذكر فقط العناصر المشتركة والمختلفة التي يمكن تمييزها في الصور؛ ولا تفسّر اختلاف زاوية التصوير أو إطار الصورة على أنه تغيير في التصميم.أضف الصورتين إلى قائمة الرسائل كمحتويين منفصلين من النوع image، ثم أرسل التعليمات ضمن محتوى من النوع text. يوضح مثال الدليل إمكانية استخدام عدة محتويات صور في الرسالة نفسها؛ أما الطلب المعماري الوارد هنا فهو مثال جديد مُعدّ لأغراض التطبيق.
4. قراءة النصوص الظاهرة في الصورة
يعرض المصدر مثالًا على OCR لتوضيح قدرة النماذج على التعرّف على النصوص متعددة اللغات في الصور. ويمكن تجربة هذه الميزة لفحص لافتة إرشادية أو تسمية ظاهرة على لوحة أو لافتة في صورة داخلية، واستخراجها كنص. لكن المصدر لا يذكر معدل دقة محددًا.
انقل كل النصوص المقروءة في الصورة، مع الإشارة باختصار إلى مواضعها. ضع علامة «غير مقروء» على الأحرف التي لست متأكدًا منها بدلًا من تخمينها. أخبرني إذا لم يتضمن العنصر أي نص.عند استخدام النص المستخرج من الصورة، تحقّق من الأحرف وسياق الأرقام بالرجوع إلى الصورة الأصلية. وأجرِ تحققًا يدويًا، خصوصًا للنصوص الصغيرة على اللوحات أو في لقطات الشاشة منخفضة الدقة، بدلًا من نقل مخرجات النموذج مباشرةً إلى وثائق التسليم.
5. اكتشاف العناصر واختيار الدقة
يعرض مثال اكتشاف العناصر في الدليل العناصر المكتشفة مع تسمياتها وإحداثياتها المعيارية وفق شبكة 1000 × 1000. ويشير إلى ضرورة تكييف هذه الإحداثيات لتناسب الأبعاد الفعلية للصورة. لذلك لا تتعامل مع الإحداثيات الناتجة على أنها مواقع بالبكسل مباشرةً؛ فمثال المصدر يضرب الإحداثيات في عرض الصورة وارتفاعها.
تدعم نماذج Gemma 4 الدقة المتغيرة. ويمكن اختيار ميزانية رموز الصور بقيم 70 أو 140 أو 280 أو 560 أو 1120. ويوضح المستند أن الميزانية الأعلى قد تحافظ على تفاصيل مرئية أكثر، بينما تعالج الميزانية الأقل عددًا أقل من الرقع، ما قد يزيد سرعة الاستدلال. هذا يعني المفاضلة بين السرعة والتفاصيل؛ ولا يذكر المصدر أن هناك قيمة مثالية واحدة لكل صورة مشروع. في المهام التي تتطلب تفاصيل، مثل اكتشاف العناصر، فكّر في ميزانية أعلى، وتحقق من النتائج باستخدام ميزانيات مختلفة.
أخطاء شائعة
التعامل مع الإحداثيات كما لو كانت بالبكسل: وفقًا للدليل، تُطبّع إحداثيات مربعات الإحاطة الناتجة عن اكتشاف العناصر إلى مقياس 1000 × 1000. وقد لا تظهر المربعات في مواضعها الصحيحة ما لم تُحوّل باستخدام العرض والارتفاع الفعليين للصورة.
الجزم بمعلومات غير ظاهرة في الصورة: لا يمكن دائمًا التحقق من مادة سطح ما أو أبعاد المكان أو وظيفة عنصر غير ظاهر اعتمادًا على الصورة وحدها. ومن الممارسات الأكثر أمانًا أن تطلب في التعليمات وصف العناصر التي يمكن تمييزها فقط، وأن تتحقق من النتيجة بمقارنتها بمعلومات المشروع.
إغفال اختلاف زاوية التصوير عند مقارنة عدة صور: قد تُظهر صورتان المكان نفسه من زاويتين مختلفتين. وضّح في تعليمات المقارنة ضرورة فحص كل صورة على حدة، وألا يُعتبر اختلاف إطار الصورة تغييرًا في التصميم.
تجاهل ميزانية الرموز: تؤثر دقة الصورة وميزانية الرموز في مقدار التفاصيل المرئية التي تتم معالجتها. وقد يؤدي فحص مهام اكتشاف تتطلب تفاصيل باستخدام ميزانية منخفضة إلى إغفال عناصر صغيرة؛ ضع في الحسبان أيضًا أن الميزانية الأعلى تعالج رقعًا أكثر، وأن هناك مفاضلة بين السرعة والتفاصيل.
الخطوات التالية: الاستخدام ضمن سير عمل العمارة والتصوّر المعماري
يمكن لمكاتب العمارة والمصممين الداخليين وفرق التصوّر المعماري تجربة هذه الطريقة في مهام مساعدة، مثل الفحص الأولي لأرشيف الصور، ووصف المشاهد، وتسجيل الفروق الظاهرة بين بديلين، أو مراجعة النصوص الموجودة في الصور. ويمكن أن يستفيد الطلاب أيضًا من طلب وصف صورة مرجعية ثم مقارنة الوصف بملاحظاتهم الخاصة. هذه استخدامات محتملة لقدرات فهم الصور ومعالجة الصور المتعددة الموثقة، وليست ميزة لمنتج معماري محدد يذكرها المصدر.
ابدأ التجربة التالية بسؤال واحد، واجعل التعليمات محددة بهدف المشروع، ثم راجع المخرجات بالاستناد إلى الصورة. وإذا كنت تحتاج إلى اكتشاف العناصر، فاحرص على تفسير مقياس الإحداثيات بشكل صحيح؛ وقيّم أيضًا ميزانية الرموز التي تؤثر في مستوى التفاصيل. لا يقدم الدليل معلومات عن تكلفة ترخيص النموذج، أو متطلبات أجهزة محددة، أو التوافق مع برامج العمارة. لذا ينبغي التحقق بشكل مستقل من شروط بيئة النشر والتشغيل المستخدمة قبل اتخاذ قرار بشأن هذه المسائل.
المصدر والترخيص
أُعد هذا الدليل باللغة التركية بالاستناد إلى الأمثلة الواردة في وثائق Google لفهم الصور باستخدام Gemma. والمصدر متاح بموجب ترخيص CC BY 4.0. أما أمثلة التعليمات المعمارية فقد أُعدت خصيصًا لهذا المقال.
المصادر
1 مصادرلا نعيد نشر نصوص المصادر؛ الاقتباسات القصيرة مشار إليها، وما تبقى ملخص وتعليق من إعدادنا.
يمكن للمكاتب والطلاب في تركيا تجربة قدرات Gemma على فهم الصور في الأعمال الأولية، مثل وصف صور المشاريع بسرعة وفحص المراجع بطريقة منظمة. ويمكن للفرق التي تراجع عددًا كبيرًا من الصور في المرحلة الأولى استخدام المخرجات كملاحظات تحتاج إلى التحقق، لا كأساس لاتخاذ قرارات تصميمية.
من المهم التحقق بشكل مستقل من متطلبات الأجهزة وشروط الترخيص قبل بدء التطبيق؛ فالمصدر لا يقدم معلومات واضحة بشأنها. كما تتطلب ميزانية الرموز المفاضلة بين السرعة والتفاصيل. ولا ينبغي افتراض التوافق المباشر مع برامج العمارة، بل يجب التحقق من نتائج OCR وإحداثيات العناصر على الصور الفعلية.
الأسئلة الشائعة
هل يستطيع Gemma 4 تحليل الصور؟
يذكر دليل Google أن Gemma 3 والنماذج الأحدث يمكن استخدامها لوصف محتوى الصور، والتعرّف على العناصر، وفهم المشاهد، والاستدلال انطلاقًا من سياق الصورة.
هل يمكن معالجة عدة صور في طلب واحد باستخدام Gemma 4؟
نعم. يوضح الدليل إمكانية إرسال عدة صور ضمن محتوى رسالة واحدة ومعالجتها بتعليمات نصية مشتركة.
ما خيارات ميزانية رموز الصور في Gemma 4؟
يسرد الدليل ميزانيات 70 و140 و280 و560 و1120 رمزًا. وتتيح الميزانية الأعلى الحفاظ على تفاصيل مرئية أكثر، بينما تقلل الميزانية الأدنى عدد الرقع التي تتم معالجتها.



