TraVisionLM: Azərbaycan dilində vizualları anlayan 875 milyon parametrli model

Ucsahin tərəfindən hazırlanmış TraVisionLM Hugging Face-də paylaşılan və vizuallara Azərbaycan dilində təlimatlarla cavab vermək üçün nəzərdə tutulan vizual dil modelidir. Model kartında dərc tarixi göstərilmədiyindən elanın hansı gün verildiyini təsdiqləmək mümkün deyil. 875 milyon parametrli model vizual təsvir, vizual haqqında əsas suallara cavab vermək və müxtəlif tapşırıqlar üçün incə tənzimləmə kimi istifadə sahələrini hədəfləyir.

Vizual və dil komponentləri necə birləşdirilir?

TraVisionLM SigLIP vizual kodlayıcısını və ytu-ce-cosmos/turkish-gpt2-large dil modelini birləşdirir. İki komponent arasındakı əlaqəni vizual proyektor təmin edir. Tərtibatçı model arxitekturasının PaliGemma-ya yaxın olduğunu, lakin proyektor və səbəb-nəticə dil modelləşdirməsi sahələrində bəzi uyğunlaşdırmalar edildiyini bildirir.

Təlim zamanı hər iki komponenti sıfırdan öyrətmək əvəzinə mövcud modellərdən istifadə olunub. Model kartına görə, vizual və mətn xüsusiyyətlərini uyğunlaşdırmaq üçün LLaVA təlim reseptinə əsasən 500 min təsvir-mətn cütü ilə yalnız vizual proyektor öyrədilib. Daha sonra qısa və ətraflı təsvir, eləcə də əsas vizual sual-cavab tapşırıqları üçün 1 milyondan çox təsvir-prompt-tamamlanma üçlüyündən istifadə olunub.

Hansı tapşırıqlarda istifadə edilə bilər?

İstifadəçi modelə “Vizualı ümumiləşdir” və ya “Ətraflı izah et” kimi Azərbaycan dilində göstərişlər verə bilər. Vizualın əsas məqamını, içindəki obyektlərin rəngini və ya səhnədə nələrin olduğunu soruşmaq da əsas istifadə nümunələrindəndir. Tərtibatçı bildirir ki, qısa təsvir tapşırığında modelin hallüsinasiya meyli daha az, ətraflı təsvir və açıq suallarda isə daha yüksəkdir.

Modelin əhatə dairəsində bəzi mühüm məhdudiyyətlər də var. TraVisionLM eyni vaxtda birdən çox vizual qəbul etmir; buna görə də iki vizualı müqayisə etmək mümkün deyil. Modelin mürəkkəb, çoxmərhələli söhbətlər üçün də uyğun olmadığı qeyd olunur: əvvəlki sualların konteksti saxlanmır. Bundan əlavə, model OCR, seqmentasiya və çoxsaylı obyektlərin aşkarlanması üçün öyrədilməyib. Obyekt aşkarlanması məqsədilə incə tənzimlənmiş ayrıca modelin ünvanı paylaşılsa da, bu, əsas modelin həmin tapşırıqlardakı məhdudiyyətlərini aradan qaldırmır.

Memarlıq və vizuallaşdırma iş axınlarında nə verə bilər?

Memarlıq və interyer komandaları render və ya istinad vizualı üçün qısa Azərbaycan dilində təsvir yaratmaq, yaxud vizualdakı konkret element barədə əsas sual vermək üçün modeli sınaqdan keçirə bilərlər. Bu istifadə vizualı təsvir etmək və ilkin qiymətləndirmə mərhələlərində kömək edə bilər; lakin modelin memarlıq vizualları üçün xüsusi öyrədildiyi barədə məlumat yoxdur. Buna görə də onun cavablarını məkan, material və ya dizayn qərarları üzrə təsdiqlənmiş ekspert rəyi kimi qəbul etmək olmaz.

Tərtibatçı modeli Transformers kitabxanası ilə uyğun kimi təqdim edir; yükləmə, istifadə və incə tənzimləmə üçün əlavə kitabxana tələb olunmadığını bildirir. Lisenziya Apache 2.0 olaraq göstərilib. Model kartında aparat tələbləri və ya performans ölçmələri paylaşılmayıb. Buna görə komandaların öz mühitlərində sınaq keçirmədən iş stansiyası tələbləri və ya istehsal sürəti barədə nəticə çıxarmaması məqsədəuyğundur.

Sınaqlar zamanı hansı məhdudiyyətləri nəzərə almaq lazımdır?

İlkin sınaqlarda qısa təsvir təlimatlarına üstünlük verib nəticələri mənbə vizualla müqayisə etmək olar. Ətraflı təsvir və sual-cavab nəticələrində isə vizualda olmayan detallar yaradıla bildiyindən cavablar yoxlanmalıdır. Tək vizual məhdudiyyəti, əvvəlki mesajların yadda saxlanmaması və OCR dəstəyinin olmaması modelin planşet, çertyoj və ya bir neçə vizualın təhlili proseslərində istifadə sahəsini daralda bilər. Obyekt aşkarlanması tələb olunursa, model kartında ayrıca qeyd edilən incə tənzimlənmiş versiyanın imkanları nəzərdən keçirilməlidir.