TraVisionLM : un modèle de 875 millions de paramètres qui comprend les images en turc

Développé par Ucsahin, TraVisionLM est un modèle de langage visuel publié sur Hugging Face et conçu pour répondre en turc à des consignes portant sur des images. La fiche du modèle ne précisant pas sa date de publication, il est impossible de confirmer le jour de l’annonce. Ce modèle de 875 millions de paramètres vise notamment la description d’images, les réponses à des questions simples à leur sujet et le réglage fin pour différentes tâches.

Comment les composants visuels et linguistiques sont-ils associés ?

TraVisionLM associe l’encodeur visuel SigLIP au modèle de langage ytu-ce-cosmos/turkish-gpt2-large. Un projecteur visuel assure la liaison entre les deux composants. Le développeur indique que l’architecture du modèle est proche de celle de PaliGemma, tout en apportant certaines adaptations au niveau du projecteur et de la modélisation causale du langage.

Plutôt que d’entraîner les deux composants de zéro, le processus d’entraînement s’appuie sur des modèles existants. Selon la fiche du modèle, seul le projecteur visuel a été entraîné sur 500 000 paires image-texte afin d’aligner les caractéristiques visuelles et textuelles, en suivant la recette d’entraînement de LLaVA. Plus d’un million de triplets image-consigne-complétion ont ensuite été utilisés pour les tâches de légende courte ou détaillée et de questions-réponses visuelles simples.

Quelles tâches peut-il prendre en charge ?

L’utilisateur peut donner au modèle des consignes en turc comme « Résume l’image » ou « Décris-la en détail ». Il peut aussi poser des questions simples, par exemple sur le sujet principal de l’image, la couleur des objets qu’elle contient ou les éléments présents dans la scène. Le développeur indique que le modèle a moins tendance à halluciner pour les légendes courtes, mais davantage pour les descriptions détaillées et les questions ouvertes.

Le périmètre du modèle comporte aussi des limites importantes. TraVisionLM n’accepte pas plusieurs images à la fois ; il ne prend donc pas en charge la comparaison de deux images. Il n’est pas non plus adapté aux conversations complexes à plusieurs tours : le contexte des questions précédentes n’est pas conservé. Par ailleurs, le modèle n’a pas été entraîné pour l’OCR, la segmentation ou la détection de plusieurs objets. Une adresse vers un modèle distinct, réglé finement pour la détection d’objets, est bien indiquée, mais cela ne supprime pas les limites du modèle de base pour ces tâches.

Que peut-il apporter aux flux de travail en architecture et en visualisation ?

Les équipes d’architecture et d’aménagement intérieur peuvent essayer le modèle pour générer une courte description en turc d’un rendu ou d’une image de référence, ou poser une question simple sur un élément précis de l’image. Ce type d’utilisation peut aider à décrire l’image et à effectuer une première évaluation ; toutefois, rien n’indique que le modèle ait été spécialement entraîné sur des images architecturales. Ses résultats ne doivent donc pas être considérés comme des avis d’expert vérifiés sur l’espace, les matériaux ou les choix de conception.

Le développeur indique que le modèle est compatible avec la bibliothèque Transformers et qu’aucune bibliothèque externe n’est nécessaire pour le chargement, l’utilisation ou le réglage fin. La licence est indiquée comme étant Apache 2.0. La fiche du modèle ne fournit ni exigences matérielles ni mesures de performance ; les équipes ont donc intérêt à le tester dans leur propre environnement avant de tirer des conclusions sur les besoins en station de travail ou la vitesse de production.

À quelles limites faut-il prêter attention lors des essais ?

Pour les premiers tests, il est possible de privilégier des consignes de description courte et de comparer les résultats à l’image source. Les descriptions détaillées et les réponses aux questions doivent être vérifiées, car elles peuvent introduire des éléments absents de l’image. La limite à une seule image, l’absence de mémoire des messages précédents et le manque de prise en charge de l’OCR peuvent restreindre son intérêt pour l’analyse de planches, de dessins ou de plusieurs images. Si la détection d’objets est nécessaire, il convient d’évaluer le périmètre de la version réglée finement, mentionnée séparément dans la fiche du modèle.