Aligner les caméras 3DGS dans RealityScan et exporter vers D5 Render

Ce que vous apprendrez dans ce tutoriel

Ce guide explique comment aligner des caméras à partir d’images extraites d’une vidéo ou de photos dans RealityScan, puis préparer le résultat pour le flux de travail 3D Gaussian Splatting (3DGS) de D5 Render. À la fin, vous disposerez d’un dossier contenant les images source, d’un fichier JSON avec les poses des caméras et d’un fichier PLY contenant le nuage de points clairsemé initial. Ces trois éléments seront importés dans la fenêtre de création 3DGS de D5 Render.

L’objectif n’est pas d’obtenir le même nombre de caméras ni une qualité de résultat identique dans chaque projet RealityScan. La couverture des images, la qualité de la prise de vue et les composants produits par l’alignement peuvent varier d’un projet à l’autre. Il est donc important de sélectionner le bon composant et de vérifier le résultat avant d’exporter les fichiers.

Configuration requise : logiciels, compte et fichiers source

Le processus fait appel à la version de bureau de RealityScan et à la fenêtre de création 3DGS de D5 Render. Le guide de D5 Render explique comment installer et lancer RealityScan via Epic Games Launcher. Vous devez vous connecter au Launcher avec un compte Epic Games ; pensez également à consulter le plan tarifaire affiché dans l’interface et le Contrat de licence utilisateur final pendant l’installation. Les sources ne précisant aucun tarif, les conditions proposées sur l’écran d’installation font foi.

Dans le Launcher, sélectionnez la version à installer dans l’onglet RealityScan. Pour les nouveaux utilisateurs, le guide recommande la dernière version stable présélectionnée par défaut, sans imposer de version particulière. La documentation RealityScan 2.1 d’Epic Games présente également des nouveautés telles que l’importation de nuages de points provenant de scanners SLAM et l’utilisation de classifications LiDAR. Toutefois, le flux de travail D5 Render ci-dessous suit les fonctions de bureau décrites dans le guide source.

Vous pouvez utiliser une vidéo ou un dossier de photos préparées comme entrée. Si vous extrayez des images de la vidéo, déterminez au préalable l’emplacement des fichiers et du dossier qui les contiendra. Modifier ensuite le chemin d’accès aux images risque de perturber les étapes de chargement qui suivent, décrites dans le guide. Les sources ne mentionnent aucune exigence matérielle spécifique pour ce processus.

Étapes : aligner les images et exporter les fichiers

1. Créez un projet propre. Lancez RealityScan, accédez à la page WORKFLOW et vérifiez qu’il ne reste aucune entrée ni aucun composant provenant d’un ancien projet. Enregistrer le projet avant de commencer est une mesure de sécurité recommandée dans le guide.

2. Importez la vidéo ou les images. Vous pouvez faire glisser le fichier vidéo dans l’interface ou utiliser les boutons Images / Folder. Lorsque vous sélectionnez une vidéo, la fenêtre d’extraction des images s’ouvre. Dans l’exemple du guide de D5 Render, un dossier d’images est créé à côté de la vidéo et la valeur Jumps’ length(s) est réglée sur 0,5 seconde. Cet intervalle sert, dans l’exemple, à extraire une image toutes les 0,5 secondes ; l’intervalle adapté peut varier selon la prise de vue. Pour utiliser directement des photos, sélectionnez le dossier correspondant.

3. Conservez les images et le dossier source à leur emplacement. Ne fermez pas l’application pendant le traitement de la vidéo. Une fois l’opération terminée, vérifiez que la séquence d’images apparaît dans le panneau Inputs. Ne déplacez pas la vidéo source ni le dossier d’images pendant le traitement : le dossier sera indiqué à D5 Render à l’étape suivante.

4. Vérifiez les images. Ouvrez quelques images dans la vue 2D pour examiner leur netteté, leur exposition et la couverture de la scène dans le cadre. Le guide recommande d’éviter le flou de mouvement, les reflets, les grandes surfaces dépourvues de texture et les changements brusques d’exposition. Il conseille également d’éviter les zooms fréquents lors de la prise de vue vidéo.

5. Alignez les images avec Align Images. Lancez la commande Align Images dans la barre d’outils supérieure. Cette opération détecte les caractéristiques présentes dans les images, associe les images entre elles et calcule les poses des caméras ; elle génère également des points clairsemés de la scène. Tenez compte du fait que le traitement peut prendre plus de temps à mesure que le nombre d’images et leur résolution augmentent.

6. Vérifiez les composants. Une fois le traitement terminé, examinez dans la vue 3D le parcours formé par les caméras et les points clairsemés. Le guide recommande de vérifier que la plupart des images affichent le statut Registered, que la répartition des caméras est continue et que les points clairsemés décrivent la scène cible. Si plusieurs composants sont créés, ne considérez pas automatiquement comme correct celui qui contient le plus de caméras enregistrées ; vérifiez aussi sa cohérence géométrique.

7. Sélectionnez le composant valide pour l’exportation. Le JSON des caméras et le fichier PLY doivent provenir du même composant. Les fichiers exportés à partir de composants différents peuvent présenter des systèmes de coordonnées, des nombres de caméras et des positions de nuages de points incompatibles. Dans l’exemple du guide, Component 1 est le composant le plus important, avec 107/121 caméras ; ces chiffres concernent uniquement le projet d’exemple et ne constituent pas des valeurs attendues pour chaque scène.

8. Enregistrez le JSON de transformation des caméras. Dans la section Camera Alignment de la fenêtre Export, cochez l’option Radiance Fields Transformation File et nommez le fichier transforms.json.

9. Exportez le nuage de points clairsemé au format PLY. Rouvrez la fenêtre Export et exportez l’option Sparse point cloud de la section Sparse Scene Structure au format Polygon File Format (*.ply). Le guide donne sparse_points.ply comme nom d’exemple ; si l’outil utilisé ensuite exige un autre nom, vous pouvez l’employer.

10. Importez les trois éléments dans D5 Render. Ouvrez la fenêtre Create 3DGS from images/video, saisissez un nom de projet et sélectionnez Photos sous Source Type. Dans la section Photos, choisissez le dossier des photos source ou celui des images extraites. Sous Advanced Training Files, ajoutez transforms.json pour Camera poses et sparse_points.ply pour Initial sparse point cloud. Après avoir vérifié que les trois éléments proviennent du même composant d’alignement, lancez le traitement avec le bouton Start reconstruction.

Erreurs fréquentes et conséquences sur le flux de travail

L’erreur la plus importante consiste à exporter le JSON et le PLY depuis des composants différents. Avant l’exportation, vérifiez le composant sélectionné et générez les deux fichiers à partir de ce même choix. Autre problème possible : déplacer ou renommer le dossier d’images extraites de la vidéo ; le dossier chargé dans D5 Render doit rester accessible pendant toute la durée du projet.

Si l’alignement est de mauvaise qualité, commencez par vérifier la netteté des images source, la couverture de la scène et le chevauchement entre les images voisines. Évitez les grands écarts entre les points de vue. Lorsque plusieurs composants sont générés, ne vous fiez pas uniquement au nombre de caméras : la répartition 3D des caméras et la cohérence des points clairsemés avec la scène sont également importantes.

Pour les équipes d’architecture, de design d’intérieur et d’archviz, cette méthode propose un processus documenté pour transférer un espace existant, capturé en vidéo ou en photo, vers un flux de travail 3DGS. Elle peut notamment être utile aux équipes qui souhaitent documenter un espace en images et envoyer ces données en reconstruction dans D5 Render. Les sources ne fournissent toutefois aucune comparaison concernant les performances matérielles, le coût des licences ou la compatibilité entre versions spécifiques, au-delà de la durée du traitement. Vérifiez ces points séparément à partir de l’écran d’installation et des versions utilisées avant de démarrer un projet réel.

Étapes suivantes

Avant de lancer le traitement, vérifiez une nouvelle fois que le dossier, le JSON et le PLY sont conservés ensemble et que les fichiers proviennent du même composant d’alignement. Pour automatiser le flux de travail, la documentation de la ligne de commande de RealityScan présente les options permettant d’importer des images extraites d’une vidéo dans le projet avec la commande importVideo et d’exécuter des séquences de commandes. Si vous utilisez la ligne de commande, vérifiez les paramètres dans la documentation de la commande concernée ; ne partez pas du principe que ces étapes remplacent le processus d’exportation et de chargement décrit dans ce guide pour l’interface graphique.

Sources et licence

Ce tutoriel a été réécrit et adapté à partir de la documentation d’Epic Games sur RealityScan 2.1, les commandes de projet et d’images ainsi que l’ensemble des commandes, et du guide de D5 Render sur l’alignement des caméras avec RealityScan. Les informations sources sont indiquées comme libres d’utilisation, mais les textes fournis ne précisent aucun nom de licence libre ; aucune licence n’est donc avancée.