Comment installer NVIDIA Instant NeRF ? De l’image à la scène 3D, étape par étape

Ce que vous allez apprendre dans ce guide

NVIDIA Instant NeRF apprend une représentation de la scène à partir d’images et permet de l’observer depuis différentes positions de caméra. Le processus comprend la compilation du logiciel, la préparation des photos ou de la vidéo, le calcul des positions des caméras et l’entraînement de la scène. En option, vous pouvez créer un parcours de caméra dans l’interface et en rendre l’animation.

L’auteur du guide technique de NVIDIA indique qu’il est possible de réaliser un premier essai de NeRF — de la compilation du code à l’entraînement de la scène, en passant par la préparation des images — en une heure environ. Il ne s’agit pas d’une garantie de performance valable sur tous les ordinateurs, mais de la durée rapportée pour l’expérience pratique présentée dans le guide. L’étape d’entraînement peut, quant à elle, ne prendre que quelques minutes.

Prérequis et préparation

Pour compiler le code, le guide énumère Visual Studio 2019, la dernière version de CUDA Toolkit, Python 3.9 et CMake 3.22. Lors de la compilation avec CMake, il faut vérifier que Python 3.9 est bien utilisé. Aucune version précise de CUDA Toolkit n’étant indiquée dans la source, consultez les instructions de compilation à jour du dépôt de code avant l’installation.

Les personnes qui débutent en compilation peuvent s’appuyer sur les instructions détaillées du fork communautaire indiqué dans le guide. Selon la source, compiler le code est plus direct pour les personnes ayant de l’expérience en programmation et en science des données. Les commandes de ligne de commande n’étant pas fournies ici, suivez les instructions officielles de compilation plutôt que d’ajouter des commandes supposées qui ne figurent pas dans le dépôt.

La scène peut être constituée de photos ou d’une vidéo. Les images doivent contenir des vues nettes et chevauchantes, afin d’aider COLMAP à déterminer les positions des caméras. Autrement dit, filmez ou photographiez la même scène sous différents angles ; évitez de commencer avec un ensemble d’images floues ou sans continuité visuelle.

Flux de travail Instant NeRF, étape par étape

1. Préparez l’environnement de compilation. Installez Visual Studio 2019, CUDA Toolkit, Python 3.9 et CMake 3.22. Vérifiez que CMake utilise Python 3.9, puis compilez le code en suivant les instructions du projet. Le guide de NVIDIA renvoie également les débutants qui rencontrent des difficultés d’installation aux étapes commentées du fork communautaire.

2. Capturez la scène en photo ou en vidéo. Photographiez ou filmez le même espace ou le même objet depuis différentes positions. Veillez à conserver des détails nets dans les images et à ce que chacune puisse visuellement se raccorder aux autres. L’approche de base recommandée par la source consiste à préparer une série de prises de vue conforme aux principes de la photogrammétrie.

3. Faites déterminer les positions des caméras. Au début du flux de travail Instant NeRF, COLMAP calcule les positions des caméras à partir des images. Avant l’entraînement, vérifiez donc votre série de prises de vue : les images doivent montrer des parties communes de la scène et être suffisamment nettes. Une fois les positions des caméras calculées, vous pouvez entraîner la première scène NeRF.

4. Lancez l’interface Testbed. Ouvrez le fichier compilé Testbed.exe via Anaconda. Selon le guide de NVIDIA, l’entraînement démarre automatiquement au lancement de l’interface. Pendant l’entraînement, surveillez le graphique de la perte et l’aperçu de la scène. Le guide indique que l’essentiel des progrès en qualité d’image peut être visible au cours des 30 premières secondes, même si le résultat peut continuer à s’améliorer pendant quelques minutes.

5. Arrêtez l’entraînement au moment opportun. La stabilisation du graphique de la perte peut indiquer qu’il est temps d’envisager l’arrêt de l’entraînement. Selon le guide, arrêter l’entraînement peut améliorer la fréquence d’images de la visionneuse. Ne cherchez donc pas uniquement à prolonger l’entraînement : évaluez à la fois la qualité de la scène et la fluidité de l’affichage.

6. Préparez une animation de caméra. Placez-vous à une position de caméra dans la scène, puis ajoutez une image clé avec l’option Add from Cam. Le parcours de caméra se construit à l’aide de courbes de Bézier. Utilisez l’option Read pour prévisualiser le résultat. Si le mouvement vous convient, enregistrez le parcours de caméra et créez une vidéo en pleine qualité avec le script de rendu situé dans le dossier scripts du code.

Dans les flux de travail d’architecture, d’intérieur et de visualisation

Dans ce guide, Instant NeRF permet de créer une scène à partir d’images et de l’observer depuis différentes positions de caméra. Le guide de NVIDIA souligne que la méthode peut également inclure l’arrière-plan dans la scène. Cette approche peut être évaluée dans le cadre d’expérimentations par les architectes, les architectes d’intérieur et les équipes de visualisation qui souhaitent examiner un espace avec son environnement, plutôt qu’un objet isolé.

La source ne précise toutefois pas la compatibilité avec un logiciel de CAO ou de BIM particulier, les formats de livraison pour la production ni les possibilités d’intégration directe aux flux de travail de projet. Elle mentionne la nécessité de CUDA Toolkit, mais ne liste aucun modèle précis de carte graphique ni aucune configuration minimale. Les bureaux doivent donc vérifier au préalable la compatibilité de leurs stations de travail et consulter les instructions de compilation à jour. Il est préférable de considérer Instant NeRF comme une méthode d’expérimentation pour créer une scène à partir d’images, et non de supposer qu’il remplace les outils de modélisation et de rendu existants.

Erreurs fréquentes

• Utiliser des images floues ou avec trop peu de chevauchement : COLMAP détermine les positions des caméras à partir des images. Avant l’entraînement, vérifiez que la série contient des images nettes, liées entre elles et prises sous différents angles.

• Négliger la version de Python lors de la compilation : le guide indique Python 3.9 et CMake 3.22. Vérifiez que CMake utilise la bonne version de Python pendant la compilation.

• Évaluer l’entraînement uniquement en fonction de sa durée : surveillez la qualité de l’image, le graphique de la perte et les performances de la visionneuse. Lorsque le graphique se stabilise, il peut être judicieux d’arrêter l’entraînement.

• Rendre la vidéo sans prévisualiser le parcours de caméra : vérifiez d’abord le mouvement avec Read, puis enregistrez le parcours de caméra et lancez le script de rendu.

Pour aller plus loin

Commencer par une petite scène facile à refaire permet d’observer plus simplement l’effet de la qualité des images sur le résultat. Essayez séparément les entrées photo et vidéo et comparez les résultats obtenus dans vos propres conditions de prise de vue. Vous pouvez aussi explorer les commandes de caméra et les vues de débogage de l’interface ; le guide indique que ces options sont disponibles sans détailler la fonction de chacune.

Si vous souhaitez créer une animation, commencez par définir le parcours de caméra et prévisualisez-le avec Read. Enfin, enregistrez le parcours et utilisez le script de rendu pour obtenir une vidéo en pleine qualité. En cas de problème d’installation ou de compilation, vérifiez à nouveau les instructions à jour du dépôt du projet ainsi que les composants indiqués dans le guide.

Source et licence

Ce guide est une adaptation en turc des informations relatives à l’installation, à la préparation des images, à l’entraînement et à l’animation figurant dans le guide technique de NVIDIA intitulé « Getting Started with NVIDIA Instant NeRFs ». Selon la source, les informations de licence sont fournies librement.