Dernières actualités
Guide Chaos Vantage : gérer jour/nuit et variations de matériaux avec Scene StatesComment activer des caustics réalistes dans Corona Renderer et D5 Render : guideVidéos de rendu architectural avec Runway Gen-4 : guide des prompts de mouvement de caméraGuide Enscape : accélérer la préparation des présentations avec les Settings PresetsCréer son propre workflow de rendu avec Veras 5.3 NODES : guide pas à pasGuide : créer de la musique pour vos vidéos de présentation architecturale avec Lyria 3.5 Clip PreviewToonflow : une plateforme IA open source pour le drame court et la production vidéoInstant NeRF : entraîner une scène 3D en quelques minutes à partir de photosUtiliser les Gaussian Splat dans V-Ray : guide étape par étape pour MayaDistribution naturelle de végétation avec Chaos Scatter : guide 3ds Max et Vantage
TutorielsNVIDIAInstant NeRF

Instant NeRF : entraîner une scène 3D en quelques minutes à partir de photos

NVIDIA Instant NeRF est un outil open source qui entraîne une scène 3D en quelques minutes à partir de peu de photos ; cet article détaille l'installation, le premier entraînement de scène et l'animation de trajectoire caméra étape par étape.

Image d'une scène d'intérieur transformée d'une photo en nuage de points numériqueImage IA
Image d’illustration générée par IA.Image : 3dsınıfı / FCA AI

En bref

  1. NVIDIA Instant NeRF peut entraîner une scène en quelques minutes grâce à la technique du neural radiance field (NeRF).
  2. L'installation nécessite Visual Studio 2019/2022, un CUDA Toolkit récent, Python 3.7+ et CMake 3.21+.
  3. COLMAP est utilisé pour déterminer les positions de caméra ; les photos d'entrée doivent respecter les principes de la photogrammétrie, être nettes et se chevaucher.
  4. Le logiciel permet de rendre une animation en pleine qualité à partir de la scène grâce à un éditeur de trajectoire caméra à courbes de Bézier.

Instant NeRF (NGP Instant NeRF), développé par NVIDIA, est un outil open source qui permet d'entraîner une scène 3D en quelques minutes à partir de peu de photos grâce à la technique du neural radiance field (NeRF). Cet article vous guide pour installer l'outil de zéro, entraîner votre première scène et créer une animation de trajectoire caméra.

Ce que vous allez apprendre dans ce tutoriel

  • Les prérequis d'installation d'Instant NeRF

  • Les principes pour prendre des photos d'entrée de qualité

  • L'entraînement de scène via l'interface (GUI)

  • Le rendu d'animation avec une trajectoire caméra à courbes de Bézier

Prérequis

Instant NeRF nécessite un GPU NVIDIA ; les performances sont meilleures avec des cartes dotées de tensor cores. Des versions binaires sont disponibles pour Windows, mais ceux qui souhaitent utiliser les liaisons Python ou exécuter l'outil sous Linux doivent compiler à partir du code source. Les éléments nécessaires à la compilation sont les suivants :

  • Windows : Visual Studio 2019 ou 2022

  • Linux : GCC/G++ 8 ou supérieur

  • CUDA 11.5 ou supérieur (Windows) ou CUDA 10.2 ou supérieur (Linux)

  • CMake 3.21 ou supérieur

  • (Optionnel) Python 3.7 ou supérieur, pour les liaisons interactives

  • (Optionnel) OptiX 7.3 ou supérieur, pour un entraînement de mesh SDF plus rapide

  • (Optionnel) Vulkan SDK, pour le support DLSS

Selon le blog officiel de NVIDIA, la compilation a également été testée avec succès avec Python 3.9 et CMake 3.22 ; certains utilisateurs préfèrent ces versions.

Installation et première scène étape par étape

1. Clonez le dépôt

Prompt
git clone --recursive https://github.com/nvlabs/instant-ngp
cd instant-ngp

Cette commande télécharge tout le code source avec ses sous-modules. Les utilisateurs de Windows doivent exécuter cette opération dans l'invite de commande développeur (developer command prompt).

2. Compilez avec CMake

Prompt
cmake . -B build
cmake --build build --config RelWithDebInfo -j

Si la compilation est trop longue ou échoue, cela peut provenir d'un manque de mémoire ; dans ce cas, réessayez sans le drapeau -j.

3. Testez avec la scène d'exemple

Prompt
./build/instant-ngp --scene data/nerf/fox

Cette commande entraîne une scène de renard fournie dans le dépôt et ouvre l'interface. Sous Windows, il faut utiliser des barres obliques inversées.

4. Préparez une scène avec vos propres photos. Procédez selon la logique de la photogrammétrie et non de la photographie documentaire : les objets de la scène doivent rester fixes pendant toute la prise de vue, les images ne doivent présenter ni flou de mouvement ni flou de mise au point ; un objectif grand angle est avantageux car il couvre une plus grande zone. COLMAP est utilisé pour déterminer les positions de caméra ; les photos doivent donc se chevaucher et être nettes.

5. Observez l'interface et arrêtez l'entraînement. Une fois l'entraînement lancé, le graphique de perte (loss) se stabilise en grande partie dans les 30 premières secondes ; l'essentiel de la qualité d'image est atteint durant cette période, mais la scène peut continuer à s'améliorer pendant plusieurs minutes. Vous pouvez arrêter l'entraînement (touche T) à tout moment pour augmenter le taux de rafraîchissement du viewport.

6. Créez une animation avec la trajectoire caméra. L'éditeur de trajectoire caméra de l'interface crée une trajectoire à courbes de Bézier à partir de chaque position ajoutée via « Add from Cam » en naviguant dans la scène. Vous pouvez prévisualiser l'animation avec « Read » et sauvegarder la trajectoire une fois le résultat satisfaisant. Pour rendre une vidéo en pleine qualité, vous devez utiliser l'instantané (snapshot) NeRF sauvegardé et le fichier de trajectoire caméra avec le script de rendu du dossier scripts ; par exemple, le script scripts/run.py prend une scène et une trajectoire caméra sauvegardées et produit un fichier vidéo à la durée, au taux de rafraîchissement et à la résolution que vous définissez.

Erreurs courantes

  • Si COLMAP ne détermine pas correctement les positions de caméra, le résultat sera dégradé ; la cause la plus fréquente est un mouvement ou un flou pendant la prise de vue.

  • Si les contours de la scène sont définis trop grands ou trop petits, la qualité peut en pâtir ; il peut alors être nécessaire d'ajuster le paramètre aabb_scale.

  • Avec plusieurs GPU installés, la détection automatique de l'architecture peut échouer ; dans ce cas, il faut utiliser des variables d'environnement pour sélectionner le bon GPU.

Prochaines étapes

Une fois le flux de base maîtrisé, vous pouvez utiliser la section Snapshot de l'interface GUI de l'outil pour sauvegarder et recharger le modèle entraîné, et explorer la scène avec différents modes de rendu et visualisations de débogage. Les liaisons Python permettent à ceux qui souhaitent automatiser leurs expérimentations d'utiliser toutes les fonctionnalités du GUI en ligne de commande.

Source et licence

Cet article a été adapté en français à partir du guide technique « Getting Started with NVIDIA Instant NeRFs » publié sur le blog officiel des développeurs de NVIDIA, ainsi que des informations de la page de présentation d'Instant NeRF de NVIDIA. Les commandes d'installation proviennent de la page du projet instant-ngp sous licence Apache-2.0 (dépôt camenduru/instant-ngp accessible via Hugging Face) et ont été conservées dans leur forme originale.

Sources

3 sources
N
nvidia.comnvidia.com/en-us/research/nerf-sweepstakes
Résumé
D
developer.nvidia.comdeveloper.nvidia.com/blog/getting-started-with-nvidia-instant-nerfs
Résumé
H(
huggingface.co (Apache-2.0)huggingface.co/camenduru/instant-ngp
Citation

Les textes sources ne sont pas republiés ; les courtes citations sont signalées, le reste est notre propre résumé et commentaire.

L’avis de 3dsınıfı
3dL’analyse de la rédaction

Instant NeRF est un outil d'expérimentation pratique pour les professionnels de la visualisation souhaitant transformer rapidement un espace en 3D à partir de peu de photos ; le fait que l'arrière-plan soit également intégré à la scène est remarquable, car il préserve le contexte environnemental souvent perdu dans la photogrammétrie classique. Pour les bureaux en Turquie, notre recommandation est de d'abord tester avec la version binaire Windows prête à l'emploi sur un GPU NVIDIA compatible, puis de passer à la compilation depuis le code source si nécessaire.

Cependant, l'outil nécessite un processus d'installation technique : une familiarité avec Visual Studio, CUDA, CMake et éventuellement Python accélère le travail. Avant une utilisation en production, tester le processus avec plusieurs scènes d'essai réduira la perte de temps.

Questions fréquentes

Quel matériel est nécessaire pour exécuter Instant NeRF ?

Un GPU NVIDIA est requis ; les performances sont meilleures avec des cartes dotées de tensor cores. Les résultats partagés dans les sources ont été obtenus avec une RTX 3090.

Combien de temps faut-il pour entraîner une scène avec Instant NeRF ?

L'essentiel de la qualité visuelle de l'entraînement est obtenu dans les 30 premières secondes, mais l'entraînement peut se poursuivre quelques minutes supplémentaires jusqu'à ce que le graphique de perte se stabilise.

Instant NeRF est-il gratuit ?

Oui, le logiciel est proposé gratuitement pour un usage individuel via GitHub.

Les commentaires et le forum sont en turc.Rejoindre la discussion
+

À lire aussi