Kurz gesagt
- NVIDIA Instant NeRF kann mithilfe der Neural-Radiance-Field-Technik (NeRF) eine Szene innerhalb von Minuten trainieren.
- Für die Installation werden Visual Studio 2019/2022, ein aktuelles CUDA Toolkit, Python 3.7+ und CMake 3.21+ benötigt.
- Zur Bestimmung der Kamerapositionen wird COLMAP verwendet; die Eingabefotos müssen den Prinzipien der Fotogrammetrie entsprechen, scharf sein und sich überlappen.
- Die Software kann mit einem Kamerapfad-Editor mit Bézier-Kurven eine Animation der Szene in voller Qualität rendern.
Die von NVIDIA entwickelte Software Instant NeRF (NGP Instant NeRF) ist ein Open-Source-Tool, das es ermöglicht, aus wenigen Fotos mithilfe der Neural-Radiance-Field-Technik (NeRF) innerhalb von Minuten eine 3D-Szene zu trainieren. Dieser Artikel führt Sie durch die Installation von Grund auf, das Training Ihrer ersten Szene und das Erstellen einer Kamerapfad-Animation.
Was Sie in diesem Tutorial lernen
Die Installationsanforderungen von Instant NeRF
Prinzipien für qualitativ hochwertige Eingabefotos
Szenentraining über die Benutzeroberfläche (GUI)
Rendern einer Animation mit Kamerapfad und Bézier-Kurven
Voraussetzungen
Instant NeRF benötigt eine NVIDIA-GPU; bei Karten mit Tensor-Kernen steigt die Leistung. Für Windows stehen fertige Binärversionen zur Verfügung, wer jedoch die Python-Bindings nutzen oder unter Linux arbeiten möchte, muss aus dem Quellcode kompilieren. Folgende Komponenten werden für die Kompilierung benötigt:
Windows: Visual Studio 2019 oder 2022
Linux: GCC/G++ 8 oder höher
CUDA 11.5 oder höher (Windows) bzw. CUDA 10.2 oder höher (Linux)
CMake 3.21 oder höher
(Optional) Python 3.7 oder höher für interaktive Bindings
(Optional) OptiX 7.3 oder höher für schnelleres Mesh-SDF-Training
(Optional) Vulkan SDK für DLSS-Unterstützung
Laut NVIDIAs eigenem Blogbeitrag wurde die Kompilierung auch mit Python 3.9 und CMake 3.22 erfolgreich getestet; manche Nutzer bevorzugen diese Versionen.
Schritt-für-Schritt-Installation und erste Szene
1. Repository klonen
git clone --recursive https://github.com/nvlabs/instant-ngp
cd instant-ngpDieser Befehl lädt den gesamten Quellcode samt Submodulen herunter. Windows-Nutzer sollten den Vorgang in der Developer Command Prompt ausführen.
2. Mit CMake kompilieren
cmake . -B build
cmake --build build --config RelWithDebInfo -jDauert die Kompilierung sehr lange oder schlägt fehl, kann das an unzureichendem Arbeitsspeicher liegen; versuchen Sie es in diesem Fall ohne das Flag -j erneut.
3. Mit Beispielszene testen
./build/instant-ngp --scene data/nerf/foxDieser Befehl trainiert eine im Repository mitgelieferte Fuchs-Szene und öffnet die Benutzeroberfläche. Unter Windows müssen die Schrägstriche umgekehrt verwendet werden.
4. Szene mit eigenen Fotos vorbereiten. Fotografieren Sie nicht wie bei der Dokumentarfotografie, sondern nach der Logik der Fotogrammetrie: Die Objekte in der Szene müssen während der gesamten Aufnahme unverändert bleiben, die Bilder dürfen keine Bewegungs- oder Fokusunschärfe aufweisen; ein Weitwinkelobjektiv ist von Vorteil, da es mehr Bereich abdeckt. Zur Bestimmung der Kamerapositionen wird COLMAP verwendet; deshalb müssen sich die Fotos überlappen und scharf sein.
5. Benutzeroberfläche beobachten und Training stoppen. Nach dem Trainingsstart flacht die Loss-Kurve in den ersten 30 Sekunden stark ab; der Großteil der Bildqualität entsteht in dieser Zeit, die Szene kann sich jedoch über einige Minuten hinweg weiter verbessern. Sie können das Training jederzeit (Taste T) stoppen, um die Framerate der Vorschau zu erhöhen.
6. Animation mit Kamerapfad erstellen. Der Kamerapfad-Editor in der Benutzeroberfläche erstellt aus jeder Position, die Sie durch Navigieren in der Szene und Klicken auf „Add from Cam“ hinzufügen, eine Kameratrajektorie mit Bézier-Kurven. Mit „Read“ können Sie die Animation vorab ansehen und bei zufriedenstellendem Ergebnis den Kamerapfad speichern. Um ein Video in voller Qualität zu rendern, benötigen Sie den gespeicherten NeRF-Snapshot und die Kamerapfad-Datei zusammen mit dem Render-Skript im scripts-Ordner; so erzeugt beispielsweise das Skript scripts/run.py aus einer gespeicherten Szene und einem Kamerapfad eine Videodatei mit von Ihnen festgelegter Dauer, Framerate und Auflösung.
Häufige Fehler
Kann COLMAP die Kamerapositionen nicht korrekt bestimmen, fällt das Ergebnis fehlerhaft aus; die häufigste Ursache dafür sind Bewegungen oder Unschärfe während der Aufnahme.
Ist die Umgebung der Szene zu groß oder zu klein definiert, kann die Qualität leiden; in diesem Fall kann es nötig sein, am Parameter aabb_scale zu justieren.
Bei mehreren eingebauten GPUs kann die automatische Architekturerkennung fehlschlagen; in diesem Fall müssen Umgebungsvariablen genutzt werden, um die richtige GPU auszuwählen.
Nächste Schritte
Nach Abschluss des Grundablaufs können Sie über den Snapshot-Bereich der GUI des Tools das trainierte Modell speichern und erneut laden sowie die Szene mit verschiedenen Rendermodi und Debug-Visualisierungen untersuchen. Die Python-Bindings ermöglichen es, alle Funktionen der GUI über die Kommandozeile zu nutzen – ideal für alle, die Experimente automatisieren möchten.
Quelle und Lizenz
Dieser Artikel wurde aus dem offiziellen technischen Leitfaden „Getting Started with NVIDIA Instant NeRFs“ im offiziellen NVIDIA-Entwicklerblog sowie aus Informationen der NVIDIA Instant-NeRF-Vorstellungsseite ins Deutsche übertragen. Die Installationsbefehle stammen von der unter Apache-2.0 lizenzierten instant-ngp-Projektseite (über Hugging Face zugängliches Repository camenduru/instant-ngp) und wurden unverändert übernommen.
Quellen
3 QuellenQuelltexte werden nicht neu veröffentlicht; kurze Zitate sind gekennzeichnet, der Rest ist eigene Zusammenfassung und Einordnung.
Instant NeRF ist ein praktisches Testtool für Visualisierer, die einen Raum schnell aus wenigen Fotos dreidimensional darstellen möchten; bemerkenswert ist, dass der Hintergrund mit in die Szene einbezogen wird und so der bei klassischer Fotogrammetrie oft verlorengehende Umgebungskontext erhalten bleibt. Unsere Empfehlung für Büros in der Türkei lautet, zunächst die fertige Windows-Binärversion auf einer geeigneten NVIDIA-GPU auszuprobieren und bei Bedarf auf die Kompilierung aus dem Quellcode überzugehen.
Allerdings erfordert das Tool einen technischen Einrichtungsprozess: Vertrautheit mit Visual Studio, CUDA, CMake und optional der Python-Umgebung beschleunigt die Arbeit. Bevor man es produktiv einsetzt, sollte man den Ablauf mit ein paar Testszenen durchspielen, um Zeitverluste zu vermeiden.
Häufige Fragen
Welche Hardware wird zum Ausführen von Instant NeRF benötigt?
Eine NVIDIA-GPU ist erforderlich; bei Karten mit Tensor-Kernen steigt die Leistung. Die in den Quellen geteilten Ergebnisse wurden mit einer RTX 3090 erzielt.
Wie lange dauert das Training einer Szene mit Instant NeRF?
Der Großteil der visuellen Qualität wird bereits in den ersten 30 Sekunden erreicht, das Training kann jedoch noch einige Minuten fortgesetzt werden, bis sich die Loss-Kurve abflacht.
Ist Instant NeRF kostenlos?
Ja, die Software wird über GitHub kostenlos für den individuellen Gebrauch bereitgestellt.



