NVIDIA Instant NeRF einrichten: Schritt für Schritt vom Bild zur 3D-Szene

Was lernen Sie in diesem Guide?

NVIDIA Instant NeRF lernt aus Bildern eine Szenenrepräsentation, die es ermöglicht, eine Szene aus verschiedenen Kamerapositionen zu betrachten. Der Ablauf umfasst den Build der Software, die Vorbereitung von Fotos oder Videos, die Berechnung der Kamerapositionen und das Training der Szene. Optional können Sie in der Oberfläche einen Kamerapfad anlegen und eine Animation rendern.

Der Autor von NVIDIAs technischem Guide berichtet, dass sich der erste NeRF-Versuch – einschließlich des Builds der Codebasis, der Bildvorbereitung und des Szenentrainings – in nur etwa einer Stunde durchführen lässt. Das ist keine Leistungsgarantie für jeden Computer, sondern eine Zeitangabe aus der praktischen Erfahrung, die im Guide beschrieben wird. Das Training selbst kann wenige Minuten dauern.

Voraussetzungen und Vorbereitung

Für den Build der Codebasis nennt der Guide Visual Studio 2019, die neueste Version des CUDA Toolkit, Python 3.9 und CMake 3.22. Während des Builds mit CMake müssen Sie sicherstellen, dass Python 3.9 verwendet wird. Da die Quelle keine konkrete Versionsnummer für das CUDA Toolkit angibt, prüfen Sie vor der Installation die aktuellen Build-Anweisungen im Code-Repository.

Wer noch wenig Erfahrung mit Builds hat, kann die ausführlichen Anleitungen im Community-Fork nutzen, auf den der Guide verweist. Laut Quelle ist der Build der Codebasis für Personen mit Erfahrung in Programmierung und Data Science ein unkomplizierterer Prozess. Da hier keine Anweisungen für die Kommandozeile aufgeführt sind, sollten Sie die offiziellen Build-Anleitungen befolgen, statt nicht im Repository enthaltene Befehle zu erraten und hinzuzufügen.

Als Szeneneingabe können Fotos oder Videos dienen. Die Bilder sollten scharfe, überlappende Frames enthalten, damit COLMAP die Kamerapositionen ermitteln kann. Mit anderen Worten: Achten Sie bei der Aufnahme darauf, dieselbe Szene aus verschiedenen Blickwinkeln zu zeigen. Beginnen Sie nicht mit einer Sammlung unscharfer oder voneinander losgelöster Bilder.

Instant-NeRF-Workflow Schritt für Schritt

1. Richten Sie die Build-Umgebung ein. Installieren Sie Visual Studio 2019, CUDA Toolkit, Python 3.9 und CMake 3.22. Prüfen Sie, ob CMake Python 3.9 verwendet, und bauen Sie die Codebasis gemäß den Projektanleitungen. NVIDIA verweist im Guide außerdem auf die kommentierten Schritte im Community-Fork, die Einsteigern bei Schwierigkeiten mit der Installation helfen.

2. Nehmen Sie die Szene als Foto oder Video auf. Erfassen Sie denselben Raum oder dasselbe Objekt aus verschiedenen Positionen. Achten Sie darauf, dass die Details in den Frames scharf bleiben und sich ein Bild visuell mit dem nächsten verbinden lässt. Der grundlegende Ansatz der Quelle: Erstellen Sie ein Aufnahmeset, das den Prinzipien der Photogrammetrie entspricht.

3. Lassen Sie die Kamerapositionen ermitteln. Im ersten Schritt des Instant-NeRF-Workflows berechnet COLMAP die Kamerapositionen in den Bildern. Überprüfen Sie daher vor dem Training das Aufnahmeset: Die Bilder sollten gemeinsame Bereiche der Szene zeigen und ausreichend scharf sein. Sobald die Kamerapositionen vorliegen, können Sie die erste NeRF-Szene trainieren.

4. Starten Sie die Testbed-Oberfläche. Öffnen Sie die kompilierte Datei Testbed.exe über Anaconda. Laut NVIDIA-Guide beginnt das Training automatisch, sobald die Oberfläche geöffnet ist. Verfolgen Sie während des Trainings den Loss-Graphen und die Szenenansicht. Der Guide hält fest, dass sich ein Großteil der Verbesserung der Bildqualität bereits in den ersten 30 Sekunden zeigt, sich das Ergebnis aber noch einige Minuten weiter verbessern kann.

5. Beenden Sie das Training nach Bedarf. Ein abflachender Loss-Graph kann ein Hinweis darauf sein, dass Sie das Training beenden können. Laut Guide lässt sich die Bildrate des Viewers verbessern, wenn das Training gestoppt wird. Orientieren Sie sich daher nicht allein an einer längeren Trainingsdauer, sondern beurteilen Sie Szenenqualität und flüssige Darstellung gemeinsam.

6. Erstellen Sie eine Kameraanimation. Wechseln Sie in der Oberfläche zu einer Kameraposition innerhalb der Szene und fügen Sie mit Add from Cam einen Keyframe hinzu. Die Kameraroute wird mit Bézierkurven erstellt. Verwenden Sie Read für die Vorschau. Wenn die Bewegung Ihren Vorstellungen entspricht, speichern Sie den Kamerapfad und erzeugen Sie mit dem Render-Skript im Ordner scripts der Codebasis ein Video in voller Qualität.

Im Workflow für Architektur, Innenräume und Visualisierung

Der in diesem Guide beschriebene Aspekt von Instant NeRF besteht darin, aus Bildern eine Szene zu erstellen und sie aus verschiedenen Kamerapositionen zu betrachten. Der NVIDIA-Guide hebt hervor, dass sich mit dieser Methode auch der Hintergrund in die Szene integrieren lässt. Dieser Ansatz kann in experimentellen Projekten für Architekten, Innenarchitekten und Visualisierungsteams interessant sein, die einen Raum nicht nur als einzelnes Objekt, sondern zusammen mit seiner Umgebung betrachten möchten.

Die Quelle macht jedoch keine Angaben zur Kompatibilität mit bestimmter CAD- oder BIM-Software, zu Ausgabeformaten für die Produktion oder zur direkten Übernahme in Projekt-Workflows. Für die Hardware wird zwar CUDA Toolkit vorausgesetzt, ein bestimmtes Grafikkartenmodell oder Mindestsystemanforderungen werden jedoch nicht genannt. Büros sollten daher vorab die Kompatibilität ihrer vorhandenen Workstations und die aktuellen Build-Anleitungen prüfen. Es ist sinnvoller, Instant NeRF als Methode zur Erprobung der Szenenerstellung aus Bildern zu betrachten – nicht als Ersatz für bestehende Modellierungs- und Render-Tools.

Häufige Fehler

• Unscharfe oder kaum überlappende Bilder verwenden: COLMAP ermittelt die Kamerapositionen anhand der Bilder. Prüfen Sie vor dem Training, ob das Aufnahmeset scharfe, zusammenhängende Frames aus verschiedenen Blickwinkeln enthält.

• Beim Build die Python-Version übersehen: Der Guide nennt Python 3.9 und CMake 3.22. Vergewissern Sie sich, dass CMake während des Builds die richtige Python-Version verwendet.

• Das Training nur anhand der Dauer beurteilen: Beobachten Sie neben der Bildqualität auch den Loss-Graphen und die Leistung des Viewers. Wenn sich der Graph abflacht, kann es sinnvoll sein, das Training zu beenden.

• Ohne Vorschau den Kamerapfad rendern: Prüfen Sie die Bewegung zuerst mit Read, speichern Sie anschließend den Kamerapfad und führen Sie dann das Render-Skript aus.

Nächste Schritte

Für den ersten Versuch empfiehlt sich eine kleine Szene, die sich leicht erneut aufnehmen lässt. So können Sie besser beobachten, wie sich die Bildqualität auf das Ergebnis auswirkt. Testen Sie Foto- und Videoeingaben getrennt und vergleichen Sie die Ergebnisse unter Ihren jeweiligen Aufnahmebedingungen. Sehen Sie sich auch die Kamerasteuerung und die Debug-Ansichten in der Oberfläche an. Der Guide erwähnt diese Optionen, erläutert jedoch nicht im Detail, welche Funktion sie jeweils erfüllen.

Wenn Sie eine Animation erstellen möchten, legen Sie zuerst den Kamerapfad an und sehen Sie ihn mit Read in der Vorschau an. Speichern Sie im letzten Schritt den Kamerapfad und verwenden Sie für ein Video in voller Qualität das Render-Skript. Falls bei Installation oder Build Probleme auftreten, prüfen Sie die im Guide genannten Komponenten und die aktuellen Anweisungen im Projekt-Repository erneut.

Quelle und Lizenz

Dieser Guide wurde anhand der Installations-, Bildvorbereitungs-, Trainings- und Animationsinformationen aus NVIDIAs technischem Guide „Getting Started with NVIDIA Instant NeRFs“ ins Türkische übertragen und angepasst. Laut Quelle werden die Lizenzinformationen frei bereitgestellt.