RealityScan: 3DGS-Kameraausrichtung und Export für D5 Render

Was lernen Sie in diesem Tutorial?

Diese Anleitung beschreibt, wie Sie in RealityScan Kameras anhand von Videoframes oder Fotos ausrichten und die Ergebnisse für den 3D-Gaussian-Splatting-Workflow (3DGS) von D5 Render vorbereiten. Am Ende haben Sie einen Ordner mit den Quellbildern, eine JSON-Datei mit den Kameraposen und eine PLY-Datei mit der anfänglichen Sparse Point Cloud. Diese drei Dateien werden in das Fenster zur 3DGS-Erstellung in D5 Render importiert.

Ziel ist nicht, in jedem RealityScan-Projekt die gleiche Anzahl an Kameras oder dieselbe Ergebnisqualität zu erreichen. Bildabdeckung, Aufnahmequalität und die bei der Ausrichtung entstandenen Komponenten können je nach Projekt variieren. Prüfen Sie daher vor dem Export, ob die richtige Komponente ausgewählt ist, und kontrollieren Sie die Ergebnisse.

Voraussetzungen: Software, Konto und Quelldateien

Für diesen Ablauf werden die Desktop-Version von RealityScan und das Fenster zur 3DGS-Erstellung in D5 Render verwendet. Die D5-Render-Anleitung beschreibt, wie Sie RealityScan über den Epic Games Launcher installieren und starten. Sie müssen sich im Launcher mit einem Epic-Games-Konto anmelden; prüfen Sie außerdem den während der Installation angezeigten Preisplan und die Endbenutzer-Lizenzvereinbarung. Da die Quellen keinen konkreten Preis nennen, gelten die im Installationsbildschirm angezeigten Konditionen.

Wählen Sie im Launcher im RealityScan-Tab die zu installierende Version aus. Die Anleitung empfiehlt Erstnutzern die neueste stabile Version, die standardmäßig ausgewählt ist; eine bestimmte Version ist nicht vorgeschrieben. Die Dokumentation zu RealityScan 2.1 von Epic Games erläutert außerdem neue Funktionen wie den Import von Punktwolken aus SLAM-Scannern und die Verwendung von LiDAR-Klassifizierungen. Für den folgenden D5-Render-Workflow werden jedoch die in der Quellanleitung beschriebenen Desktop-Funktionen verwendet.

Als Eingabe können Sie ein Video oder einen vorbereiteten Fotoordner verwenden. Legen Sie vorab fest, wo die Videoframes und der Frame-Ordner gespeichert werden sollen. Wenn Sie die Dateipfade der Frames nachträglich ändern, kann das die späteren Ladeschritte der Anleitung beeinträchtigen. Die Quellen nennen für diesen Ablauf keine besonderen Hardwareanforderungen.

Schritt für Schritt: Ausrichtung und Dateiexport

1. Legen Sie ein neues, leeres Projekt an. Starten Sie RealityScan, wechseln Sie zur WORKFLOW-Seite und prüfen Sie, ob keine Eingaben oder Komponenten aus einem früheren Projekt vorhanden sind. Das Projekt vor Beginn zu speichern, ist eine von der Anleitung empfohlene Vorsichtsmaßnahme.

2. Importieren Sie das Video oder die Bilder. Sie können die Videodatei in die Benutzeroberfläche ziehen oder die Schaltflächen Images / Folder verwenden. Bei Auswahl eines Videos öffnet sich das Fenster zur Frame-Extraktion. Im Beispiel der D5-Render-Anleitung wird neben dem Video ein Frame-Ordner erstellt und Jumps’ length(s) auf 0,5 Sekunden eingestellt. Mit diesem Intervall wird im Beispiel alle 0,5 Sekunden ein Frame extrahiert; für andere Aufnahmen kann ein anderes Intervall sinnvoll sein. Wenn Sie direkt Fotos verwenden, wählen Sie den vorhandenen Fotoordner aus.

3. Behalten Sie den Speicherort der Frames und des Quellordners bei. Schließen Sie die Anwendung nicht, während das Video verarbeitet wird. Prüfen Sie nach Abschluss, ob die Frame-Sequenz im Inputs-Panel angezeigt wird. Verschieben Sie das Quellvideo oder den Frame-Ordner während des Vorgangs nicht; im nächsten Schritt wird D5 Render auf diesen Ordner verwiesen.

4. Prüfen Sie die Bilder. Öffnen Sie einige Frames in der 2D-Ansicht und kontrollieren Sie Schärfe, Belichtung und den Bildausschnitt der Szene. Die Anleitung empfiehlt, Bewegungsunschärfe, Reflexionen, große texturlose Flächen und abrupte Belichtungsänderungen zu vermeiden. Bei Videoaufnahmen sollte außerdem möglichst nicht häufig gezoomt werden.

5. Richten Sie die Bilder mit Align Images aus. Führen Sie den Befehl Align Images in der oberen Werkzeugleiste aus. Dabei werden Bildmerkmale erkannt, Frames einander zugeordnet und Kameraposen berechnet; zugleich entstehen spärliche Szenenpunkte. Berücksichtigen Sie, dass eine größere Anzahl und Auflösung der Bilder die Verarbeitungszeit verlängern kann.

6. Überprüfen Sie die Komponenten. Kontrollieren Sie nach Abschluss den von den Kameras gebildeten Pfad und die Sparse Points in der 3D-Ansicht. Laut Anleitung sollte bei den meisten Bildern der Status Registered angezeigt werden, die Kameras sollten eine durchgängige Verteilung bilden und die Sparse Points sollten die Zielszenen beschreiben. Wenn mehrere Komponenten entstehen, nehmen Sie nicht automatisch an, dass die Komponente mit den meisten registrierten Kameras die richtige ist; prüfen Sie auch, ob die Geometrie konsistent ist.

7. Wählen Sie für den Export die gültige Komponente aus. Kameradaten-JSON und PLY-Datei müssen aus derselben Komponente stammen. Bei einem Export aus unterschiedlichen Komponenten können Koordinatensysteme, Kamerazahlen und Punktwolkenpositionen voneinander abweichen. Im Beispiel der Anleitung ist Component 1 mit 107/121 Kameras die größte Komponente. Diese Zahlen gelten nur für das Beispielprojekt und sind keine Richtwerte für jede Szene.

8. Speichern Sie das Kameratransformations-JSON. Aktivieren Sie im Exportfenster unter Camera Alignment die Option Radiance Fields Transformation File und legen Sie den Dateinamen transforms.json fest.

9. Exportieren Sie die Sparse Point Cloud als PLY. Öffnen Sie das Exportfenster erneut und exportieren Sie unter Sparse Scene Structure die Option Sparse point cloud im Format Polygon File Format (*.ply). Die Anleitung verwendet sparse_points.ply als Beispielnamen; wenn das nächste Tool einen anderen Dateinamen verlangt, können Sie diesen verwenden.

10. Laden Sie die drei Eingaben in D5 Render. Öffnen Sie das Fenster Create 3DGS from images/video, geben Sie einen Projektnamen ein und wählen Sie unter Source Type die Option Photos. Wählen Sie im Bereich Photos den Quellfotoordner oder den Ordner mit den extrahierten Frames aus. Fügen Sie unter Advanced Training Files für Camera poses die Datei transforms.json und für Initial sparse point cloud die Datei sparse_points.ply hinzu. Vergewissern Sie sich, dass alle drei Dateien aus derselben Ausrichtungskomponente stammen, und starten Sie den Vorgang mit der Schaltfläche Start reconstruction.

Häufige Fehler und ihre Auswirkungen auf den Workflow

Der kritischste Fehler ist, JSON und PLY aus unterschiedlichen Komponenten zu exportieren. Prüfen Sie vor dem Export die ausgewählte Komponente und erstellen Sie beide Dateien auf Grundlage derselben Auswahl. Ein weiteres Problem ist, den Video-Frame-Ordner zu verschieben oder umzubenennen; der Ordner, der in D5 Render geladen wird, muss während des gesamten Projekts erreichbar bleiben.

Wenn die Ausrichtung unzureichend ist, prüfen Sie zunächst die Schärfe der Quellbilder, die Szenenabdeckung und die Überlappung zwischen benachbarten Frames. Vermeiden Sie große Sprünge zwischen den Blickpunkten. Wenn mehrere Komponenten entstehen, entscheiden Sie nicht allein anhand der Kamerazahl; auch die 3D-Verteilung der Kameras und die Konsistenz der Sparse Points mit der Szene sind wichtig.

Für Architektur-, Innenarchitektur- und Archviz-Teams bietet diese Methode einen dokumentierten Weg, einen bestehenden Raum anhand von Videos oder Fotos in einen 3DGS-Workflow zu übertragen. Sie kann besonders für diejenigen nützlich sein, die einen Raum mit Bildern dokumentieren und die Daten zur Rekonstruktion an D5 Render übergeben möchten. Die Quellen bieten jedoch keine Vergleichsinformationen zu Hardwareleistung, Lizenzkosten oder Kompatibilität zwischen bestimmten Versionen, abgesehen von Angaben zur Verarbeitungszeit. Prüfen Sie diese Punkte vor einem realen Projekt anhand des Installationsbildschirms und der verwendeten Version separat.

Nächste Schritte

Prüfen Sie vor dem Start noch einmal, ob Ordner, JSON und PLY gemeinsam gespeichert sind und ob die Dateien aus derselben Ausrichtungskomponente stammen. Wer den Workflow automatisieren möchte, findet in der RealityScan-Kommandozeilendokumentation Optionen, um Videoframes mit dem Befehl importVideo in ein Projekt zu importieren und Befehlssequenzen auszuführen. Wenn Sie Schritte über die Kommandozeile ausführen, prüfen Sie die Parameter in der Dokumentation des jeweiligen Befehls; gehen Sie nicht davon aus, dass sie den in dieser Anleitung beschriebenen GUI-Export und Ladevorgang ersetzen.

Quellen und Lizenz

Dieses Tutorial wurde auf Grundlage der Dokumentation von Epic Games zu RealityScan 2.1, Projekten und Bildbefehlen sowie zu allen Befehlen und der Anleitung von D5 Render zur Kameraausrichtung mit RealityScan neu verfasst und angepasst. Die Quellen sind als zur freien Nutzung gekennzeichnet, in den bereitgestellten Texten wird jedoch keine bestimmte Open-Source-Lizenz genannt. Daher wird kein Lizenzname angegeben.