Выравнивание камер 3DGS в RealityScan и экспорт для D5 Render

Чему вы научитесь в этом руководстве?

В этом руководстве рассматривается выравнивание камер по кадрам видео или фотографиям в RealityScan и подготовка результатов для рабочего процесса 3D Gaussian Splatting (3DGS) в D5 Render. В итоге у вас будет папка с исходными изображениями, файл JSON с позами камер и файл PLY с исходным разреженным облаком точек. Эти три ресурса нужно загрузить в окно создания 3DGS в D5 Render.

Цель не в том, чтобы получить одинаковое количество камер или одинаковое качество результата в каждом проекте RealityScan. Охват изображений, качество съёмки и компоненты, полученные при выравнивании, могут различаться от проекта к проекту. Поэтому перед экспортом важно выбрать нужный компонент и проверить результаты.

Что понадобится: программное обеспечение, учётная запись и исходные файлы

Для работы понадобятся настольная версия RealityScan и окно создания 3DGS в D5 Render. В руководстве D5 Render описана установка и запуск RealityScan через Epic Games Launcher. В Launcher необходимо войти в учётную запись Epic Games; также следует ознакомиться с тарифным планом, показанным в интерфейсе во время установки, и Лицензионным соглашением конечного пользователя. В исходных материалах конкретная цена не указана, поэтому ориентируйтесь на условия, отображаемые на экране установки.

На вкладке RealityScan в Launcher выберите версию для установки. Для тех, кто пользуется программой впервые, руководство рекомендует последнюю стабильную версию, выбранную по умолчанию, но не требует конкретного релиза. В документации Epic Games по RealityScan 2.1 также описаны такие нововведения, как импорт облаков точек со SLAM-сканеров и использование классификаций LiDAR. Однако в приведённом ниже рабочем процессе D5 Render используются функции настольной версии, описанные в исходном руководстве.

В качестве исходных данных можно использовать видео или подготовленную папку с фотографиями. Если нужно извлечь кадры из видео, заранее определите расположение файла и папки с кадрами. Последующее изменение путей к файлам кадров может помешать дальнейшим шагам загрузки, описанным в руководстве. В исходных материалах для этой операции не указаны особые требования к оборудованию.

Пошаговая инструкция: выравнивание и экспорт файлов

1. Создайте новый чистый проект. Запустите RealityScan, перейдите на страницу WORKFLOW и убедитесь, что в проекте не осталось входных данных или компонентов от предыдущей работы. Руководство также рекомендует сохранить проект перед началом — это мера предосторожности.

2. Импортируйте видео или изображения. Перетащите видеофайл в интерфейс либо воспользуйтесь кнопками Images / Folder. При выборе видео откроется окно извлечения кадров. В примере из руководства D5 Render рядом с видео создаётся папка для кадров, а значение Jumps’ length(s) устанавливается на 0,5 секунды. В этом примере кадры извлекаются каждые 0,5 секунды; подходящий интервал может меняться в зависимости от съёмки. Если вы используете готовые фотографии, выберите соответствующую папку.

3. Не меняйте расположение кадров и исходной папки. Не закрывайте приложение во время обработки видео. По завершении проверьте, что последовательность кадров отображается на панели Inputs. Не перемещайте исходное видео или папку с кадрами во время обработки: на следующем этапе эту папку нужно будет указать в D5 Render.

4. Проверьте изображения. Откройте несколько кадров в режиме 2D и оцените резкость, экспозицию и охват сцены. Руководство рекомендует избегать смаза от движения, отражений, больших поверхностей без текстур и резких перепадов экспозиции. Для видеосъёмки также советуют не менять масштаб слишком часто.

5. Выполните выравнивание с помощью Align Images. Запустите команду Align Images на верхней панели инструментов. Она находит особенности изображений, сопоставляет кадры и вычисляет позы камер; одновременно формируются разреженные точки сцены. Учтите, что обработка может занять больше времени при увеличении количества изображений и их разрешения.

6. Проверьте компоненты. После завершения процесса оцените траекторию камер и разреженные точки в 3D-виде. В качестве критериев проверки руководство указывает статус Registered у большинства изображений, непрерывное расположение камер и соответствие разреженных точек целевой сцене. Если получено несколько компонентов, не считайте автоматически правильным тот, в котором больше всего зарегистрированных камер: проверьте также геометрическую согласованность.

7. Выберите подходящий компонент для экспорта. JSON с камерами и файл PLY должны быть созданы из одного и того же компонента. У файлов, экспортированных из разных компонентов, могут не совпасть системы координат, количество камер и расположение облака точек. В примере из руководства Component 1 — крупнейший компонент с 107/121 камерами. Это показатели только для проекта-примера, а не ожидаемые значения для любой сцены.

8. Сохраните JSON с преобразованиями камер. В разделе Camera Alignment окна Export отметьте параметр Radiance Fields Transformation File и задайте имя файла transforms.json.

9. Экспортируйте разреженное облако точек в формате PLY. Снова откройте окно Export и экспортируйте параметр Sparse point cloud из раздела Sparse Scene Structure в формате Polygon File Format (*.ply). В руководстве в качестве примера используется имя sparse_points.ply; если следующему инструменту требуется другое имя, укажите его.

10. Загрузите в D5 Render три входных ресурса. Откройте окно Create 3DGS from images/video, введите имя проекта и выберите Photos в разделе Source Type. В разделе Photos укажите папку с исходными фотографиями или извлечёнными кадрами. В разделе Advanced Training Files добавьте transforms.json для Camera poses и sparse_points.ply для Initial sparse point cloud. Убедившись, что все три файла получены из одного компонента выравнивания, нажмите Start reconstruction.

Частые ошибки и их влияние на рабочий процесс

Самая критичная ошибка — экспортировать JSON и PLY из разных компонентов. Перед экспортом проверьте выбранный компонент и создайте оба файла из одного и того же компонента. Ещё одна проблема — перемещение папки с кадрами видео или изменение её имени: папка, которую вы загрузите в D5 Render, должна оставаться доступной на протяжении всего проекта.

Если выравнивание получилось неточным, сначала проверьте резкость исходных изображений, охват сцены и перекрытие соседних кадров. Избегайте резких перемещений между точками съёмки. Если получено несколько компонентов, не принимайте решение только по количеству камер: расположение камер в 3D-пространстве и разреженные точки также должны соответствовать сцене.

Для команд, работающих в архитектуре, дизайне интерьеров и archviz, этот метод предлагает описанный способ перенести существующее пространство из видео или фотографий в рабочий процесс 3DGS. Он может быть полезен тем, кто хочет задокументировать помещение с помощью изображений и отправить эти данные на реконструкцию в D5 Render. При этом в исходных материалах нет сравнительных данных о производительности оборудования, стоимости лицензии или совместимости конкретных версий. Перед реальным проектом отдельно проверьте эти вопросы на экране установки и с учётом используемой версии.

Следующие шаги

Перед отправкой ещё раз проверьте, что папка с изображениями, JSON и PLY хранятся вместе и относятся к одному компоненту выравнивания. В документации RealityScan по командной строке для автоматизации рабочего процесса описаны варианты импорта кадров видео в проект с помощью команды importVideo и запуска последовательностей команд. Если вы используете командную строку, проверьте параметры в документации соответствующей команды; не следует считать, что эти шаги заменяют описанный в руководстве процесс экспорта и загрузки через GUI.

Источники и лицензия

Это руководство переработано и адаптировано на основе документации Epic Games по RealityScan 2.1, проектам и командам для работы с изображениями, а также документации по всем командам; кроме того, использовано руководство D5 Render по выравниванию камер с RealityScan. В исходных материалах указано свободное использование, однако конкретное название открытой лицензии не приводится, поэтому мы не указываем название лицензии.