Как установить NVIDIA Instant NeRF: пошаговый переход от изображений к 3D-сцене

Что вы узнаете из этого руководства?

NVIDIA Instant NeRF изучает представление сцены по изображениям и позволяет рассматривать ее с разных ракурсов. Процесс состоит из нескольких этапов: сборка ПО, подготовка фотографий или видео, расчет положений камер и обучение сцены. При желании в интерфейсе можно создать траекторию камеры и отрендерить анимацию.

Автор технического руководства NVIDIA сообщает, что первый эксперимент с NeRF — включая сборку кодовой базы, подготовку изображений и обучение сцены — можно провести всего примерно за час. Это не гарантия производительности для любого компьютера, а оценка времени, основанная на практическом опыте, описанном в руководстве. Сам этап обучения может занять несколько минут.

Требования и подготовка

Для сборки кодовой базы в руководстве перечислены Visual Studio 2019, последняя версия CUDA Toolkit, Python 3.9 и CMake 3.22. При сборке через CMake необходимо убедиться, что используется Python 3.9. Поскольку в источнике не указана конкретная версия CUDA Toolkit, перед установкой проверьте актуальные инструкции по сборке в репозитории кода.

Тем, кто только начинает разбираться в сборке ПО, могут помочь подробные инструкции в форке сообщества, на который ссылается руководство. Согласно источнику, сборка кодовой базы — более простой процесс для пользователей с опытом программирования и работы с данными. Поскольку здесь не приведены инструкции командной строки, следуйте официальным указаниям по сборке, не пытаясь наугад добавлять команды, отсутствующие в репозитории.

Для входных данных сцены можно использовать фотографии или видео. Изображения должны быть четкими и содержать перекрывающиеся кадры, чтобы COLMAP мог определить положения камер. Иными словами, снимайте одну и ту же сцену с разных ракурсов; не начинайте с набора размытых или никак не связанных между собой изображений.

Пошаговый процесс работы с Instant NeRF

1. Подготовьте среду сборки. Установите Visual Studio 2019, CUDA Toolkit, Python 3.9 и CMake 3.22. Убедитесь, что CMake использует Python 3.9, и соберите кодовую базу в соответствии с инструкциями проекта. В руководстве NVIDIA новичкам, столкнувшимся с трудностями при установке, также предлагаются подробные шаги из форка сообщества.

2. Запишите сцену на фото или видео. Снимите одно и то же помещение или объект с разных точек. Следите за тем, чтобы детали в кадрах оставались четкими, а изображения визуально связывались друг с другом. В основе рекомендуемого источником подхода — съемка набора изображений с учетом принципов фотограмметрии.

3. Определите положения камер. На первом этапе процесса Instant NeRF программа COLMAP рассчитывает положения камер на изображениях. Поэтому перед обучением проверьте набор кадров: на них должны быть видны общие участки сцены, а сами изображения должны быть достаточно четкими. После определения положений камер можно обучить первую сцену NeRF.

4. Запустите интерфейс Testbed. Откройте собранный файл Testbed.exe через Anaconda. Согласно руководству NVIDIA, после запуска интерфейса обучение начинается автоматически. Во время обучения следите за графиком потерь и видом сцены. В руководстве указано, что основную часть улучшения качества изображения можно заметить уже за первые 30 секунд, хотя результат может продолжать улучшаться еще несколько минут.

5. Остановите обучение, когда это потребуется. Выравнивание графика потерь может служить сигналом, что стоит подумать об остановке обучения. Согласно руководству, после его остановки можно повысить частоту кадров в окне просмотра. Поэтому не стоит ориентироваться только на продолжительность обучения: одновременно оценивайте качество сцены и плавность отображения.

6. Подготовьте анимацию камеры. Перейдите к нужному положению камеры внутри сцены и добавьте ключевой кадр с помощью параметра Add from Cam. Траектория камеры создается с использованием кривых Безье. Для предварительного просмотра выберите Read. Если движение вас устраивает, сохраните траекторию камеры и создайте видео в полном качестве с помощью скрипта рендеринга из папки scripts кодовой базы.

В рабочих процессах архитектуры, интерьеров и визуализации

Описанная в этом руководстве особенность Instant NeRF — создание сцены по изображениям и возможность изучать ее с разных ракурсов. В руководстве NVIDIA также отмечается, что метод может включать в сцену фон. Такой подход можно рассматривать для экспериментальных проектов архитекторам, дизайнерам интерьеров и командам визуализации, которым важно изучать пространство не только как отдельный объект, но и вместе с окружающей средой.

Однако источник не сообщает о совместимости с конкретными CAD- или BIM-программами, форматах передачи готовых материалов или прямой интеграции в проектные процессы. Хотя указано требование CUDA Toolkit, конкретная модель видеокарты или минимальные системные характеристики не перечислены. Поэтому офисам следует заранее проверить совместимость имеющихся рабочих станций и актуальные инструкции по сборке. Вернее рассматривать Instant NeRF как способ проверить создание сцены по изображениям, а не предполагать, что он заменит существующие инструменты моделирования и рендеринга.

Типичные ошибки

• Использование нечетких изображений или кадров с недостаточным перекрытием: COLMAP определяет положения камер по изображениям. Перед обучением проверьте, что в наборе есть четкие связанные кадры с разных ракурсов.

• Пропуск проверки версии Python при сборке: В руководстве указаны Python 3.9 и CMake 3.22. Убедитесь, что во время сборки CMake использует нужную версию Python.

• Оценка обучения только по его длительности: Помимо качества изображения, следите за графиком потерь и производительностью окна просмотра. Когда график выравнивается, обучение может быть целесообразно остановить.

• Рендеринг без предварительного просмотра траектории камеры: Сначала проверьте движение с помощью Read, затем сохраните траекторию камеры и запустите скрипт рендеринга.

Что делать дальше

Для первого эксперимента лучше выбрать небольшую сцену, которую несложно переснять: так будет проще оценить, как качество изображений влияет на результат. Используйте фотографии и видео в отдельных тестах и сравните результаты, полученные в ваших условиях съемки. Можно также изучить управление камерой и режимы отладки в интерфейсе; руководство упоминает их наличие, но подробно не описывает назначение каждого из них.

Если вы планируете анимацию, сначала создайте траекторию камеры и просмотрите ее с помощью Read. В завершение сохраните траекторию и используйте скрипт рендеринга для создания видео в полном качестве. Если возникнут проблемы с установкой или сборкой, еще раз проверьте актуальные инструкции в репозитории проекта и наличие компонентов, перечисленных в руководстве.

Источник и лицензия

Это руководство адаптировано на турецкий язык на основе сведений об установке, подготовке изображений, обучении и анимации из технического руководства NVIDIA «Getting Started with NVIDIA Instant NeRFs». Согласно источнику, сведения о лицензии предоставляются свободно.