Последние новости
Настройки неба, HDRI и погоды в D5 Render: пошаговое руководствоКак управлять сценами день-ночь и вариациями материалов в одном файле с Chaos Vantage Scene StatesКак включить реалистичный caustics в Corona Renderer и D5 Render: руководствоАрхитектурные рендер-видео с Runway Gen-4: гайд по промптам для движения камерыРуководство по ускорению подготовки презентаций с пресетами Visual Settings в EnscapeНастройка собственного рабочего процесса рендеринга с Veras 5.3 NODES: пошаговое руководствоРуководство по созданию музыки для архитектурных презентаций с Lyria 3.5 Clip PreviewToonflow: open-source AI-платформа для коротких драм и видеопроизводстваInstant NeRF: обучение 3D-сцены по фотографиям за минуты — установка и шагиИспользование Gaussian Splat в V-Ray: пошаговое руководство для Maya
УрокиNVIDIAInstant NeRF

Instant NeRF: обучение 3D-сцены по фотографиям за минуты — установка и шаги

NVIDIA Instant NeRF — это открытый инструмент, который позволяет обучить 3D-сцену по небольшому количеству фотографий за считанные минуты; в этой статье пошагово описаны установка, обучение первой сцены и создание анимации по траектории камеры.

Изображение интерьерной сцены, превращающейся из фотографии в цифровое облако точекИИ-изображение
Иллюстрация создана с помощью ИИ.Изображение: 3dsınıfı / FCA AI

Коротко

  1. NVIDIA Instant NeRF с помощью техники neural radiance field (NeRF) может обучить сцену за считанные минуты.
  2. Для установки требуются Visual Studio 2019/2022, актуальный CUDA Toolkit, Python 3.7+ и CMake 3.21+.
  3. Для определения положений камеры используется COLMAP; входные фотографии должны соответствовать принципам фотограмметрии, быть резкими и перекрывающимися.
  4. Программа может рендерить полнокачественную анимацию сцены с помощью редактора траектории камеры на основе кривых Безье.

Разработанное NVIDIA программное обеспечение Instant NeRF (NGP Instant NeRF) — это открытый инструмент, который с помощью техники neural radiance field (NeRF) позволяет обучить 3D-сцену по небольшому количеству фотографий всего за несколько минут. Эта статья поможет вам установить инструмент с нуля, обучить первую сцену и создать анимацию по траектории камеры.

Что вы узнаете в этом руководстве

  • Требования для установки Instant NeRF

  • Принципы съёмки качественных входных фотографий

  • Обучение сцены через графический интерфейс (GUI)

  • Рендеринг анимации с траекторией камеры на основе кривых Безье

Требования

Instant NeRF требует видеокарту NVIDIA GPU; на картах с тензорными ядрами производительность выше. Для Windows доступны готовые бинарные версии, но тем, кто хочет использовать Python-привязки или работать в Linux, необходимо собрать программу из исходного кода. Для сборки требуются следующие компоненты:

  • Windows: Visual Studio 2019 или 2022

  • Linux: GCC/G++ 8 или выше

  • CUDA 11.5 или выше (Windows) либо CUDA 10.2 или выше (Linux)

  • CMake 3.21 или выше

  • (Опционально) Python 3.7 или выше, для интерактивных привязок

  • (Опционально) OptiX 7.3 или выше, для более быстрого обучения mesh SDF

  • (Опционально) Vulkan SDK, для поддержки DLSS

Согласно собственному блогу NVIDIA, сборка также успешно протестирована с Python 3.9 и CMake 3.22; некоторые пользователи предпочитают именно эти версии.

Пошаговая установка и первая сцена

1. Клонируйте репозиторий

Промпт
git clone --recursive https://github.com/nvlabs/instant-ngp
cd instant-ngp

Эта команда загружает весь исходный код вместе с подмодулями. Пользователям Windows следует выполнять эту операцию в developer command prompt.

2. Соберите с помощью CMake

Промпт
cmake . -B build
cmake --build build --config RelWithDebInfo -j

Если сборка занимает слишком много времени или завершается с ошибкой, причиной может быть нехватка памяти; в этом случае попробуйте снова без флага -j.

3. Протестируйте с примером сцены

Промпт
./build/instant-ngp --scene data/nerf/fox

Эта команда обучает готовую сцену с лисой, входящую в состав репозитория, и открывает интерфейс. В Windows нужно использовать обратные слеши.

4. Подготовьте сцену со своими фотографиями. Съёмку нужно проводить по логике фотограмметрии, а не документальной фотографии: объекты в сцене должны оставаться неподвижными на протяжении всей съёмки, на изображениях не должно быть смазывания от движения или расфокуса; широкоугольный объектив выгоден, так как охватывает большую площадь. Для определения положений камеры используется COLMAP, поэтому фотографии должны перекрываться друг с другом и быть резкими.

5. Наблюдайте за интерфейсом и остановите обучение. Когда обучение начинается, график потерь (loss) значительно выравнивается в первые 30 секунд; большая часть качества изображения формируется именно в этот период, однако сцена может продолжать улучшаться ещё несколько минут. Вы можете в любой момент остановить обучение (клавиша T), чтобы увеличить частоту кадров в окне просмотра.

6. Создайте анимацию с помощью траектории камеры. Редактор траектории камеры в интерфейсе создаёт траекторию на основе кривых Безье из каждой позиции, которую вы добавляете во время перемещения по сцене опцией «Add from Cam». С помощью «Read» можно предпросмотреть анимацию, а когда результат вас устроит — сохранить траекторию камеры. Для рендеринга полнокачественного видео необходимо использовать сохранённый снимок (snapshot) NeRF и файл траектории камеры вместе со скриптом рендеринга из папки scripts; например, скрипт scripts/run.py принимает сохранённую сцену и траекторию камеры и создаёт видеофайл с заданной продолжительностью, частотой кадров и разрешением.

Распространённые ошибки

  • Если COLMAP не может правильно определить положения камеры, результат получается искажённым; чаще всего причина — движение или размытость во время съёмки.

  • Если границы сцены заданы слишком большими или слишком маленькими, качество может снизиться; в этом случае может потребоваться поэкспериментировать с параметром aabb_scale.

  • При наличии нескольких GPU автоматическое определение архитектуры может не сработать; в этом случае для выбора нужного GPU следует использовать переменные окружения.

Следующие шаги

После освоения базового процесса вы можете использовать раздел Snapshot в GUI инструмента, чтобы сохранять и повторно загружать обученную модель, а также изучать сцену с разными режимами рендеринга и визуализацией отладки. Python-привязки позволяют тем, кто хочет автоматизировать эксперименты, использовать все возможности GUI из командной строки.

Источник и лицензия

Эта статья адаптирована на русский язык на основе официального технического руководства NVIDIA Developer Blog под названием «Getting Started with NVIDIA Instant NeRFs», а также информации со страницы презентации Instant NeRF от NVIDIA. Команды установки взяты со страницы проекта instant-ngp, лицензированного по Apache-2.0 (репозиторий camenduru/instant-ngp, доступный через Hugging Face), и сохранены в оригинальном виде.

Источники

Источников: 3
N
nvidia.comnvidia.com/en-us/research/nerf-sweepstakes
Пересказ
D
developer.nvidia.comdeveloper.nvidia.com/blog/getting-started-with-nvidia-instant-nerfs
Пересказ
H(
huggingface.co (Apache-2.0)huggingface.co/camenduru/instant-ngp
Цитата

Тексты источников не перепечатываются; короткие цитаты отмечены, остальное — наш пересказ и комментарий.

Мнение 3dsınıfı
3dОценка редактора

Instant NeRF — это практичный инструмент для визуализаторов, желающих быстро превратить помещение в трёхмерную модель на основе небольшого количества фотографий; примечательно, что фон тоже включается в сцену, сохраняя окружающий контекст, который часто теряется в классической фотограмметрии. Для офисов в Турции наша рекомендация — сначала протестировать на готовой бинарной версии для Windows с подходящей видеокартой NVIDIA, а при необходимости переходить на сборку из исходного кода.

Однако инструмент требует технического процесса установки: знакомство с Visual Studio, CUDA, CMake и опциональной средой Python ускоряет работу. Перед использованием в производственной среде стоит протестировать процесс на нескольких пробных сценах, чтобы сократить потери времени.

Частые вопросы

Какое оборудование необходимо для запуска Instant NeRF?

Требуется видеокарта NVIDIA GPU; на картах с тензорными ядрами производительность выше. Результаты, представленные в источниках, получены на RTX 3090.

Сколько времени занимает обучение сцены с помощью Instant NeRF?

Большая часть визуального качества обучения достигается в первые 30 секунд, однако обучение может продолжаться ещё несколько минут, пока график потерь не выровняется.

Бесплатен ли Instant NeRF?

Да, программа бесплатно предоставляется для индивидуального использования через GitHub.

Комментарии и форум — на турецком языке.Присоединиться к обсуждению
+

Похожие новости