Коротко
- NVIDIA Instant NeRF с помощью техники neural radiance field (NeRF) может обучить сцену за считанные минуты.
- Для установки требуются Visual Studio 2019/2022, актуальный CUDA Toolkit, Python 3.7+ и CMake 3.21+.
- Для определения положений камеры используется COLMAP; входные фотографии должны соответствовать принципам фотограмметрии, быть резкими и перекрывающимися.
- Программа может рендерить полнокачественную анимацию сцены с помощью редактора траектории камеры на основе кривых Безье.
Разработанное NVIDIA программное обеспечение Instant NeRF (NGP Instant NeRF) — это открытый инструмент, который с помощью техники neural radiance field (NeRF) позволяет обучить 3D-сцену по небольшому количеству фотографий всего за несколько минут. Эта статья поможет вам установить инструмент с нуля, обучить первую сцену и создать анимацию по траектории камеры.
Что вы узнаете в этом руководстве
Требования для установки Instant NeRF
Принципы съёмки качественных входных фотографий
Обучение сцены через графический интерфейс (GUI)
Рендеринг анимации с траекторией камеры на основе кривых Безье
Требования
Instant NeRF требует видеокарту NVIDIA GPU; на картах с тензорными ядрами производительность выше. Для Windows доступны готовые бинарные версии, но тем, кто хочет использовать Python-привязки или работать в Linux, необходимо собрать программу из исходного кода. Для сборки требуются следующие компоненты:
Windows: Visual Studio 2019 или 2022
Linux: GCC/G++ 8 или выше
CUDA 11.5 или выше (Windows) либо CUDA 10.2 или выше (Linux)
CMake 3.21 или выше
(Опционально) Python 3.7 или выше, для интерактивных привязок
(Опционально) OptiX 7.3 или выше, для более быстрого обучения mesh SDF
(Опционально) Vulkan SDK, для поддержки DLSS
Согласно собственному блогу NVIDIA, сборка также успешно протестирована с Python 3.9 и CMake 3.22; некоторые пользователи предпочитают именно эти версии.
Пошаговая установка и первая сцена
1. Клонируйте репозиторий
git clone --recursive https://github.com/nvlabs/instant-ngp
cd instant-ngpЭта команда загружает весь исходный код вместе с подмодулями. Пользователям Windows следует выполнять эту операцию в developer command prompt.
2. Соберите с помощью CMake
cmake . -B build
cmake --build build --config RelWithDebInfo -jЕсли сборка занимает слишком много времени или завершается с ошибкой, причиной может быть нехватка памяти; в этом случае попробуйте снова без флага -j.
3. Протестируйте с примером сцены
./build/instant-ngp --scene data/nerf/foxЭта команда обучает готовую сцену с лисой, входящую в состав репозитория, и открывает интерфейс. В Windows нужно использовать обратные слеши.
4. Подготовьте сцену со своими фотографиями. Съёмку нужно проводить по логике фотограмметрии, а не документальной фотографии: объекты в сцене должны оставаться неподвижными на протяжении всей съёмки, на изображениях не должно быть смазывания от движения или расфокуса; широкоугольный объектив выгоден, так как охватывает большую площадь. Для определения положений камеры используется COLMAP, поэтому фотографии должны перекрываться друг с другом и быть резкими.
5. Наблюдайте за интерфейсом и остановите обучение. Когда обучение начинается, график потерь (loss) значительно выравнивается в первые 30 секунд; большая часть качества изображения формируется именно в этот период, однако сцена может продолжать улучшаться ещё несколько минут. Вы можете в любой момент остановить обучение (клавиша T), чтобы увеличить частоту кадров в окне просмотра.
6. Создайте анимацию с помощью траектории камеры. Редактор траектории камеры в интерфейсе создаёт траекторию на основе кривых Безье из каждой позиции, которую вы добавляете во время перемещения по сцене опцией «Add from Cam». С помощью «Read» можно предпросмотреть анимацию, а когда результат вас устроит — сохранить траекторию камеры. Для рендеринга полнокачественного видео необходимо использовать сохранённый снимок (snapshot) NeRF и файл траектории камеры вместе со скриптом рендеринга из папки scripts; например, скрипт scripts/run.py принимает сохранённую сцену и траекторию камеры и создаёт видеофайл с заданной продолжительностью, частотой кадров и разрешением.
Распространённые ошибки
Если COLMAP не может правильно определить положения камеры, результат получается искажённым; чаще всего причина — движение или размытость во время съёмки.
Если границы сцены заданы слишком большими или слишком маленькими, качество может снизиться; в этом случае может потребоваться поэкспериментировать с параметром aabb_scale.
При наличии нескольких GPU автоматическое определение архитектуры может не сработать; в этом случае для выбора нужного GPU следует использовать переменные окружения.
Следующие шаги
После освоения базового процесса вы можете использовать раздел Snapshot в GUI инструмента, чтобы сохранять и повторно загружать обученную модель, а также изучать сцену с разными режимами рендеринга и визуализацией отладки. Python-привязки позволяют тем, кто хочет автоматизировать эксперименты, использовать все возможности GUI из командной строки.
Источник и лицензия
Эта статья адаптирована на русский язык на основе официального технического руководства NVIDIA Developer Blog под названием «Getting Started with NVIDIA Instant NeRFs», а также информации со страницы презентации Instant NeRF от NVIDIA. Команды установки взяты со страницы проекта instant-ngp, лицензированного по Apache-2.0 (репозиторий camenduru/instant-ngp, доступный через Hugging Face), и сохранены в оригинальном виде.
Источники
Источников: 3Тексты источников не перепечатываются; короткие цитаты отмечены, остальное — наш пересказ и комментарий.
Instant NeRF — это практичный инструмент для визуализаторов, желающих быстро превратить помещение в трёхмерную модель на основе небольшого количества фотографий; примечательно, что фон тоже включается в сцену, сохраняя окружающий контекст, который часто теряется в классической фотограмметрии. Для офисов в Турции наша рекомендация — сначала протестировать на готовой бинарной версии для Windows с подходящей видеокартой NVIDIA, а при необходимости переходить на сборку из исходного кода.
Однако инструмент требует технического процесса установки: знакомство с Visual Studio, CUDA, CMake и опциональной средой Python ускоряет работу. Перед использованием в производственной среде стоит протестировать процесс на нескольких пробных сценах, чтобы сократить потери времени.
Частые вопросы
Какое оборудование необходимо для запуска Instant NeRF?
Требуется видеокарта NVIDIA GPU; на картах с тензорными ядрами производительность выше. Результаты, представленные в источниках, получены на RTX 3090.
Сколько времени занимает обучение сцены с помощью Instant NeRF?
Большая часть визуального качества обучения достигается в первые 30 секунд, однако обучение может продолжаться ещё несколько минут, пока график потерь не выровняется.
Бесплатен ли Instant NeRF?
Да, программа бесплатно предоставляется для индивидуального использования через GitHub.



