Cómo instalar NVIDIA Instant NeRF: de imágenes a una escena 3D, paso a paso

Qué aprenderás en esta guía

NVIDIA Instant NeRF aprende una representación de la escena a partir de imágenes y permite observarla desde distintas posiciones de cámara. El flujo de trabajo consta de compilar el software, preparar fotos o videos, calcular las posiciones de cámara y entrenar la escena. También es posible crear una trayectoria de cámara en la interfaz y renderizar una animación.

El autor de la guía técnica de NVIDIA indica que es posible completar una primera prueba de NeRF —incluida la compilación de la base de código, la preparación de imágenes y el entrenamiento de la escena— en tan solo una hora. No se trata de una garantía de rendimiento válida para todos los equipos, sino del tiempo que describe la experiencia práctica de la guía. La fase de entrenamiento puede durar unos minutos.

Requisitos y preparación

La guía enumera Visual Studio 2019, la versión más reciente de CUDA Toolkit, Python 3.9 y CMake 3.22 como componentes necesarios para compilar la base de código. Durante la compilación con CMake, hay que comprobar que se esté usando Python 3.9. Como la fuente no especifica un número de versión concreto de CUDA Toolkit, consulta las instrucciones de compilación actuales del repositorio antes de instalarlo.

Quienes no tengan experiencia compilando pueden seguir las instrucciones detalladas del fork comunitario indicado en la guía. Según la fuente, compilar la base de código es un proceso más directo para quienes tienen experiencia en programación y ciencia de datos. Como aquí no se incluyen instrucciones de línea de comandos, sigue las instrucciones oficiales de compilación en lugar de inventar comandos que no aparezcan en el repositorio.

La escena puede tener como entrada fotos o video. Las imágenes deben incluir fotogramas nítidos y con solapamiento para ayudar a COLMAP a determinar las posiciones de cámara. Es decir, procura que la misma escena se vea desde distintos ángulos a lo largo de la captura; no empieces con un conjunto de imágenes borrosas o inconexas.

Flujo de trabajo de Instant NeRF paso a paso

1. Prepara el entorno de compilación. Instala Visual Studio 2019, CUDA Toolkit, Python 3.9 y CMake 3.22. Comprueba que CMake utilice Python 3.9 y compila la base de código siguiendo las instrucciones del proyecto. La guía de NVIDIA también remite a los pasos explicativos del fork comunitario para quienes se inician y tienen dificultades con la instalación.

2. Captura la escena con fotos o video. Fotografía el mismo espacio u objeto desde diferentes posiciones. Procura que los detalles de los fotogramas sean nítidos y que una imagen pueda relacionarse visualmente con la siguiente. La recomendación básica de la fuente es preparar un conjunto de capturas que siga los principios de la fotogrametría.

3. Deja que se determinen las posiciones de cámara. En la primera fase del flujo de Instant NeRF, COLMAP calcula las posiciones de cámara a partir de las imágenes. Por eso, revisa el conjunto de capturas antes del entrenamiento: las imágenes deben mostrar partes compartidas de la escena y tener suficiente nitidez. Una vez calculadas las posiciones de cámara, se puede entrenar la primera escena NeRF.

4. Inicia la interfaz Testbed. Abre el archivo compilado Testbed.exe a través de Anaconda. Según la guía de NVIDIA, el entrenamiento comienza automáticamente al abrirse la interfaz. Durante el proceso, observa el gráfico de pérdida y la vista de la escena. La guía señala que gran parte de la mejora en la calidad de imagen puede apreciarse durante los primeros 30 segundos, aunque el resultado puede seguir mejorando durante unos minutos más.

5. Detén el entrenamiento cuando sea conveniente. Que el gráfico de pérdida se estabilice puede ser una señal para valorar si conviene detener el entrenamiento. Según la guía, al detenerlo puede mejorar la tasa de fotogramas del visor. Por eso, no te centres únicamente en prolongar el entrenamiento: evalúa tanto la calidad de la escena como la fluidez de visualización.

6. Prepara una animación de cámara. Sitúate en una posición de cámara dentro de la escena y añade un fotograma clave con la opción Add from Cam. La trayectoria de cámara se crea mediante curvas Bézier. Usa la opción Read para previsualizarla. Si el movimiento es el deseado, guarda la trayectoria y genera un video de máxima calidad con el script de render de la carpeta scripts de la base de código.

En flujos de trabajo de arquitectura, interiores y visualización

El aspecto de Instant NeRF que se describe en esta guía es la posibilidad de crear una escena a partir de imágenes y examinarla desde distintas posiciones de cámara. La guía de NVIDIA destaca que el método también puede incluir el fondo en la escena. Este enfoque puede resultar útil en trabajos experimentales para arquitectos, diseñadores de interiores y equipos de visualización que quieran estudiar un espacio junto con su entorno, y no como un objeto aislado.

Sin embargo, la fuente no proporciona información sobre compatibilidad con software CAD o BIM específico, formatos de entrega para producción ni transferencia directa a flujos de trabajo de proyectos. Aunque se indica el requisito de CUDA Toolkit, no se especifica ningún modelo de tarjeta gráfica ni una configuración mínima del sistema. Por tanto, las oficinas deben comprobar de antemano la compatibilidad de sus estaciones de trabajo y consultar las instrucciones de compilación actualizadas. Es mejor considerar Instant NeRF un método para experimentar con la creación de escenas a partir de imágenes, no asumir que sustituye a las herramientas existentes de modelado y render.

Errores frecuentes

• Usar imágenes borrosas o con poco solapamiento: COLMAP determina las posiciones de cámara a partir de las imágenes. Antes del entrenamiento, comprueba que el conjunto de capturas incluya fotogramas nítidos y relacionados entre sí, tomados desde distintos ángulos.

• Pasar por alto la versión de Python durante la compilación: La guía especifica Python 3.9 y CMake 3.22. Confirma que CMake utilice la versión correcta de Python durante la compilación.

• Evaluar el entrenamiento solo por su duración: Observa el gráfico de pérdida y el rendimiento del visor, además de la calidad de imagen. Cuando el gráfico se estabiliza, puede ser adecuado detener el entrenamiento.

• Renderizar sin previsualizar la trayectoria de cámara: Primero revisa el movimiento con Read; después, guarda la trayectoria de cámara y ejecuta el script de render.

Próximos pasos

Hacer la primera prueba con una escena pequeña que se pueda volver a capturar fácilmente ayuda a observar cómo influye la calidad de las imágenes en el resultado. Prueba por separado las entradas de fotos y video y compara los resultados con tus propias condiciones de captura. También puedes explorar los controles de cámara y las vistas de depuración de la interfaz; la guía indica que estas opciones existen, pero no explica en detalle la función de cada una.

Si quieres crear una animación, primero establece la trayectoria de cámara y previsualízala con Read. Por último, guarda la trayectoria y usa el script de render para obtener un video de máxima calidad. Si tienes problemas de instalación o compilación, vuelve a comprobar los componentes indicados en la guía y las instrucciones actuales del repositorio del proyecto.

Fuente y licencia

Esta guía se ha adaptado al turco a partir de la información sobre instalación, preparación de imágenes, entrenamiento y animación de la guía técnica de NVIDIA titulada “Getting Started with NVIDIA Instant NeRFs”. La fuente indica que la información de licencia está disponible gratuitamente.