NVIDIA Instant NeRF necə quraşdırılır? Şəkildən 3D səhnəyə addım-addım

Bu bələdçidə nə öyrənəcəksiniz?

NVIDIA Instant NeRF görüntülərdən səhnə təsvirini öyrənir və səhnəyə fərqli kamera mövqelərindən baxmağa imkan verir. İş axını proqramın qurulması, foto və ya videonun hazırlanması, kamera mövqelərinin hesablanması və səhnənin öyrədilməsi mərhələlərindən ibarətdir. İstəyə bağlı olaraq interfeysdə kamera yolu yaradıb animasiyanı da render etmək olar.

NVIDIA-nın texniki bələdçisinin müəllifi ilk NeRF sınağının bütün mərhələlərini — kod bazasının qurulması, görüntülərin hazırlanması və səhnənin öyrədilməsi daxil olmaqla — təxminən bir saata başa çatdırmağın mümkün olduğunu bildirir. Bu, hər kompüter üçün performans zəmanəti deyil; bələdçidəki praktiki təcrübənin müddətidir. Təlim mərhələsinin özü isə bir neçə dəqiqə çəkə bilər.

Tələblər və hazırlıq

Bələdçidə kod bazasını qurmaq üçün Visual Studio 2019, CUDA Toolkit-in ən yeni versiyası, Python 3.9 və CMake 3.22 komponentləri göstərilir. CMake ilə qurma zamanı Python 3.9-dan istifadə olunduğunu yoxlamaq lazımdır. CUDA Toolkit üçün mənbədə konkret versiya nömrəsi verilmədiyindən, quraşdırmadan əvvəl kod deposundakı aktual qurma təlimatlarını yoxlayın.

Qurma işində təcrübəsi olmayanlar bələdçidə göstərilən icma fork-unda ətraflı təlimatlardan yararlana bilərlər. Mənbəyə əsasən, kod bazasını qurmaq proqramlaşdırma və data science təcrübəsi olanlar üçün daha sadə prosesdir. Burada komanda sətri təlimatları verilmədiyindən, depoda olmayan əmrləri təxmin edib əlavə etmək əvəzinə rəsmi qurma təlimatlarına əməl edin.

Səhnə üçün foto və ya videodan istifadə etmək olar. COLMAP-in kamera mövqelərini müəyyənləşdirməsinə kömək etmək üçün görüntülərdə aydın və üst-üstə düşən kadrlar olmalıdır. Başqa sözlə, çəkiliş boyunca eyni səhnənin müxtəlif bucaqlardan görünməsini təmin edin; bulanıq və ya bir-biri ilə əlaqəsi olmayan görüntülərdən ibarət dəstlə başlamayın.

Instant NeRF iş axını addım-addım

1. Qurma mühitini hazırlayın. Visual Studio 2019, CUDA Toolkit, Python 3.9 və CMake 3.22 komponentlərini quraşdırın. CMake-in Python 3.9-dan istifadə etdiyini yoxlayaraq kod bazasını layihənin təlimatlarına uyğun qurun. NVIDIA-nın bələdçisi quraşdırmada çətinlik çəkən yeni başlayanlar üçün icma fork-unda izahlı addımları da göstərir.

2. Səhnəni foto və ya video ilə çəkin. Eyni məkanı və ya obyekti müxtəlif mövqelərdən görüntüləyin. Kadrların aydın qalmasına və bir görüntünün digəri ilə vizual əlaqəsinin olmasına diqqət yetirin. Mənbənin tövsiyə etdiyi əsas yanaşma fotogrametriya prinsiplərinə uyğun çəkiliş dəsti hazırlamaqdır.

3. Kamera mövqelərini müəyyənləşdirin. Instant NeRF iş axınının ilk mərhələsində COLMAP görüntülərdəki kamera mövqelərini hesablayır. Buna görə təlimdən əvvəl çəkiliş dəstini yoxlayın: görüntülərdə səhnənin ortaq hissələri görünməli və kadrlar kifayət qədər aydın olmalıdır. Kamera mövqeləri hazır olduqdan sonra ilk NeRF səhnəsini öyrətmək olar.

4. Testbed interfeysini başladın. Qurulmuş Testbed.exe faylını Anaconda vasitəsilə açın. NVIDIA-nın bələdçisinə görə, interfeys açıldıqdan sonra təlim avtomatik başlayır. Təlim zamanı itki qrafikini və səhnə görünüşünü izləyin. Bələdçidə görüntü keyfiyyətindəki irəliləyişin böyük hissəsinin ilk 30 saniyədə görünə biləcəyi, lakin nəticənin bir neçə dəqiqə ərzində daha da yaxşılaşa biləcəyi bildirilir.

5. Təlimi ehtiyaca uyğun dayandırın. İtki qrafikinin üfüqiləşməsi təlimi dayandırmağı nəzərdən keçirmək üçün əlamət ola bilər. Bələdçiyə görə, təlim dayandırıldıqda görüntüləyicinin kadr sürətini yaxşılaşdırmaq mümkündür. Buna görə yalnız daha uzun təlimə fokuslanmayın; səhnə keyfiyyətini və görüntüləmənin axıcılığını birlikdə qiymətləndirin.

6. Kamera animasiyası hazırlayın. İnterfeysdə səhnədə kamera mövqeyinə keçin və Add from Cam seçimi ilə açar kadr əlavə edin. Kamera marşrutu Bézier əyriləri ilə yaradılır. Önizləmə üçün Read seçimindən istifadə edin. Hərəkət istədiyiniz kimidirsə, kamera yolunu yadda saxlayın və tam keyfiyyətli video yaratmaq üçün kod bazasının scripts qovluğundakı render skriptindən istifadə edin.

Memarlıq, interyer və vizuallaşdırma iş axınında

Bu bələdçidə Instant NeRF-in nəzərdən keçirilən imkanları görüntülərdən səhnə yaradaraq ona fərqli kamera mövqelərindən baxmağa şərait yaratmasıdır. NVIDIA-nın bələdçisi metodun fonu da səhnəyə daxil edə bildiyini vurğulayır. Bu yanaşma məkanı yalnız ayrıca obyekt kimi deyil, ətrafı ilə birlikdə nəzərdən keçirmək istəyən memarlar, interyer dizaynerləri və vizuallaşdırma komandaları üçün eksperimental işlərdə faydalı ola bilər.

Bununla belə, mənbədə konkret CAD və ya BIM proqramı ilə uyğunluq, istehsal üçün təhvil formatları və ya layihə iş axınlarına birbaşa inteqrasiya barədə məlumat yoxdur. CUDA Toolkit tələbi qeyd edilsə də, konkret videokart modeli və ya minimum sistem xüsusiyyətləri göstərilmir. Buna görə ofislər mövcud iş stansiyalarının uyğunluğunu və aktual qurma təlimatlarını əvvəlcədən yoxlamalıdır. Instant NeRF-ə mövcud modelləşdirmə və render alətlərini əvəz edən vasitə kimi deyil, görüntüdən səhnə yaratmağı sınaqdan keçirmək üçün bir üsul kimi yanaşmaq daha doğrudur.

Tez-tez rast gəlinən səhvlər

• Aydın olmayan və ya az üst-üstə düşən görüntülərdən istifadə etmək: COLMAP kamera mövqelərini görüntülərdən müəyyən edir. Təlimdən əvvəl çəkiliş dəstində müxtəlif bucaqlardan aydın və əlaqəli kadrların olduğuna əmin olun.

• Qurma zamanı Python versiyasını nəzərdən qaçırmaq: Bələdçidə Python 3.9 və CMake 3.22 göstərilir. Qurma zamanı CMake-in düzgün Python versiyasından istifadə etdiyini təsdiqləyin.

• Təlimi yalnız müddətə görə qiymətləndirmək: Görüntü keyfiyyəti ilə yanaşı itki qrafikini və görüntüləyicinin performansını da izləyin. Qrafik üfüqiləşəndə təlimi dayandırmaq məqsədəuyğun ola bilər.

• Önizləməsiz kamera yolunu render etmək: Əvvəlcə Read ilə hərəkəti nəzərdən keçirin, sonra kamera yolunu yadda saxlayıb render skriptini işə salın.

Növbəti addımlar

İlk sınağı yenidən çəkilməsi asan olan kiçik səhnə ilə aparmaq görüntü keyfiyyətinin nəticəyə təsirini müşahidə etməyi asanlaşdırır. Foto və video girişlərini ayrı sınaqlar kimi nəzərdən keçirib, öz çəkiliş şəraitinizdə əldə olunan nəticələri müqayisə edin. İnterfeysdəki kamera idarəetmələrini və sazlama görünüşlərini də araşdıra bilərsiniz; bələdçidə bu seçimlərin olduğu qeyd edilir, lakin hər birinin funksiyası ətraflı izah olunmur.

Animasiya hazırlamaq istəyirsinizsə, əvvəlcə kamera yolunu yaradıb Read ilə önizləyin. Son mərhələdə kamera yolunu yadda saxlayın və tam keyfiyyətli video üçün render skriptindən istifadə edin. Quraşdırma və ya qurma ilə bağlı problem yaranarsa, bələdçidə sadalanan komponentlərlə yanaşı layihə deposundakı aktual təlimatları da yenidən yoxlayın.

Mənbə və lisenziya

Bu bələdçi NVIDIA-nın “Getting Started with NVIDIA Instant NeRFs” adlı texniki bələdçisindəki quraşdırma, görüntülərin hazırlanması, təlim və animasiya məlumatları əsasında Azərbaycan dilinə uyğunlaşdırılıb. Mənbədə lisenziya məlumatlarının sərbəst təqdim edildiyi bildirilir.