NeRF redagavimo ir dažymo būdai: eksperimentai ir kokybiniai rezultatai

Nuorodų lentelė

Santrauka ir 1. Įvadas

2. Susiję darbai

2.1. NeRF redagavimas ir 2.2. Tapybos technika

2.3. Tekstu valdomas vaizdinio turinio generavimas

3. Metodas

3.1. Mokymų peržiūra Išankstinis apdorojimas

3.2. Progresyvus mokymas

3.3. 4D plėtinys

4. Eksperimentai ir 4.1. Eksperimentinės sąrankos

4.2. Abliacija ir palyginimas

5. Išvada ir 6. Literatūra

4. Eksperimentai

Eksperimentams pasirenkame iš dinamiškų scenų iš Nvidia dinaminių scenų duomenų rinkinio [35]. Šio duomenų rinkinio scenos užfiksuotos naudojant nedidelį 12 stacionarių kamerų rinkinį, išdėstytą dviejose eilėse, sukuriant 1015 × 1920 raiškos vaizdus. Mūsų naudojamos statinės scenos yra paimtos iš vieno kadro iš dinamiškų scenų. NeRF pagrindiniam pagrindui naudojame statines ir dinamines K-Planes versijas [25] įdiegta nerfstudio [30]. Kiekvienai scenai piešimą atliekame pakeisdami priekinio plano objektą kitu tekstu raginamu objektu, kurio geometrija yra skirtinga. Savo metodo efektyvumą pademonstruosime parodydami kokybinius tarpinius ir galutinius rezultatus. Be to, mes paaiškinsime įvairias mūsų dizaino dalis atlikdami abliacijas ir palygindami mūsų pradinę padėtį.

4.1. Kokybiniai rezultatai

3D pavyzdžiai. 2 paveiksle pateikiame kelis 3D tapybos pavyzdžius. Kiekvienai atskirai piešimo užduočiai rodome 2 galutinio NeRF atvaizdus iš skirtingų vaizdų, kad parodytume kelių rodinių nuoseklumą. Be to, rodome pirmąjį pradinį vaizdą, kitą iš anksto apdorotą vaizdą, taip pat RGB ir gylio žemėlapį trimis etapais: prieš treniruotę, po apšilimo ir po konvergencijos. Šie vaizdai prieš ir po parodo kiekvieno mūsų metodo etapo veiksmingumą. Kaip parodyta 2 paveiksle, apytikriai nuoseklus iš anksto apdorotas vaizdas gali optimizuoti grubiai dažytą NeRF po apšilimo treniruotės, o geometrija (pavaizduota gylio žemėlapyje) susilieja apšilimo treniruotės metu. Tada po paskutinio mokymo etapo pasiekiama puiki vaizdų konvergencija. Visos 3D tapybos užduotys yra apmokytos naudojant vieną Nvidia RTX 4090 GPU. Apšilimo treniruotė trunka maždaug 0,5–1 val., o pagrindinis treniruočių etapas su švirkščiamaisiais narkotikais – apie 1–2 valandas.

4D pavyzdys. 3 paveiksle parodysime 4D tapybos pavyzdį, kad parodytume, jog mūsų metodas gali apibendrinti dinaminius NeRF. Šiame pavyzdyje pašaliname priekinio plano objektą pradinio vaizdo vaizdo įraše naudodami E2FGVI [11], srautu pagrįstas metodas su optimizavimu pagal funkcijų sklaidą ir turinio haliucinacijas. Norėdami perkelti judesį į sugeneruotą objektą, po pagrindinio taško stebėjimo įvertiname standžią transformaciją tarp pagrindinių taškų ir išilgai transformacijos platiname pikselius. Ši dinamiška scena susideda iš 16 kadrų, kurių pirmame kadre yra pirmasis pradinis vaizdas. Kaip parodyta paveikslėliuose, mes sėkmingai pasiekėme bendrą sukurto objekto konvergenciją su teisingu visų iliustruotų kadrų judesiu.