4DAnyone bygger en rörlig 4D-modell av en person från en vanlig video

Ett nytt forskningsprojekt kallat 4DAnyone visar hur en enda okalibrerad video av en person kan omvandlas till en dynamisk 4D-representation som går att betrakta från nya kameravinklar.

Metoden kombinerar videogenerering med 4D Gaussian Splatting och försöker lösa ett centralt problem i video-AI: att personen måste förbli geometriskt konsekvent när många nya perspektiv genereras.

Forskningsarbetet publicerades på arXiv den 20 augusti 2026.

En enda kamera räcker som utgångspunkt

Traditionell 3D- och 4D-rekonstruktion fungerar bäst när samma motiv filmas från flera kalibrerade kameror.

4DAnyone utgår i stället från en okalibrerad monokulär video. Systemet genererar nya videovyer av personen och använder dem som underlag för en 4D Gaussian Splatting-rekonstruktion.

Resultatet representerar både personen och rörelsen över tid.

Många AI-genererade vinklar måste stämma överens

Befintliga camera-controlled video diffusion-modeller kan skapa trovärdiga perspektiv, men när antalet vyer blir stort kan identitet, kroppsform och struktur börja driva mellan grupper.

4DAnyone introducerar Reference Context Packing, RCP, som komprimerar växande referensvyer till ett kontext med fast storlek.

Target Context Routing, TCR, roterar samtidigt hur målvyer grupperas under denoising så att olika grupper kan dela information och behålla en mer stabil global struktur.

4D Gaussian Splatting bygger slutresultatet

Efter videogenereringen lyfts de multiview-konsistenta videorna till en 4DGS-representation.

Forskarna testade metoden på bland annat DNA-Rendering och DyMVHumans och rapporterar bättre resultat än tidigare metoder för både novel-view-video och efterföljande 4DGS-rekonstruktion.

Kan förenkla skapandet av digitala människor

Om tekniken fortsätter utvecklas kan liknande system minska behovet av avancerade multikamerariggar inom spel, VR/AR, virtuella avatarer, film och visuella effekter.

4DAnyone är dock ett forskningsprojekt och inte en färdig konsumentapp.

Källor

• arXiv, 4DAnyone: Create Anyone in 4D from a Casual Monocular Video, 20 augusti 2026: https://arxiv.org/abs/2608.20335
• 4DAnyone, officiell projektsida: https://4danyone.github.io/