モノキュラービデオからの生成的動的ガウシアン再構成
本稿では、単一視点のビデオ入力から動的な3Dシーンを高品質に再構成する生成的手法を提案する。ガウシアンスプラッティングを基盤とし、時間的・空間的一貫性を保持しながら対象の動きや変形を表現する。従来手法を凌駕する再現性とレンダリング品質を実現する。
背景メモ
- これはNVIDIA（エヌビディア）の研究チームによる、動画1本から被写体の3Dモデルを自動生成する技術。従来の「NeRF（ニューラル放射輝度場）」や「3D Gaussian Splatting（3Dガウシアン表現）」を進化させ、剛体（固いもの）と非剛体（布や髪など柔らかく動くもの）を同時に再構成できる点が革新。
- 「Monocular Video」＝スマホなど1台のカメラで撮影した動画だけが入力。つまり特別な機材は不要。
- 既存手法では、動く物体の「形」と「動き」を同時に正確に捉えるのが難しかった。本手法は物体内部に「慣性（動きの連続性）」を考慮したガウシアン粒子を配置することで、複雑な変形も追跡可能に。
- NVIDIAはGPU（画像処理半導体）の最大手であり、リアルタイム3DグラフィックスやAIの基盤技術を多数開発。本技術は将来、バーチャルプロダクション（映画・ゲームの制作現場）やロボットの環境認識、AR/VRコンテンツ制作などに応用される可能性がある。