Dynamic Scene Representation with Factorization and Gaussian Splatting

in Til on Til

✨ 요약

4D 시공간 데이터를 효율적으로 표현하고 렌더링하기 위해 저차원 인수분해(HexPlane)와 가우시안 스플래팅(Gaussian Splatting)을 활용하며, 동적 장면 모델링을 위해 변형 필드(Deformation Field) 패러다임을 적용함.

📍 학습 내용

1. 4D 볼륨 인수분해 (HexPlane)

1.1 HexPlane 아키텍처

  • 4D 시공간 그리드를 6개의 2D 특징 평면(XY, XZ, XT, YZ, YT, ZT)으로 분해함.

  • 4D 점의 특징은 각 평면에 투영 후 2D 보간 및 융합으로 계산됨.

  • 메모리 복잡도를 O(N^2) 로 줄이고 2D 보간으로 효율적인 특징 추출을 가능하게 함.

2. 3D/4D 가우시안 스플래팅 (Gaussian Splatting, GS)

2.1 GS 패러다임

  • 장면을 점 기반 프리미티브인 3D/4D 가우시안 집합으로 표현함.

  • 느린 볼륨 레이 마칭 대신 병렬화 가능한 미분 가능한 래스터화 파이프라인(“스플래팅”)을 사용하여 이미지를 렌더링함.

  • 4D 공분산 행렬 파라미터화는 메모리 오버헤드가 높아 정규 공간과 변형 필드 분리 방식이 선호됨.

3. 시공간 동역학 모델링 (변형 필드)

3.1 변형 필드 개념

  • 시간에 따라 변하지 않는 정규(canonical) 표현을 정의하고, 각 시간 프레임에 대해 이 정규 표현을 변형시키는 방식을 학습함.

  • Deformable 3D Gaussians나 4D-GS는 단일 3D 가우시안 집합을 정규 표현으로 유지함.

  • 변형 필드는 정규 공간의 좌표와 시간 코드를 입력받아 변위(displacement)를 출력하는 MLP 기반 아키텍처로 구현됨.