[논문리뷰] CUPID: Generative 3D Reconstruction via Joint Object and Pose Modeling
CVPR 2026 (Highlight). [Paper] [Page] [Github]
Binbin Huang, Haobin Duan, Yiqun Zhao, Zibo Zhao, Yi Ma, Shenghua Gao
The University of Hong Kong | Transcengram | Tencent
23 Oct 2025

Introduction
일반적인 3D reconstruction 방법은 픽셀 단위로 정렬된 시점 중심 프레임에서 2D를 3D로 변환하는 방식을 통해 3D geometry를 생성하는데, 이 과정에서 카메라 포즈 $\theta$는 고정 상수로 취급된다. 결과적으로, 이러한 방법들은 가려진 영역을 그럴듯하게 상상하는 능력이 부족하여, 충분한 시점이 주어지더라도 불완전한 모델을 생성한다.
이상적인 시스템이라면 카메라 포즈를 고정하거나 기준 방향을 미리 지정하지 않고도, 방대한 2D 관측 데이터로부터 joint distribution을 도출할 수 있어야 한다. 이러한 접근 방식은 본질적으로 3D reconstruction과 3D generation을 하나의 통합된 과제로 연결하며, 본 논문에서는 이를 Generative 3D Reconstruction이라 부른다.
이를 위해 본 논문은 CUPID를 제안하였다. 이는 완전한 3D object $\mathcal{O}$를 생성함과 동시에, 2D 관측치를 충실하게 재현할 수 있는 정확한 카메라 포즈 $\theta$를 추론하는 reconstruction 프레임워크이다. CUPID는 reconstruction 과정을 2단계로 작동하는 통합된 flow model 내의 조건부 샘플링 문제로 정립한다.
- 대략적인 3D 구조와 3D-to-2D correspondence의 dense field를 함께 생성하며, 간단한 PnP solver를 사용하여 카메라 포즈를 복원한다.
- 복원된 포즈를 조건으로 삼아, 입력 이미지에서 추출한 pixel-aligned feature를 생성 과정에 직접 주입하는 정교화 과정을 거친다.
이러한 새로운 컨디셔닝 메커니즘은 시각적 증거와의 일관성을 보장하며, 생성 모델이 가진 풍부한 사전 지식과 reconstruction 과정의 geometry 정확성을 결합한다. 이 간단하면서도 효과적인 접근 방식은 기하학적으로 완전할 뿐만 아니라 입력 이미지의 텍스처를 충실하게 반영하는 3D 재구성 결과를 만들어낸다.
Method

1. Problem definition
Generative 3D reconstruction 문제를 관측 제약 조건 \(\textbf{I}^\textrm{cond} = \mathcal{P}(\mathcal{O}, \theta)\) 하에서 joint posterior \(p(\mathcal{O}, \theta \vert \textbf{I}^\textrm{cond})\)를 추정하는 것으로 생각한다. 여기서 $\textbf{I}^\textrm{cond}$는 입력 이미지, $\mathcal{O}$는 3D object, $\theta$는 object 중심의 카메라 포즈, $\mathcal{P}(\cdot, \cdot)$는 3D object를 이미지 평면으로 projection하는 함수이다.
먼저 인코더 $\phi$를 사용하여 3D object와 카메라 포즈를 latent feature \(\textbf{z} = \phi(\mathcal{O}, \theta)\)로 매핑하며, 이는 특정 디코더를 통해 3D 표현(ex. Gaussian splat 또는 메쉬)으로 복원될 수 있다. Latent feature $\textbf{z}$를 생성하기 위해 Rectified Flow를 사용한다. 모델은 velocity field $\textbf{v}$를 예측하고, conditional flow matching (CFM) loss를 사용하여 이를 학습시킨다.
\[\begin{equation} \mathcal{L}_\textrm{CFM} (\phi) = \mathbb{E}_{t, \textbf{z}_0, \boldsymbol{\epsilon}} \| \textbf{v}_\phi (\textbf{z}_t, \textbf{I}^\textrm{cond}, t) - (\boldsymbol{\epsilon} - \textbf{z}_0) \|_2^2 \end{equation}\]2. Representation of 3D Object and camera pose
3D object representation
네트워크 학습을 위해, 먼저 3D object를 voxel 기반 표현 \(\mathcal{O} = \{\textbf{x}_i, \textbf{f}_i\}_{i=1}^L\)로 만든다. \(\textbf{x}_i \in \mathbb{R}^3\)는 큐브 내 $i$번째 active voxel의 좌표를 나타내고, \(\textbf{f}_i\)는 DINOv2 feature를 멀티뷰에 대해 집계한 후 3D VAE 인코더를 통해 압축한 feature이다. 이 voxel 집합은 디코딩 과정을 거쳐 메쉬나 Gaussian splat과 같은 3D 포맷으로 변환될 수 있다.
Camera pose parameterization
카메라 포즈 $\theta$는 projection matrix \(\textbf{P} = \textbf{K} [\textbf{R} \vert \textbf{t}] \in \mathbb{R}^{3 \times 4}\)로 표현되며, $\textbf{K}$는 intrinsic, $(\textbf{R}, \textbf{t})$는 extrinsic이다. 저자들은 in-cube pixel distribution을 통해 overparameterize된 포즈 표현을 제안하였다. 구체적으로, $\theta$를 dense 3D-2D correspondence로 reparameterize한다.
\[\begin{equation} \theta = \{ \textbf{x}_i, \textbf{u}_i \}_{i=1}^L, \quad \textrm{where} \; \textbf{u}_i = (u_i, v_i) \in [0, 1]^2, \; \textbf{x}_i \in \mathcal{O} \end{equation}\]각 앵커의 픽셀 좌표는 perspective projection $\pi$를 통해 \(\textbf{u}_i = \pi (\textbf{P}, \textbf{x}_i)\)로 얻어진다. 이러한 3D-2D correspondence는 3D UV cube로 표현될 수 있다. 이러한 correspondence를 바탕으로 least-squares solver인 DLT를 사용하여 글로벌 카메라 행렬 \(\textbf{P}^\ast\)를 복원한다.
\[\begin{equation} \textbf{P}^\ast = \underset{\textbf{P}}{\arg \min} \sum_{i=1}^L \| \pi (\textbf{P}, \textbf{x}_i) - \textbf{u}_i \|^2 \end{equation}\]그런 다음, RQ decomposition을 통해 \(\textbf{P}^\ast\)를 \((\textbf{K}, \textbf{R}, \textbf{t})\)로 분해한다.
3. Cascaded Flow Modeling
본 논문에서는 3D object와 그에 대응하는 카메라 포즈를 함께 샘플링하기 위해 two-stage cascaded flow model을 사용한다.
\[\begin{equation} \textbf{z} = \{(\textbf{x}_i, \textbf{f}_i), (\textbf{x}_i, \textbf{u}_i)\}_{i=1}^L \end{equation}\]첫 번째 단계에서는 occupancy와 포즈 생성을 위한 flow model \(\mathcal{G}_\textrm{S}\)를 통해 active voxel을 나타내는 occupancy cube와 object 중심의 카메라 포즈를 인코딩하는 UV cube를 생성한다. 두 번째 단계에서는 예측된 occupancy와 카메라 포즈를 조건으로, pose-aligned geometry와 외형을 생성하는 모델 \(\mathcal{G}_\textrm{L}\)이 각 active voxel에 대한 DINO feature \(\textbf{f}_i\)를 합성함으로써 최종적인 $\textbf{z}$를 도출한다.
Occupancy 및 포즈 생성
이 단계에서는 조건부 이미지 $\textbf{I}^\textrm{cond}$를 입력으로 받아, 해상도 $r$을 갖는 occupancy cube와 UV cube를 생성한다. Occupancy cube \(\textbf{G}_o \in \{0, 1\}^{r \times r \times r \times 1}\)은 각 voxel의 활성 여부를 나타내는 바이너리 값을 담고 있다. UV cube \(\textbf{G}_{uv} \in \mathbb{R}^{r \times r \times r \times 2}\)는 각 voxel에 대응하는 정규화된 픽셀 좌표 $(u, v)$를 저장한다. 동일한 픽셀 좌표를 공유하는 voxel들은 같은 광선 상에 위치한다.
다음으로, 3D VAE를 학습시켜 UV cube를 저해상도 feature grid \(\textbf{S}_{uv} \in \mathbb{R}^{s \times s \times s \times C}\)로 압축함으로써, 거의 손실 없는 수준의 포즈 정확도를 유지하면서 효율성을 높인다. TRELLIS를 fine-tuning하기 위해, 기존 feature grid \(\textbf{S}_o\)와 \(\textbf{S}_{uv}\)를 concat하고, flow model \(\mathcal{G}_\textrm{S}\)의 입력단과 출력단에 linear layer를 추가한다. Occupancy cube와 UV cube가 생성되면, active voxel들을 수집하고 카메라 포즈를 계산함으로써 \(\{(\textbf{x}_i, \textbf{u}_i(\theta))\}_{i=1}^L\)을 얻는다.
Pose-aligned geometry 및 외형 생성
이 단계에서는 active voxel에 대해서만 상세한 3D latent \(\{\textbf{f}_i\}_{i=1}^L\)을 생성한다. 실험 결과, global attention이 적용된 이미지 정보를 사용하는 기존 TRELLIS의 \(\mathcal{G}_\textrm{L}\)은 색상 왜곡이나 미세한 디테일 손실이 발생하는 경우가 잦은 것으로 나타났다. 이를 해결하기 위해, 본 논문에서는 첫 번째 단계에서 계산된 카메라 포즈를 활용하여 각 voxel에 로컬하게 attention이 적용된 픽셀 정보를 주입한다.
구체적으로, 추정된 카메라 포즈를 활용하여 $i$번째 voxel에 위치한 feature들을 다음과 같이 계산한다.
\[\begin{aligned} \textbf{f}_i^\textrm{DINO} &= \textrm{BilinearInterp} (\textbf{u}_i, \textrm{DINO}(\textbf{I}^\textrm{cond})) \in \mathbb{R}^{1024} \\ \{\textbf{f}_i^\textrm{h}\}_{i=1}^L &= \textrm{SlatEncoder} (\{ \textbf{x}_i, \textbf{f}_i^\textrm{DINO} \}_{i=1}^L), \quad \textbf{f}_i^\textrm{h} \in \mathbb{R}^8 \end{aligned}\]($\textrm{BilinearInterp}$는 bilinear interpolation, $\textrm{SlatEncoder}$는 3D VAE 인코더)
각 voxel의 픽셀 좌표 \(\textbf{u}_i\)는 $i$번째 3D voxel 중심의 좌표를 계산된 카메라 포즈를 사용하여 이미지 평면에 projection함으로써 얻어진다.
DINO는 고수준 semantic 정보를 포착하지만, 정확한 3D geometry 및 외형 재구성에 필요한 저수준 단서는 손실된다. 이를 보완하기 위해, 가벼운 convolutional head를 사용하여 $\textbf{I}^\textrm{cond}$에서 저수준 feature $\textbf{f}^\textrm{l}$을 추출하고 bilinear interpolation을 통해 \(\textbf{u}_i\)에서 샘플링한다. 마지막으로, 각 voxel에 대해 timestep $t$에서의 noise가 포함된 voxel feature \(\textbf{f}_i^t\)를 pixel-aligned feature와 concat하고 linear layer를 사용하여 flow transformer에 융합한다.
\[\begin{equation} l_t = \textrm{Linear} ([\textbf{f}_i^t \oplus \textbf{f}_i^\textrm{h} \oplus \textbf{f}_i^\textrm{l}]) \end{equation}\]Component-aligned Scene Reconstruction
CUPID는 생성된 object와 입력 카메라 포즈 간의 공간적 관계를 명시적으로 모델링함으로써, 강력한 generative prior를 3D reconstruction 과정에 매끄럽게 통합한다. 따라서 명시적인 3D-to-2D correspondence를 활용하여 공간 정렬을 수행함으로써, 장면 단위의 reconstruction으로 자연스럽게 확장될 수 있다. 먼저 foundation model을 활용하여 object를 segmentation하고, 각 3D object를 생성한 뒤, 이를 global depth prior와 결합하여 하나의 장면으로 구성한다.

Occlusion-aware 3D generation
여러 object가 포함된 이미지는 종종 object 사이의 occlusion이 발생한다. 저자들은 Amodal3R에서 영감을 받아 fine-tuning 과정에서 컨디셔닝 이미지에 랜덤 마스크를 적용했다. 여러 object가 포함된 입력 이미지와 각 object에 해당하는 마스크가 주어지면, fine-tuning된 occlusion-aware generator를 사용하여 각 object를 독립적으로 재구성함으로써 object별로 dense 3D-2D correspondence를 생성한다.
Multi-component composition
Object 간에 절대적인 깊이 정보가 보존되지 않기 때문에, 이미지에 대한 직접적인 3D-2D 정렬이 불가능하다. 본 논문에서는 MoGe를 사용하여 global pointmap을 예측함으로써, 3D-2D 정렬 문제를 3D-3D 정렬 문제로 변환하여 해결하였다.
$k$번째 object에 대해, 생성된 3D object상의 보이는 3D 점 좌표 \(\textbf{x}_i^k\)와 마스크 \(\textbf{M}^k\) 내의 대응하는 픽셀 좌표 \(\textbf{u}_i\)로 구성된 쌍 \((\textbf{x}_i^k, \textbf{u}_i)\)을 수집한다. 이후 MoGe pointmap을 조회하여 카메라 프레임에서의 좌표 \(\textbf{p}_i = P(\textbf{u}_i)\)를 얻고, Umeyama 알고리즘을 적용하여 \((\textbf{x}_i^k, \textbf{p}_i)\) 쌍으로부터 object별 similarity transformation \(\mathcal{S}_k = (s_k, \textbf{R}_k, \textbf{t}_k)\)를 추정한다. \(\mathcal{S}_k\)를 적용하면 각 object가 공통 카메라 프레임 내에 배치되어, 정렬된 장면 reconstruction이 가능해진다.
Experiments
1. Evaluation
다음은 geometry 정확도를 비교한 결과이다.

다음은 입력 뷰에 대한 일관성을 비교한 결과이다. (입력 이미지 vs. 3D reconstruction 렌더링)


다음은 CAT3D의 novel view 평가 방식을 따라 CLIP score를 비교한 결과이다.

2. Ablation Studies
다음은 ablation study 결과이다.

