[논문리뷰] FastGS: Training 3D Gaussian Splatting in 100 Seconds

CVPR 2026 (Highlight). [Paper] [Page] [Github]
Shiwei Ren, Tianci Wen, Yongchun Fang, Biao Lu
NanKai University
6 Nov 2025

Introduction

본 논문에서는 기존과 대등한 렌더링 품질을 유지하면서 약 100초 만에 장면을 학습시킬 수 있는 새롭고 단순하며 범용적인 3DGS 가속 프레임워크인 FastGS를 제안하였다. 사실상 거의 모든 Gaussian primitive는 여러 시점에서 동일한 영역을 렌더링하는 데 관여한다. 이러한 점에 착안하여, 각 3D Gaussian이 멀티뷰 일관성을 유지해야 한다는 bundle adjustment의 개념을 활용한다. 이는 곧 3D Gaussian이 동일 영역에 대한 여러 시점에서의 렌더링 품질을 향상시키는 데 기여해야 함을 의미한다.

따라서 저자들은 멀티뷰 렌더링 품질 향상에 Gaussian이 유익하게 기여하는지 평가하기 위해 view consistent densification (VCD) 전략을 도입하였다. 이와 동일한 원리에 기반하여, 멀티뷰 렌더링 품질에 도움이 되지 않는 불필요한 Gaussian을 제거하는 view consistent pruning (VCP) 전략도 제안하였다. 특히 VCD와 VCP는 densification하거나 pruning해야 할 Gaussian을 정확하게 식별하므로, 별도의 budget 설정 메커니즘이 필요하지 않으며 이에 따라 다른 task에도 쉽게 적용할 수 있다.

Method

1. Multi-view Consistent Densification

기존 3DGS는 이미지 공간에서의 gradient 크기만을 기준으로 Gaussian을 densification하므로, 다수의 중복된 Gaussian이 생성되는 문제가 있다. 저자들은 이러한 중복성이 여러 뷰를 바탕으로 특정 Gaussian의 densification 필요성을 엄밀하게 판단하지 못하기 때문이라고 보았다. Taming-3DGS는 densification 과정에서 멀티뷰 일관성을 고려하지만, 주로 Gaussian의 속성을 기반으로 점수를 산출하기 때문에, Gaussian에 대해 엄격한 멀티뷰 일관성을 적용하기 어렵다. 게다가 점수 산출 과정이 복잡하고 상대적으로 비효율적이다.

이러한 문제를 해결하기 위해, 저자들은 멀티뷰 일관성에 기반한 새롭고 간단한 densification 전략인 VCD를 제안하였다. VCD는 샘플링된 뷰들에 걸쳐 각 Gaussian의 2D footprint 내에 있는 ‘오차가 큰 픽셀’의 평균 개수를 계산한다. 여기서 오차가 큰 픽셀은 GT와 렌더링 결과 간의 픽셀별 L1 loss만을 기준으로 식별된다.

구체적으로, 학습 뷰에서 무작위로 샘플링된 $K$개의 카메라 뷰 $V = \{v^j\}_{j=1}^K$와 이에 대응하는 GT 이미지 $G = \{g^j\}_{j=1}^K$ 및 렌더링된 이미지 $R = \{r^j\}_{j=1}^K$가 주어졌다고 가정하자. 각 뷰 $v^j$에 대하여, 픽셀 $(u, v)$에서의 렌더링된 색상 $r_{u,v}^j$와 GT 색상 $g_{u,v}^j$ 간의 오차를 다음과 같이 계산한다.

\[\begin{equation} e_{u,v}^j = \frac{1}{C^\prime} \sum_{c^\prime = 1}^{C^\prime} \vert r_{u,v}^{j,c^\prime} - g_{u,v}^{j,c^\prime} \vert \end{equation}\]

($c^\prime$은 색상 채널)

그런 다음, 픽셀별 오차에 min–max normalization $\mathcal{N}(\cdot)$을 적용하여 loss map $\mathcal{M}^j \in \mathbb{R}^{W \times H}$를 구성한다.

\[\begin{equation} \mathcal{M}^j = \mathcal{N} \left( \{ e_{u,v}^j \}_{u=0, v=0}^{W-1,H-1} \right) \end{equation}\]

그런 다음 $\mathcal{M}^j$에 threshold $\tau$를 적용하여 높은 재구성 오차를 갖는 픽셀 $p_h$를 식별하고 마스크를 생성한다.

\[\begin{equation} \mathcal{M}_\textrm{mask}^j = \mathbb{I} (\mathcal{M}^j > \tau) \end{equation}\]

다음으로, 이러한 높은 오차가 발생하는 픽셀과 관련된 Gaussian primitive를 찾아야 한다. 각 3D Gaussian $\mathcal{G}_i$에 대해, 이를 2D 이미지 공간에 projection하여 2D footprint $\Omega_i$를 얻는다. 그런 다음, $\mathcal{M}_\textrm{mask}^j$로 픽셀에 높은 오차가 있는지 여부를 판단한다. 각 Gaussian primitive에 대해 중요도 점수 $s_d^i$를 계산하는데, 이는 샘플링된 모든 뷰에서 2D footprint에 포함된 높은 오차가 발생하는 픽셀 수를 누적한 다음 누적된 값을 평균낸 값이다.

\[\begin{equation} s_d^i = \frac{1}{K} \sum_{j=1}^K \sum_p^{\Omega_i} \mathbb{I} \left( \mathcal{M}_\textrm{mask}^j (p) = 1 \right) \end{equation}\]

여기서 높은 $s_d^i$ 값은 해당 Gaussian이 여러 뷰에 걸쳐 지속적으로 오차가 큰 영역에 위치함을 나타내며, 따라서 이를 densification 후보로 사용한다. Gaussian primitive $\mathcal{G}_i$는 그 중요도 점수 $s_d^i$가 threshold $\tau_d$를 초과할 때만 densification 대상으로 선택되는데, 이는 새로운 Gaussian이 여러 뷰에 걸쳐 재구성이 미흡한 영역에 집중되도록 보장한다. 렌더러의 forward pass를 통해 2D footprint 내 오차가 큰 픽셀의 개수를 직접 효율적으로 파악할 수 있다.

2. Multi-view Consistent Pruning

기존 3DGS는 opacity가 낮거나 크기가 지나치게 큰 Gaussian을 제거하지만, 중복성 문제는 효과적으로 해결하지 못한다. Speedy-Splat은 모든 학습 뷰에 걸쳐 Gaussian 관련 Hessian 근사치를 누적하여 pruning 점수를 산출한다. 따라서 멀티뷰 일관성을 간접적으로 활용함에 따라 렌더링 품질이 저하되는 결과를 초래한다.

진정으로 중복된 Gaussian을 제거하기 위해, 본 논문에서는 멀티뷰 일관성에 기반한 새롭고 간단한 pruning 전략인 VCP를 제안하였다. VCD와 유사하게, VCP는 각 Gaussian이 멀티뷰 재구성 품질에 미치는 영향을 바탕으로 점수를 평가한다.

구체적으로, 각 뷰 $v^j \in V$에 대해 렌더링된 이미지 $r^j$와 이에 대응하는 GT 이미지 $g^j$ 간의 photometric loss를 계산한다.

\[\begin{equation} E_\textrm{photo}^j = (1 - \lambda) L_1^j + \lambda (1 - L_\textrm{SSIM}^j) \end{equation}\]

Photometric loss는 재구성 충실도의 신뢰할 수 있는 지표를 제공하므로, 이를 $s_d^i$ 식에 통합하여 각 Gaussian primitive $\mathcal{G}_i$에 대한 pruning 점수를 도출한다.

\[\begin{equation} s_p^i = \mathcal{N} \left( \sum_{j=1}^K \left( \sum_p^{\Omega_i} \mathbb{I} \left( \mathcal{M}_\textrm{mask}^j (p) = 1 \right) \right) \cdot E_\textrm{photo}^j \right) \end{equation}\]

Pruning 점수 $s_p^i$가 미리 정의된 threshold $\tau_p$를 초과하는 경우 Gaussian primitive $\mathcal{G}_i$가 pruning을 위해 선택된다. 이는 $\mathcal{G}_i$가 여러 뷰에서 렌더링 품질에 상대적으로 낮은 기여도를 갖는다는 것을 나타낸다.

3. Compact Box

Rasterization의 전처리 단계에서 기존 3DGS는 3-sigma rule을 사용하여 2D 타원을 생성하는데, 이 과정에서 수많은 Gaussian-타일 쌍이 생성되어 계산 중복이 발생하고 렌더링 효율이 저하된다. Speedy-Splat은 정확한 타일 교차를 통해 이러한 문제를 부분적으로 해결하지만, 일부 2D Gaussian은 특정 타일의 픽셀에 여전히 미미한 영향을 미친다.

저자들은 불필요한 쌍을 더욱 줄이기 위해, Speedy-Splat의 정확한 타일 교차 전략을 기반으로 Gaussian 중심과의 Mahalanobis distance를 기준으로 기여도가 가장 낮은 Gaussian-타일 쌍을 제거하는 compact box (CB)를 도입했다. 이를 통해 품질을 유지하면서 렌더링 속도를 더욱 향상시킬 수 있다.