文章圖片
文章圖片
文章圖片
文章圖片
文章圖片
文章圖片
文章圖片
文章圖片
本文第一作者王濤來自中國人民大學 ， 共同第一作者李夢雨 (https://mengyu8042.github.io/) 來自清華大學 。 通訊作者為中國人民大學張瓊助理教授 (https://sarahqiong.github.io/) 與孟澄助理教授 (https://cheng-bdal.github.io/) 。 其他作者還包括來自中國人民大學的曾舸舵 。
導語
在三維視覺領域 ， 3D Gaussian Splatting (3DGS) 是近年來大熱的三維場景建模方法 。 它通過成千上萬的高斯球在空間中“潑灑” ， 拼合成一個高質量的三維世界 ， 就像是把一片空白的舞臺 ， 用彩色的光斑和粒子逐漸鋪滿 ， 最后呈現出一幅立體的畫卷 。 然而 ， 高斯球冗余一直讓3DGS的存儲與渲染速度受限 。 本文提出把 3DGS 看成高斯混合模型 ， 用最優傳輸視角做全局“簡化” 。 實驗顯示在僅保留 10% 高斯時 ， 畫質幾乎不掉、并穩定優于主流壓縮方案 。
代碼地址：
https://github.com/DrunkenPoet/GHAP
論文地址：
https://arxiv.org/abs/2506.09534
要點速覽
- 新視角：本文首次提出將3DGS建模為高斯混合分布 ， 并將3DGS壓縮問題表述為高斯混合簡化（Gaussian Mixture Reduction GMR） ， 在保持幾何結構的同時降低高斯球的冗余 。
- 新框架：本文提供了一個可擴展到大規模場景的3DGS模型壓縮框架 。 它使用KD-Tree對空間做一個均勻的分塊 ， 在每個子塊中進行高斯混合簡化 ， 該框架使得大規模3DGS模型壓縮可行 。
- 兩段式：先做幾何信息（位置/協方差）的約簡 ， 再進行外觀特征（不透明度/顏色）的細化 。 解耦幾何與外觀 ， 使得效果更加穩定 。
- 可插拔：可直接嵌入大多數3DGS變體中 ， 具有極高的可擴展性 。
- 高表現：在10%保留率下 ， 渲染效果基本不變 ， 且普遍優于其他基于剪枝的方法和端到端的方法 。
當前 3DGS 通過數以百萬計的各向異性高斯球表示場景 ， 渲染速度快但具有高度的冗余 。 現有 3DGS 壓縮工作多以“剪枝”為主要路線：先給每個高斯打“重要性得分” ， 再按閾值進行刪減 。 這樣做的壞處是容易破壞全局幾何結構 ， 導致細節丟失或形變 。 本文提出的 Gaussian-Herding-across-Pens (GHAP) 方法的出發點是：把整套 3DGS 看作一個高斯混合模型 ， 用“全局最優”的方式重建一個更小的混合模型 ， 以實現更近似的模型壓縮 。
高斯混合簡化 (GMR) 旨在尋找一個高斯數量更小的混合分布來近似高斯數量更多的混合分布 。 下圖中給出了一個一維分布的示例 。 左邊8個高斯的混合分布的密度函數（實線）和右邊只有3個高斯的混合分布的密度函數幾乎無差異 。
GMR 在貝葉斯濾波、機器人等領域有許多應用 。 本研究創新性地將3DGS原模型看作一個高斯混合模型：
壓縮后的 3DGS 對應另一個需要優化的混合模型：
其中m遠遠小于n 。 受現有GMR技術的啟發 ， 作者通過最小化以下的復合傳輸散度得到壓縮后的 3DGS 高斯球：
該距離受到最優傳輸理論的啟發 ， 將高斯混合分布看做高斯分布空間中的一個個點 ， 并在該空間上 ， 將這些點搬運到給定數量的新的高斯點 ， 以此保留原高斯分布的幾何結構 。 該算法可以被解釋成一個簡單的k-means求解過程 。 聚類中心是最終壓縮得到的高斯參數 。 在每次迭代時 ， 根據每一個高斯點離當前聚類中心的最近距離 (通過 c 來刻畫) 將高斯點分為m個類 ， 并在類內計算重心來更新聚類中心 。 為此 ， 本文專為3DGS設計了一個簡單且合適的代價函數 c
可以使得聚類中心的迭代過程如下：
下面的例子直觀地展示了GMR方法與傳統的剪枝方法的差異：
可以看到 ， 高斯混合簡化方法顯著保留了概率分布的結構形態 ， 返回到3DGS模型中 ， 就相當于盡可能保留了原3D物體的幾何形態 。
由于3DGS中的高斯球數量巨多 ， 本研究進一步設計了一個有效的3DGS壓縮流程 。 對于使用任意3DGS及其變體訓練的3DGS模型 ， 先對它使用KD-tree進行空間劃分 ， 然后再在每個分塊中運行高斯混合簡化技術 ， 得到更輕量化的3DGS模型 。 為了讓模型適應新的結構 ， 作者在最后加入了一個外形優化模塊 ， 繼續優化除了位置和形狀信息外的特征 ， 提高新視角合成任務中的表現 。 整個流程就好像牧羊人將羊群趕入一個個圍欄 ， 讓他們井然有序地保持固定的形態 。 方法流程圖如下 。
實驗
在文章中 ， 作者與多個基于剪枝的壓縮方法和端到端的壓縮方法進行了比較 。 通過將壓縮后高斯球的數量按照大小分組 ， 我們可以觀察到基于GHAP壓縮后的表現領先于其他基線方法 。 且非常較接近全樣本的端到端方法 。
RD圖結果也顯示 ， 該方法一致優于其他剪枝的方法 ， 且在時間上也有較大優勢 ， 但是內存占用會有些許提升 。
同時 ， 本文也驗證了GHAP壓縮方法的可擴展性 。 作者將GHAP方法應用于多個不同3DGS框架中 ， 下表結果顯示 ， GHAP方法可以很好地保留基礎模型的性能 ， 有時甚至可以實現對基礎模型表現的反超 。
作者也展示了在10%的保留率下GHAP方法作用在不同基模型和不同場景上的視覺效果 。 在大部分場景中中 ， GHAP相較于未壓縮模型都有極高的視覺保真度 。 紅色圈中部分代表壓縮后模型與原模型稍有肉眼可見的差異 。
【NeurIPS Spotlight｜GHAP：3DGS“剪枝”變成“重...】總結
- 作者提供了一個全新的3DGS壓縮視角：基于高斯混合模型簡化 ， 實現保持幾何細節特征的壓縮 。
- 作者開發了一套有效的程序 ， 使得該方法可用于大規模3DGS場景的壓縮 。
- 該方法是一個后處理的方法 ， 具有可插拔的特點 ， 適用于絕大多數3DGS場景 。
推薦閱讀
- NeurIPS 2025 | CMU、清華、UTAustin開源ReinFlow
- 清華大學團隊NeurIPS 2025文章分析 RL 與 SFT 泛化性差異
- 登上NeurIPS，Genesis開創無需OCC引導的多模態生成新范式
- 多模態推理最高加速3.2倍！華為諾亞新算法入選NeurIPS 2025
- NeurIPS Spotlight｜運動遮擋都不怕，一段視頻精準預測相機參數
- 5555被拒稿，AC接收但PC強拒，NeurIPS揭榜引爭議
- NeurIPS近3萬投稿強拒400篇論文！博士瘋狂內卷，AI頂會噩夢來襲
- Who’s Adam？最逆天的NeurIPS評審出爐了
- qg有幾個冠軍