1. 首頁 > 生活百科 > >

DeepSeek R2前瞻：推理時擴展技術如何革新大模型能力？

deepseek

DeepSeek R2前瞻：推理時擴展技術如何革新大模型能力？

文章圖片

DeepSeek R2前瞻：推理時擴展技術如何革新大模型能力？

文章圖片

近日 ， DeepSeek與清華大學聯合發布了一篇題為《Inference-Time Scaling for Generalist Reward Modeling》的論文 ， 提出了一種名為\"自我原則點評調優(SPCT)\"的全新學習方法 ， 這項技術突破很可能成為即將發布的DeepSeek R2模型的核心能力之一 。 這項研究不僅為通用獎勵建模開辟了新路徑 ， 更展示了如何通過優化推理階段的計算資源分配來顯著提升大語言模型的性能 ， 而無需增加模型參數量 。





1.傳統獎勵模型的瓶頸與突破在大型語言模型(LLM)的訓練中 ， 強化學習(RL)已成為提升模型推理能力的關鍵技術 。 然而 ， 傳統RL面臨一個根本性挑戰：如何在缺乏明確規則或可驗證答案的廣泛領域中 ， 為模型提供準確的獎勵信號 。 現有的獎勵模型(RM)往往局限于特定領域 ， 難以適應多樣化的查詢場景 。
DeepSeek和清華的研究團隊發現 ， 采用\"點式生成式獎勵建模(Pointwise GRM)\"方法可以顯著提升模型的靈活性 。 與傳統的固定格式獎勵模型不同 ， GRM能夠統一處理單個、成對和多個響應的評分 ， 從而克服了格式不一致帶來的挑戰 。 這種方法的創新之處在于 ， 它不再依賴預定義的原則來引導獎勵生成 ， 而是讓模型自主生成評判原則 ， 并根據這些原則動態產生點評內容 。





2.SPCT：自我進化的獎勵生成機制SPCT(Self-Principled Critique Tuning ， 自我原則點評調優)是這項研究的核心創新 ， 它包含兩個關鍵階段：

  • (1) 拒絕式微調階段：作為\"冷啟動\" ， 這一階段讓GRM適應不同輸入類型 ， 并學會以正確格式生成原則與點評內容 。 研究團隊采用了獨特的拒絕策略——只有當模型預測的獎勵與真實獎勵不一致 ， 或者所有采樣結果都過于簡單時 ， 才會拒絕該軌跡 。 這種策略有效避免了數據偏差 。
  • (2) 基于規則的在線強化學習階段：在這一階段 ， GRM通過不斷優化生成的原則和點評內容來增強獎勵生成能力 。 與DeepSeek此前的工作不同 ， 研究者放棄了格式獎勵 ， 轉而采用更高的KL懲罰系數來確保輸出格式的正確性 。
特別值得注意的是 ， SPCT將\"原則\"從傳統的理解過程解耦出來 ， 轉變為獎勵生成流程的一部分 。 這意味著模型不再被動接受預設原則 ， 而是能夠根據輸入問題和回答內容動態生成評判標準 ， 使獎勵生成過程更具適應性 。





3.推理時擴展：用計算資源換取性能提升研究團隊探索了如何利用更多推理計算資源 ， 通過基于采樣的策略實現有效的推理時擴展 。 其核心方法包括：
  • 生成獎勵投票機制：通過多次采樣生成不同的原則集和相應點評 ， 然后對獎勵進行投票求和 。 這種方法實際上將獎勵空間擴大了k倍 ， 使GRM能夠生成更豐富、更細致的評判視角 。
  • 元獎勵模型引導：為了解決隨機采樣可能帶來的偏差問題 ， 團隊訓練了一個元獎勵模型(meta RM)來篩選高質量的采樣結果 。 實驗證明 ， meta RM引導的投票能顯著提升最終獎勵的質量和一致性 。
基于Gemma-2-27B訓練的DeepSeek-GRM-27B模型 ， 在采用32個樣本直接投票時 ， 其性能可與671B參數的更大模型相媲美 。 而meta RM引導的投票僅需8個樣本就能達到最佳效果 ， 充分證明了推理時擴展的有效性 。





4.技術突破的實際意義這項研究的價值不僅體現在技術指標上 ， 更在于它為大型語言模型的發展提供了新思路：
  • 性價比革命：相比單純擴大模型規模 ， 推理時擴展能以更低成本獲得可比甚至更優的性能 。 這對于降低大模型應用門檻具有重要意義 。
  • 動態適應能力：自主生成原則的機制使模型能夠更好地適應多樣化的現實場景 ， 不再受限于預設規則 。 這種靈活性對構建真正的通用人工智能至關重要 。
  • 可解釋性提升：通過展示生成的原則和點評 ， 用戶可以更直觀地理解模型的評判標準 ， 增強了系統的透明度和可信度 。
5.展望DeepSeek R2雖然DeepSeek官方尚未正式公布R2的細節 ， 但這項研究很可能預示著R2的核心技術方向 。 與R1主要依靠強化學習提升推理能力不同 ， R2可能會更注重推理階段的優化和擴展 。
從技術發展脈絡看 ， DeepSeek正從\"訓練階段優化\"轉向\"推理階段優化\" ， 這一轉變與行業追求更高性價比的趨勢高度一致 。 可以預見 ， R2將不僅在性能上有所突破 ， 更可能在成本效益和適用范圍上帶來驚喜 。
【DeepSeek R2前瞻：推理時擴展技術如何革新大模型能力？】隨著AI技術進入深水區 ， 像SPCT這樣的創新表明 ， 大模型的發展不再只是\"更大更強\" ， 而是向著\"更智能、更經濟、更靈活\"的方向演進 。 DeepSeek R2的即將到來 ， 或將再次刷新我們對大型語言模型能力的認知 。

    推薦閱讀