12毫秒暴露自動駕駛致命缺陷，北航新研究｜TPAMI2025

2026-02-20 自動駕駛北航

文章圖片

文章圖片

文章圖片

文章圖片

文章圖片

文章圖片

文章圖片

DynamicPAE團隊投稿
量子位 | 公眾號 QbitAI
近日，部分L3級自動駕駛車型已經通過工信部批準正式上路，這標志著這我國自動駕駛產業的新階段。
然而，假設你正乘坐自動駕駛汽車在高速上行駛，前方道路上出現了一個具有看似正常但實則為惡意生成紋理外觀的障礙物，而你的自動駕駛車輛感知系統可能并未準確識別，可能因錯判、漏判引發嚴重事故。
這類對智能系統具有誘導性且可以在真實世界中復現的紋理，正是物理對抗樣本（PAE ，Physical Adversarial Examples）。

無論是為發動PAE攻擊還是防范PAE攻擊，生成足夠的PAE樣本都至關重要。
目前已有不少方法研究如何生成PAE ，但它們往往以靜態場景為前提，無法有效應對動態變化（環境、如光、物體運動等）的現實環境。因此，如何實時生成適應不同場景的物理對抗樣本，成為智能安全領域亟待解決的問題。
北京航空航天大學等機構提出了DynamicPAE框架，開創性地實現了實時場景感知的動態PAE生成方法。
該方法通過對抗訓練中的反饋問題，結合殘差引導的對抗模式探索和場景對齊技術，實現了PAE在動態場景中的毫秒級生成。該工作被IEEE Transactions on Pattern Analysis and Machine Intelligence 2025錄用。

DynamicPAE框架聚焦于解決實時生成物理對抗樣本面臨的多維度挑戰。該方法通過對抗訓練中的反饋問題，結合殘差引導的對抗模式探索和場景對齊技術，實現了PAE在動態場景中的高效生成和優化。
研究面臨兩大核心挑戰：
1. 對抗樣本訓練中噪聲阻礙了對場景相關PAE的有效探索，進一步導致訓練退化問題，現有生成器難以穩定生成高質量的對抗樣本；
2. 數字域的對抗樣本生成與現實場景對接較為困難，生成器訓練環境與現實攻擊者的觀察信息，導致生成的PAE在實際應用中的適用性與隱蔽性不一致，進而影響了其在復雜環境中的有效性和穩定性。
DynamicPAE框架通過殘差引導對抗模式探索、分布匹配攻擊場景對齊和目標加權模塊的設計，有效應對上述挑戰，使得PAE生成過程更加穩定，且能夠實時適應不同場景。
該框架在多個物理攻擊場景中表現出顯著的性能提升，在真實環境中的自動駕駛安全測試、物理對抗攻擊等領域展現了廣泛的應用潛力。
DynamicPAE框架 △圖1 環境感知的物理世界對抗樣本實時生成框架
DynamicPAE框架如圖1所示，主要包括殘差驅動的對抗模式探索方法與分布匹配的對抗場景對齊方法，解決了端到端訓練動態對抗樣本生成器時的模式易坍縮、環境難適配問題。論文首先將動態物理對抗樣本生成問題定義為：

即尋找能夠有效建模觀察到的物理上下文PX∈p ，與物理對抗樣本δ間映射的生成器G 。
其中Yadv是通過目標模型F定義的成功攻擊的范圍， ⊕為攻擊注入操作，它利用物理對抗樣本δ=G(PX)作為輸入，更新世界狀態X∈x 。
1. 對抗模式的探索引導：研究發現物理對抗樣本動態生成器的優化過程存在訓練退化問題。為刻畫該問題，據生成模型的信息處理過程，提出有限信息反饋模型，建模物理對抗樣本δ與場景X關聯的混沌性質，定義反饋信息比為：

其中， δ表示對抗樣本， ?δL對抗樣本空間上對抗損失的梯度，刻畫單次優化所能得到的目標模型的反饋， Z表示在信息瓶頸理論下生成模型的對場景的關鍵編碼。
生成模型的信息處理過程為X→Z→δ ， I與H分別表示互信息與香農熵。
在引入物理環境不確定性的條件下，對抗損失梯度反饋信噪比低，即Information Ratio較低，阻礙了優化算法對動態對抗樣本空間的探索，使得優化得到的生成器將不同的X映射到高度相近的δ ，導致動態性失效。
為解決該問題，研究通過重新定義訓練任務來繞過反饋信息匱乏的困難。
具體而言，建立輔助任務協同優化的范式，以λ∈[01
為集成比例，引入新的高信噪比“殘差”任務，定義集成損失lλ殘差任務損失LR條和件生成目標δλ和殘差比例任務編碼Zλ ，并通過以λ為條件生成的方式修改損失函數以提高任務的解耦性和生成效果。
具體地，定義損失函數為：

使得在該任務的反饋信息比顯著高于原有動態對抗樣本訓練任務，即：

從對抗樣本的生成空間的角度來看，殘差任務的目標是鼓勵探索全局空間。
受擴散模型中為學習整個梯度場而構建去噪任務的啟發，論文將輔助殘差任務R(LR:=LInv)定義為局部重建任務，因為它與模型輸入PX直接相關，并同時可讓模型學習到如何生成不同強度的攻擊，使樣本具有更靈活的隱蔽性。
具體來說，采用均方誤差MSE作為客觀質量指標， LPIPS作為主觀質量指標，并將它們整合為：

2. 分布匹配的攻擊場景對齊如何確保生成的PAE在現實場景中有效？
為了讓生成的PAE能夠在復雜多變的現實場景中發揮作用， DynamicPAE提出了分布匹配的攻擊場景對齊方法。該方法包含兩個關鍵模塊：
1. 條件不確定性對齊數據模塊：通過創建條件概率模型，生成攻擊注入過程的參數和攻擊者的觀察，使訓練環境與攻擊者在現實世界中的不完整觀察對齊，從而平衡了攻擊的普遍性和性能。
2. 偏度對齊目標重加權模塊：則利用偏度統計量自動重新加權損失，實現對不同攻擊目標的一致隱身控制，同時進一步實現殘差任務訓練過程中“探索”與“利用”的平衡。
以對抗補丁生成為例。根據條件不確定性對齊原則，基于采集到的數據X建立訓練數據概率圖模型：
△訓練數據概率圖模型
其中， S和s’表示生成過程中注入的隨機因素， θ表示對抗補丁的模擬放置參數， PX表示動態生成模型對于場景的觀測，從而保障訓練環境與真實環境一致。
對于殘差任務引導的訓練過程，重建損失“LInv”的采樣強度配比代表了對生成器多樣化紋理生成“探索”增強的能力，而攻擊損失“LAtk”的采樣強度代表了對于對抗補丁針對性生成的局部模式“利用”的能力。
進一步地，盡管模型以λ為輸入，測試時相同λ下模型攻擊性-隱蔽性權衡的具體行為也受損失項整體強度影響。
為建立攻擊目標權重配比自適應調控機制，并針對原殘差任務中的LInv進行調節，設定重構任務的損失強度α和新損失L’Inv ，根據損失的偏度統計量作為指示器，定義新損失項L’Inv及其調節方程為：

可證明調控過程在合理條件下收斂，從而保障在對抗度量測試場景下，動態對抗生成模型在不同目標模型、不同任務場景下的一致攻擊行為，保障度量的一致性。 α控制器的示意圖如下圖所示。
△圖2 損失分布的閉環控制示意圖
實驗結果在多種數字和物理環境中， DynamicPAE相較于傳統PAE生成方法展現了優異的攻擊性能。
在使用COCO和Inria數據集進行目標檢測實驗時， DynamicPAE實現了顯著的性能提升，尤其在面對DETR等強大模型時，平均AP（平均精度）下降幅度為58.8% ，達到了2.07倍的攻擊成功率提升。
DynamicPAE在推斷速度上表現優異。
實驗數據顯示，在NVIDIA A40 GPU上， DynamicPAE生成單張對抗樣本的平均耗時僅為12毫秒，相比于傳統的PGD迭代攻擊方法，速度提升了2000倍以上，且攻擊性更優。
這一特性使得DynamicPAE能夠輕松滿足自動駕駛等場景對物理世界攻擊實時性的嚴苛要求，真正實現了動態、自適應的物理對抗。
△圖3 DynamicPAE與其他方法對比
△圖 4 DynamicPAE與基線方法對比
上圖可視化了一些目標模型的補丁生成結果。左側是沒有殘差引導訓練時，可以觀察到所有四個目標模型生成的補丁都是相同的。
殘差引導訓練在攻擊每個模型時成功找到了多樣化的解決方案。盡管探索到的對抗樣本模式本身的多樣性有限，但其擺脫退化和單一解的行為是一致的。
△圖5 DynamicPAE的機制分析
為表明DynamicPAE框架中樣本不同是基于攻擊者的觀察生成的，而不是隨機生成的，研究進一步分析了訓練好的生成器的潛在表征Z 。
首先根據物理對抗樣本的風格對潛在表征進行標注，然后應用LDA進行降維。圖5中，子圖a表明模型成功學習到了樣本的線性降維表征。研究進一步在降維空間中進行K近鄰搜索，并在子圖b中可視化了相應的物理上下文。
結果表明， KNN搜索結果在某些特征上（包括人類行為、服裝的色彩、暴露的身體部位等）與查詢具有顯著相似性，這表明DynamicPAE通過端到端的訓練，確實捕捉到了攻擊目標（如行人檢測器）的脆弱性特征與物理場景上下文之間的深層關聯，從而實現了場景感知的生成能力。
△圖6 動態物理環境下的適應能力
為了驗證模型在真實物理世界中的有效性，研究構建了包含光照變化、不同視角及屏幕反射等干擾的物理測試環境。
實驗結果表明， DynamicPAE生成的對抗樣本并非靜態不變，而是能夠根據環境光照和場景內容的改變進行動態調整。
在視頻分析實驗中，面對不斷變化的背景和移動的人物， DynamicPAE能夠實時輸出與當前幀最匹配的對抗紋理，保持攻擊的持續有效性。相比于傳統靜態貼片在光照劇烈變化下攻擊性能大幅下降的情況， DynamicPAE展現出了卓越的環境適應能力和魯棒性。
論文同時驗證了DynamicPAE在黑盒遷移攻擊、3D仿真環境泛化攻擊、人臉識別分類攻擊的有效性，驗證了技術框架對無人駕駛對抗擾動測試生成場景的適配能力，同時消融實驗進一步分析了各模塊的影響，驗證了所提方法的實際有效性。
在未來，相關工作可結合3D仿真模型生成和強化學習等技術，進一步完善動態對抗的生成能力。
論文鏈接：https://ieeexplore.ieee.org/document/11219170
— 完 —
量子位 QbitAI · 頭條號簽約
【12毫秒暴露自動駕駛致命缺陷，北航新研究｜TPAMI2025】關注我們，第一時間獲知前沿科技動態

推薦閱讀

上一篇：朱光耀：明年人工智能發展領域將面臨巨?大競爭

下一篇：RTX 5080爆改32GB顯存！誰還等24GB SUPER