1. 首頁 > 生活百科 > >

告別靜態操控：新型AI可穿戴貼片，可在運動中識別手勢控制機械臂

大疆3d打印拓竹

告別靜態操控：新型AI可穿戴貼片，可在運動中識別手勢控制機械臂

文章圖片

告別靜態操控：新型AI可穿戴貼片，可在運動中識別手勢控制機械臂

文章圖片

告別靜態操控：新型AI可穿戴貼片，可在運動中識別手勢控制機械臂

文章圖片

告別靜態操控：新型AI可穿戴貼片，可在運動中識別手勢控制機械臂

文章圖片


美國加州大學圣地亞哥分校（UCSD）徐升教授對 DeepTech 表示：“很榮幸我們的工作成為 Nature Sensors 期刊的首篇論文 ， 我們第一次通過 AI 的方法實現了在動態下抗運動偽影的人機交互 ， 應用場景包括可穿戴和移動設備的手勢控制、機器人遙操作、AR/VR 動作追蹤、游戲、康復與輔助設備、工業與軍事訓練、健康與運動監測、智能家居控制及汽車手勢交互等領域 ， 為現實生活和專業應用提供了精確而高效的交互方式 。 ”


圖丨徐升課題組（來源：課題組）

近期 ， 徐升團隊開發了一種通過深度學習增強的可穿戴傳感器 ， 可構建在多種動態條件下均具備強抗運動偽影能力的人機交互界面 。 該設備以柔性電子貼片的形式貼附在用戶前臂 ， 通過無線方式實時捕捉動作信號并驅動外部機器人執行精確操作 。

簡單來理解 ， 它像是一個通用的“手勢翻譯官” ， 即便是在奔跑、高頻振動、游泳或行駛的汽車等高度動態的環境下 ， 也可以通過無線捕捉和傳輸手勢信號 ， 并將提取的手勢信號轉換為實時、連續的基礎控制機械手臂動作 。 而面對一些相對復雜的動作 ， 則可以將這些基礎動作像搭樂高積木那樣一步步組合完成 。

實驗結果顯示 ， 該系統實現了一系列優異的性能：手勢識別的準確率達 94%；新用戶僅需坐姿和臥姿兩個樣本就能完成模型微調 ， 大幅度減少了數據采集時間；從手勢信號捕捉到機器人手臂響應的延遲約 1.3 秒 可滿足實時控制的需求；電池性能方面 ， 可拉伸電池在 60 個循環后容量保持在約 25 mAh ， 庫侖效率近 100% ， 可支持設備 4 小時以上的連續運行 。


（來源：課題組）

該研究通過減輕運動偽影帶來的影響 ， 突破了此前在運動／震動環境下難以應用的瓶頸 ， 并展示了可穿戴人機交互界面在復雜真實世界應用中的潛力 ， 也為設計新的手勢識別平臺或系統提供了一種新的思路 。

例如在醫療領域 ， 通過該技術為帕金森患者或康復中行動不便的患者在動態環境下 ， 通過手勢精確控制設備等方面提供幫助 。 另一方面 ， 該研究拓寬了控制行為的應用場景 ， 在動態環境下擴展了手勢識別控制的適用模式 。 傳統的手勢識別技術（例如娛樂）大多基于靜止狀態進行識別和控制 ， 而在游泳、跑步、跳躍等特殊場景下也可以進行精準識別和控制 。

近日 ， 相關論文以《一種基于深度學習增強型可穿戴傳感器的抗運動偽影人機交互界面》（A noise-tolerant human–machine interface based on deep learning-enhanced wearable sensors）為題發表在 Nature Sensors[1
。

UCSD 博士后研究員陳相君、樓之源（UCSD 碩士畢業生 ， 現英國帝國理工學院博士研究生）、郜曉翔博士（現東南大學青年首席教授）和尹鹿博士（UCSD 博士畢業生 ， 現 Persperion Diagnostics 公司 CEO）是共同第一作者 ， 徐升教授和 Joseph Wang 教授擔任共同通訊作者 。


圖丨相關論文（來源：Nature Sensors）

靈感溯源：從海上營救到普適性抗噪探索

該研究源于一個科研設想：能否在海浪環境下進行精準的手勢識別操作？這有望在海上營救或其他活動中發揮關鍵的作用 。

研究人員的靈感最初來源于潛水員控制水下機器人 ， 他們進一步提出 ， 該課題或許可拓展至全領域——在海浪中會產生噪聲 ， 實際上在跑步等運動中也會產生類似的運動干擾 。 進一步地 ， 他們在文獻調研過程中發現 ， 幾乎沒有在運動或較大震動環境下進行手勢識別的相關研究 。

該團隊意識到這是一個硬件上的關鍵挑戰：慣性測量單元需要既記錄用戶運動（如走路）也記錄手勢施動時的信號 。 為解決該問題 ， 研究團隊利用深度學習模型來區分運動偽影和真實信號 。 通過在包含手勢信號和運動偽影的復合數據集上訓練的卷積神經網絡（CNN ， Convolutional Neural Network）提取穩健信號 ， 同時采用基于參數的遷移學習提高網絡在不同用戶間的泛化能力 。


圖丨抗運動噪聲的人機界面概述（來源：Nature Sensors）

與傳統的靜態手勢識別相比 ， 該研究的創新之處在于：用更復雜、更多樣的數據去訓練模型來提升其性能 。 具體而言 ， 在訓練 AI 模型時加入各種噪聲 ， 讓 AI 既學習單獨的信號 ， 也學習帶有運動偽影的信號 ， 以增強模型應用場景的廣泛性 。

研究人員對比了全連接神經網絡、循環神經網絡以及基于 LeNet-5 架構的 CNN 。 結果顯示 ， CNN 在召回率、精確度、F1 分數和特異性方面均表現最優 ， 各項指標均超過 0.92 。

該可穿戴設備采用了緊湊的多層架構 ， 尺寸僅為 1.8 cm × 4.5 cm2 ， 厚度為 2 mm 。 這套控制系統由器件、機器人和 AI 三大模塊組成 。 器件方面集成了慣性儀、肌電信號傳感器兩種傳感器 ， 以及藍牙微控制器和柔性可拉伸電池 。


（來源：課題組）

該研究另一個創新之處在于 ， 研究團隊與 Joseph Wang 實驗室合作 ， 引入了后者開發的高性能柔性鋅-氧化銀電池來為設備提供電力 。 盡管現有的柔性器件本身可拉伸 ， 但它們通常會用一個體積較大的電池來供電 ， 或配備一些無線傳輸、無線充電模塊 。

采用柔性電池的優勢在于 ， 與器件同等尺寸且整個器件是完全集成的 ， 并且研究團隊有一整套制備工藝讓器件和電池都能夠從硬態變為具有 20% 可拉伸性的狀態 ， 能夠舒適貼附于用戶前臂 ， 并能持續供電 4 小時以上 。 此外 ， 設備的藍牙信號強度在 20 m 范圍內保持穩定 ， 即使在彎曲和拉伸狀態下 ， 電池容量也能維持在約 25 mAh 。

陳相君解釋說道：“這個電池負責給整個系統供電 ， 系統則將肌電信號和慣性信號全部傳輸到電腦上 。 實際上 ， AI 的處理過程都是在電腦這個‘中轉站’完成的 。 它處理信號后 ， 再將信號傳遞給機械臂 ， 告訴機械臂要做什么動作 。 ”

突破邊界：跨場景、跨環境的極限驗證

一個不容忽視的普遍性問題是：AI 模型在訓練時不能只在某個個體上訓練 ， 其容易引起對新個體不適配的問題 。

為解決該問題 ， 研究人員采用了遷移學習策略 。 他們首先在五位用戶的數據上進行預訓練 。 “這樣 ， 新用戶只需要提供少量數據 ， 模型就能快速適配并運行 ， 而不需要像第一位用戶那樣采集大量數據 。 ”陳相君進一步說道 。

具體而言 ， 新用戶只需要采集每個手勢的兩個樣本（臥姿和坐姿） ， 模型就能識別 ， 并且最低識別準確率從 51% 顯著提升至 92% 以上 ， 數據采集時間也從約 2 分鐘縮短至 6 秒 。


圖丨實時機械臂控制與運動偽影（來源：Nature Sensors）

根據論文 ， 盡管系統存在約 1.3 秒的響應延遲 ， 但由于連續識別機制 ， 機械臂能夠流暢執行一系列復雜任務 ， 如在用戶跑步、高頻振動或躺臥狀態下 ， 精確地將液體從試劑瓶轉移至燒杯 。

值得關注的是 ， 研究團隊還特別探索了該系統在水下環境的應用潛力 ， 通過在斯克里普斯海洋-大氣研究模擬器中模擬了不同波長與波高的海浪（包括近海和深海） ， 并在離線測試中實現了較為理想的指令識別準確率 。

陳相君指出 ， 這臺大型造浪機解決了驗證器件性能 ， 并基于此證明了該器件可以在海浪巨大的噪聲下工作 。 “未來 ， 我們還將嘗試在真實海浪環境下讓潛水員用該器件完成營救或偵察等任務 。 ”

成長之路：從工作者到項目負責人的蛻變

陳相君本科畢業于北京航空航天大學 ， 最初就讀于機械專業 ， 大二時轉到材料學院郭林院士團隊進行二維材料合成方向的探索 。 之后 ， 他來到 UCSD 徐升教授課題組攻讀博士學位 ， 目前他在該課題組進行博士后研究 。

徐升課題組的研究方向聚焦于柔性電子、光電器件、可穿戴光聲和超聲技術 。 最初陳相君的研究方向是材料表征 ， 后來“陰差陽錯”地進入到柔性器件 ， 現在他的研究項目更多的是應用為導向的各種傳感器集成 ， 并有很多產學研結合的實驗課題 。

實際上 ， 柔性電子是一個相當學科交叉的方向 ， 這時陳相君的材料學基礎就派上了“用武之地” 。 他至今仍記得在北航讀書時王華明院士課上曾說過：“學材料的人不需要什么都會 ， 但需要什么都懂一點 。 ”正是材料學的背景讓他對每個方向、每個小模塊都有大致的了解 。 所以 ， 在統籌小團隊完成項目時會顯得比較得心應手 ， 這也為項目的高效推進提供了保障 。


圖丨陳相君展示將該系統佩戴在手臂帶上（來源：課題組）

談及在課題組工作期間最大的收獲 ， 陳相君表示 ， 在徐升老師的指導下 ， 他學會了從一名普通的研究人員成長為項目負責人 。 據介紹 ， 他在最初做研究時達標的標準是制備出能工作的器件 ， 但導師會不斷激勵他去實現更高的目標 。

“徐老師經常對我說如果想做高質量的科研 ， 就不能滿足于現有的性能 ， 而是要不斷突破極限 ， 這讓我受益匪淺 。 一路走來 ， 在這種高要求的不斷打磨下 ， 科研水平和成果都提升了一個層級 。 ”他說 。


圖丨抗噪聲的人機界面在海浪中的應用（來源：Nature Sensors）

柔性器件的應用場景非常廣泛 ， 尤其是人機交互方面 。 據了解 ， 該實驗室目前已能夠小規模生成柔性器件 ， 并正在與工業界合作開展相關合作項目 。

在后續的研究階段中 ， 研究團隊計劃進一步將動作的響應時間縮短 。 據團隊推測 ， 如果能把動作時間縮短到 0.2 秒 ， 識別時間則可能在 0.5 秒左右 。

另外需要指出的是 ， 現有流程是佩戴器件后將信號傳輸到電腦 ， 再由電腦控制機械臂 ， 這會增加一些不必要的傳輸環節 。 研究人員希望未來可穿戴設備能夠去除中轉環節 ， 直接與機器人交互 。 基于此 ， 他們計劃進一步升級硬件 ， 探索將 AI 模型直接集成到可穿戴設備 ， 讓設備本身具備計算能力或將其與目標機械臂直接結合 。

盡管這項研究只是一個起點 ， 但它向我們展示：從靜態環境走向真實動態場景的手勢控制 ， 正成為可穿戴科技的新戰場 。 未來 ， 當你奔跑、游泳、爬山時 ， 或許一塊可穿戴的貼片就能讓你與機器人無縫協作 。

參考資料：
1.Chen X. Lou Z. Gao X. et al. A noise-tolerant human–machine interface based on deep learning-enhanced wearable sensors. Nat. Sens. (2025). https://doi.org/10.1038/s44460-025-00001-3

【告別靜態操控：新型AI可穿戴貼片，可在運動中識別手勢控制機械臂】運營/排版：何晨龍

    推薦閱讀