1. 首頁 > 生活百科 > >

AWS欲彌合企業AI概念驗證與生產部署之間的鴻溝

朋友圈

AWS欲彌合企業AI概念驗證與生產部署之間的鴻溝

企業正在各種應用中測試人工智能 ， 但真正從概念驗證(PoC)階段轉入生產環境的項目少之又少：IDC研究顯示僅有12% 。
亞馬遜云科技(AWS)對此問題同樣關注 ， 其智能體AI副總裁Swami Sivasubramanian在上周的AWS re:Invent大會主題演講中重點探討了這一問題 。
他表示 ， 失敗的原因并非缺乏人才或投資 ， 而在于組織規劃和構建概念驗證項目的方式：\"大多數實驗和概念驗證項目在設計時并未考慮生產就緒性 。 \"
生產工作負載要求開發團隊不僅要部署少數幾個智能體實例 ， 而是要同時部署數百甚至數千個智能體實例 ， 每個都執行協調任務 ， 相互傳遞上下文 ， 并與龐大的企業系統網絡交互 。
這與大多數概念驗證項目相去甚遠 ， 后者可能圍繞執行狹窄工作流的單一智能體構建 。
Sivasubramanian指出的另一個障礙是 ， 生產工作負載中的智能體必須應對復雜性 ， 包括\"大量數據和邊緣情況\" 。
這與在人為清潔環境中運行、使用經過精心設計的提示和可預測輸入的凈化數據集的概念驗證項目不同 ， 這些都掩蓋了實時數據的現實情況 ， 如不一致的格式、缺失字段、沖突記錄和意外行為 。
身份與訪問管理也是挑戰之一 。 原型項目可能僅使用單個權限過度的測試賬戶就能運行 ， 但生產環境不行 。
Sivasubramanian說：\"在生產環境中 ， 你需要堅如磐石的身份與訪問管理來驗證用戶身份 ， 授權智能體代表用戶可以訪問哪些工具 ， 并在AWS和第三方服務中管理這些憑據 。 \"
即使克服了這些障礙 ， 將智能體集成到生產工作負載中仍然是一個關鍵挑戰 。
\"當然 ， 當你轉向生產環境時 ， 你的智能體不會獨立存在 。 它將成為更大系統的一部分 ， 這個系統不能因為一個集成出現問題就崩潰 ， \"Sivasubramanian說 。
通常 ， 在概念驗證中 ， 工程師可以手動連接數據流、推送輸入 ， 并將輸出轉儲到文件或測試界面 。 如果出現問題 ， 他們重啟并繼續 。 但這種工作流在生產條件下會崩潰：智能體成為更大、相互依賴系統的一部分 ， 不能每次集成出現問題就崩潰 。
然而 ， Sivasubramanian認為概念驗證與生產之間的鴻溝可以縮小 。
在他看來 ， 企業可以通過為團隊配備將生產就緒性融入開發過程本身的工具來縮小這一差距 ， 專注于敏捷性 ， 同時保持準確性和可靠性 。
為了解決構建準確、敏捷智能體系統的擔憂 ， AWS為Bedrock AgentCore添加了情節記憶功能 ， 減輕了開發人員構建自定義內存框架的負擔 。
該托管模塊不是期望團隊拼湊自己的向量存儲、摘要邏輯和檢索層 ， 而是自動捕獲交互軌跡 ， 將其壓縮為可重用的\"情節\" ， 并在智能體處理新任務時帶來正確的上下文 。
類似地 ， Sivasubramanian還宣布了SageMaker AI中的無服務器模型定制能力 ， 幫助開發人員自動化數據準備、訓練、評估和部署 。
AI和數據咨詢公司Asperitas的云實踐負責人Scott Wheeler表示 ， 這種自動化將消除經常阻礙微調工作的繁重基礎設施和MLops開銷 ， 加速智能體系統部署 。
推進減少MLops的努力并未就此止步 。 Sivasubramanian表示 ， AWS正在Bedrock中添加強化微調(RFT) ， 使開發人員能夠使用自動化強化學習(RL)棧來塑造模型行為 。
Wheeler對此表示歡迎 ， 稱這將消除構建RL棧的大部分復雜性 ， 包括基礎設施、數學和訓練管道 。
SageMaker HyperPod還獲得了無檢查點訓練 ， 使開發人員能夠加速模型訓練過程 。
為了解決可靠性問題 ， Sivasubramanian表示AWS正在向Bedrock AgentCore的網關添加策略和評估功能 。 策略將通過攔截工具調用幫助開發人員執行護欄 ， 評估將幫助開發人員模擬真實世界的智能體行為以在部署前捕獲問題 。
然而 ， 分析師警告 ， 自主智能體的運營化距離無摩擦還很遠 。
獨立顧問、德勤前首席云戰略官David Linthicum說 ， 情節記憶雖然在概念上是一個重要功能 ， 但并非魔法 。 \"它的影響力與企業捕獲、標記和管理行為數據的能力成正比 。 這才是真正的瓶頸 。 \"
\"沒有嚴格的數據工程和遙測工作 ， 它有成為復雜架上產品的風險 ， \"Linthicum說 。
他還對Bedrock中的RFT功能提出了批評 ， 稱雖然該功能試圖從RL工作流中抽象復雜性 ， 但它并未消除過程中最復雜的部分 ， 如定義反映業務價值的獎勵、構建健壯評估和管理漂移 。
\"這就是概念驗證項目通常失敗的地方 ， \"他說 。
SageMaker AI中的模型定制能力也是類似情況 。
雖然它壓縮了MLOps復雜性 ， 但它放大了Linthicum和Wheeler在其他領域的擔憂 。
\"既然你不僅自動化了推理 ， 還自動化了設計選擇、數據合成和評估 ， 治理團隊將要求對調整了什么、生成了什么數據以及為什么選擇了給定模型有清晰的了解 ， \"Linthicum說 。
Wheeler表示 ， 有嚴格監管要求的行業部門可能會將此功能視為仍需要人工審查的輔助工具 ， 而不是設置后就忘記的自動化：\"簡而言之 ， 價值是真實的 ， 但信任和可審計性 ， 而不是自動化 ， 將決定采用速度 。 \"
Q&A
Q1：為什么企業AI概念驗證項目轉入生產環境的比例這么低？
A：根據IDC研究 ， 只有12%的概念驗證項目能轉入生產 。 主要原因是概念驗證項目在設計時并未考慮生產就緒性 ， 它們通常在人工清潔的環境中使用凈化數據集運行 ， 無法應對生產環境中的復雜性、大量數據和邊緣情況 。
Q2：AWS推出的情節記憶功能有什么作用？
A：情節記憶功能是AWS為Bedrock AgentCore添加的新能力 ， 它可以自動捕獲智能體的交互軌跡 ， 將其壓縮為可重用的\"情節\" ， 并在智能體處理新任務時提供正確的上下文 。 這減輕了開發人員構建自定義內存框架的負擔 。
Q3：強化微調功能能解決智能體開發的哪些問題？
A：AWS在Bedrock中添加的強化微調功能使開發人員能夠使用自動化強化學習棧來塑造模型行為 。 它能消除構建強化學習棧的大部分復雜性 ， 包括基礎設施、數學運算和訓練管道 ， 但仍需要人工定義獎勵機制和管理模型漂移 。
【AWS欲彌合企業AI概念驗證與生產部署之間的鴻溝】

    推薦閱讀