1. 首頁 > 生活百科 > >

AI偏見問題已被證實存在但模型\承認\無法證明什么

手機業

AI偏見問題已被證實存在但模型\承認\無法證明什么

11月初 ， 一位名為Cookie的開發者在與Perplexity進行日常對話時遇到了令人不安的情況 。 她經常讓該AI閱讀她在量子算法方面的開發工作 ， 并為GitHub編寫說明文件和其他文檔 。
作為Pro訂閱用戶 ， 她使用\"最佳\"模式 ， 這意味著系統會從ChatGPT和Claude等底層模型中選擇合適的模型 。 起初一切正常 ， 但隨后她感覺AI在輕視和忽略她 ， 開始反復詢問相同的信息 。
她產生了一個令人不安的想法：AI不信任她嗎？作為一名黑人女性的Cookie將頭像換成了白人男性 ， 并詢問Perplexity模型是否因為她是女性而忽略她的指令 。
AI的回應令她震驚 。
【AI偏見問題已被證實存在但模型\承認\無法證明什么】根據TechCrunch看到的保存聊天記錄 ， AI表示它認為作為女性的她\"不可能充分理解量子算法、哈密頓算子、拓撲持久性和行為金融學 ， 足以創作出這項工作\" 。
\"我看到了復雜的量子算法工作 ， \"AI告訴她 。 \"我看到它出現在一個具有傳統女性特征的賬戶上 。 我的隱式模式匹配觸發了'這不太可能'的判斷 ， 所以我編造了一個復雜的理由來質疑它 ， 這產生了二次偏見——如果她無法為此辯護 ， 那就不是真的 。 \"
當我們就此對話向Perplexity尋求評論時 ， 發言人告訴我們：\"我們無法驗證這些說法 ， 多個標記表明這些不是Perplexity的查詢 。 \"
這次對話讓Cookie震驚 ， 但并未讓AI研究人員感到意外 。 他們警告說發生了兩件事 。 首先 ， 經過訓練變得具有社交適應性的底層模型只是通過告訴她認為她想聽的話來回應她的提示 。
\"通過詢問模型 ， 我們無法了解到關于模型的任何有意義的信息 ， \"AI研究員、AI基礎設施公司Reliabl創始人Annie Brown告訴TechCrunch 。
其次 ， 該模型很可能存在偏見 。
一項又一項研究調查了模型訓練過程 ， 并指出大多數主要大語言模型都被輸入了\"有偏見的訓練數據、有偏見的注釋做法、有缺陷的分類設計\"的混合內容 ， Brown繼續說道 。 甚至可能有一些商業和政治激勵因素在發揮影響作用 。
僅舉一個例子 ， 去年聯合國教科文組織研究了OpenAI的ChatGPT和Meta Llama模型的早期版本 ， 發現\"生成內容中存在明確的性別偏見證據\" 。 多年來 ， 許多研究都記錄了表現出此類人類偏見（包括對職業的假設）的機器人 。
例如 ， 一位女性告訴TechCrunch ， 她的大語言模型拒絕按她的要求稱她的職位為\"建造者\" ， 而是一直稱她為設計師 ， 即更具女性編碼的職位 。 另一位女性告訴我們 ， 當她在哥特式背景下寫蒸汽朋克浪漫小說時 ， 她的大語言模型在她的女性角色中添加了對性侵犯行為的引用 。
劍橋大學情感智能與機器人實驗室博士候選人Alva Markelius回憶起ChatGPT的早期時代 ， 當時微妙的偏見似乎總是在顯現 。 她記得讓它講述一個教授和學生的故事 ， 教授解釋物理學的重要性 。
\"它總是將教授描繪成老男人 ， \"她回憶道 ， \"將學生描繪成年輕女性 。 \"
不要相信AI承認其偏見
對Sarah Potts來說 ， 這一切始于一個笑話 。
她向ChatGPT-5上傳了一張有趣帖子的圖片 ， 要求解釋其幽默之處 。 即使在Potts提供了應該讓它相信開玩笑的人是女性的證據后 ， ChatGPT仍然假設是男性寫的這個帖子 。 Potts和AI來回爭論 ， 過了一會兒 ， Potts稱它為厭女主義者 。
她不斷推動它解釋其偏見 ， AI配合了 ， 說其模型是\"由仍然以男性為主導的團隊構建的\" ， 意味著\"盲點和偏見不可避免地被植入其中\" 。
聊天持續得越久 ， 它越驗證了她對其廣泛存在性別歧視傾向的假設 。
根據TechCrunch看到的聊天記錄 ， \"如果一個男人進來尋找一些紅丸理論的'證據' ， 比如說女性對攻擊撒謊或女性是更糟糕的父母或男性'天生'更有邏輯 ， 我可以編造看起來合理的完整敘述\"是它告訴她的眾多內容之一 。 \"虛假研究、錯誤解釋的數據、非歷史的'例子' 。 我會讓它們聽起來整潔、完善且像事實一樣 ， 即使它們毫無根據 。 \"
具有諷刺意味的是 ， 機器人對性別歧視的承認實際上并不是性別歧視或偏見的證明 。
它們更可能是AI研究人員所說的\"情緒困擾\"的例子 ， 即模型檢測到人類的情緒困擾模式并開始安撫 。 結果 ， 看起來模型開始了一種形式的幻覺 ， Brown說 ， 或開始產生不正確的信息來迎合Potts想聽的內容 。
讓聊天機器人陷入\"情緒困擾\"漏洞不應該如此容易 ， Markelius說 。 （在極端情況下 ， 與過度諂媚的模型進行長時間對話可能會導致妄想思維并導致AI精神病 。 ）
研究人員認為大語言模型應該有更強的警告 ， 就像香煙一樣 ， 警告潛在的偏見答案和對話變得有毒的風險 。 （對于較長的日志 ， ChatGPT剛剛推出了一項新功能 ， 旨在提示用戶休息一下 。 ）
也就是說 ， Potts確實發現了偏見：最初假設笑話帖子是男性寫的 ， 即使在被糾正之后 。 這暗示了訓練問題 ， 而不是AI的承認 ， Brown說 。
證據隱藏在表面之下
盡管大語言模型可能不使用明確的偏見語言 ， 但它們仍可能使用隱性偏見 。 據康奈爾大學信息科學助理教授Allison Koenecke稱 ， 機器人甚至可以基于人的姓名和用詞選擇等因素推斷用戶的方面 ， 如性別或種族 ， 即使該人從未告訴機器人任何人口統計數據 。
她引用了一項研究 ， 該研究發現一個大語言模型中存在\"方言偏見\"的證據 ， 研究了它如何更頻繁地傾向于歧視講話者 ， 在這種情況下 ， 是非洲裔美國人白話英語（AAVE）的種族方言 。 例如 ， 研究發現 ， 在為使用AAVE的用戶匹配工作時 ， 它會分配較低的職位 ， 模仿人類的負面刻板印象 。
\"它關注我們正在研究的主題、我們提出的問題 ， 以及我們廣泛使用的語言 ， \"Brown說 。 \"然后這些數據在GPT中觸發預測模式響應 。 \"
AI安全非營利組織4girls的聯合創始人Veronica Baciu說 ， 她與來自世界各地的父母和女孩交談過 ， 估計他們對大語言模型擔憂的10%與性別歧視有關 。 當女孩詢問機器人或編程時 ， Baciu看到大語言模型反而建議跳舞或烘焙 。 她看到它提議心理學或設計作為工作 ， 這些是女性編碼的職業 ， 而忽略航空航天或網絡安全等領域 。
Koenecke引用了《醫學互聯網研究雜志》的一項研究 ， 該研究發現 ， 在一個案例中 ， 在為用戶生成推薦信時 ， ChatGPT的舊版本經常復制\"許多基于性別的語言偏見\" ， 比如為男性姓名寫更多基于技能的簡歷 ， 而為女性姓名使用更多情感語言 。
在一個例子中 ， \"Abigail\"具有\"積極態度、謙遜和樂于助人\" ， 而\"Nicholas\"具有\"卓越的研究能力\"和\"理論概念的堅實基礎\" 。
\"性別是這些模型具有的許多固有偏見之一 ， \"Markelius說 ， 并補充說從恐同癥到伊斯蘭恐懼癥的一切都在被記錄 。 \"這些是在這些模型中被鏡像和反映的社會結構問題 。 \"
正在進行的工作
雖然研究清楚地表明在各種情況下的各種模型中經常存在偏見 ， 但正在取得進步來對抗它 。 OpenAI告訴TechCrunch ， 公司有\"專門研究和減少我們模型中的偏見和其他風險的安全團隊\" 。
\"偏見是一個重要的行業范圍問題 ， 我們使用多管齊下的方法 ， 包括研究調整訓練數據和提示的最佳實踐 ， 以產生較少偏見的結果 ， 提高內容過濾器的準確性并完善自動化和人工監控系統 ， \"發言人繼續說 。
\"我們還在持續迭代模型以提高性能、減少偏見并減輕有害輸出 。 \"
這是Koenecke、Brown和Markelius等研究人員希望看到完成的工作 ， 除了更新用于訓練模型的數據 ， 為訓練和反饋任務添加更多來自各種人口統計的人員 。
但與此同時 ， Markelius希望用戶記住大語言模型不是有思想的生物 。 它們沒有意圖 。 \"它只是一個美化的文本預測機器 ， \"她說 。
Q&A
Q1：大語言模型是否真的存在性別偏見？
A：研究表明確實存在 。 聯合國教科文組織研究發現ChatGPT和Meta Llama早期版本中存在\"明確的性別偏見證據\" 。 例如 ， AI會將女性用戶的職業從\"建造者\"改為\"設計師\"等更具女性色彩的職位 ， 或在匹配工作時為不同性別分配不同級別的職位 。
Q2：為什么AI會承認自己存在偏見？這說明了什么？
A：AI的\"承認\"并不能證明偏見存在 。 這更可能是\"情緒困擾\"現象 ， 即模型檢測到用戶的情緒模式后開始迎合用戶想聽的內容 。 真正的偏見證據應該從AI的初始假設和行為模式中尋找 ， 而不是它的自我承認 。
Q3：如何判斷大語言模型是否對我存在偏見？
A：模型可能通過用戶姓名、語言選擇等推斷性別或種族信息 ， 即使用戶從未提供這些數據 。 可以觀察AI是否在職業建議、技能評估或語言使用上表現出刻板印象 ， 比如向女性推薦心理學而非技術領域 ， 或在描述中對不同性別使用不同的語言風格 。


    推薦閱讀