8月8日 消息:周一，微軟透露了公司內部從2018 年就成立團隊來負責找出如何攻擊AI平臺，從而揭示AI弱點。

在成立的五年里，微軟的AI紅隊已經從一個實質上是實驗性的項目發(fā)展成為一個完整的跨學科團隊，由機器學習專家、網絡安全研究人員，甚至社會工程師組成。該團隊致力于使用傳統(tǒng)的數(shù)字安全術語在微軟內部和整個科技行業(yè)內傳播其發(fā)現(xiàn)，這樣這些想法就會更容易理解，而不需要許多人和組織還沒有的專門的AI知識。但事實上，該團隊已經得出結論，AI安全與傳統(tǒng)的數(shù)字防御有重要的概念差異，這需要AI紅隊在其工作方式上有所不同。

“當我們開始的時候，問題是，‘你到底要做什么不同的事情？為什么我們需要一個AI紅隊？’”微軟AI紅隊的創(chuàng)始人Ram Shankar Siva Kumar說。“但如果你把AI紅隊看作只是傳統(tǒng)的紅隊，如果你只考慮安全性的心態(tài)，那可能是不夠的。我們現(xiàn)在必須認識到負責任的AI方面，也就是AI系統(tǒng)失敗的責任——所以生成攻擊性內容、生成沒有根據的內容。這是AI紅隊的圣杯。不僅要看安全性的失敗，還要看負責任的AI失敗?！?/p>

Shankar Siva Kumar說，花了一些時間才能突出這種區(qū)別，并說明AI紅隊的使命確實會有這種雙重重點。早期的很多工作都與發(fā)布更傳統(tǒng)的安全工具有關，比如 2020 年與非營利研發(fā)組織MITRE和其他研究人員合作推出的對抗性機器學習威脅矩陣。那一年，該團隊還發(fā)布了開源的AI安全測試自動化工具，稱為微軟Counterfit。 2021 年，紅隊發(fā)布了一個額外的AI安全風險評估框架。

然而，隨著時間的推移，隨著解決機器學習缺陷和失敗的緊迫性變得更加明顯，AI紅隊也得以發(fā)展和擴展。

微軟的AI紅隊不僅僅研究目前正在野外使用的攻擊。Shankar Siva Kumar說，該團隊專注于預測攻擊趨勢可能會走向哪里。這通常涉及強調紅隊使命中較新的AI問責性部分。當該團隊在一個應用程序或軟件系統(tǒng)中發(fā)現(xiàn)一個傳統(tǒng)的漏洞時，他們經常與微軟內部的其他團隊合作來修復它，而不是花時間完全開發(fā)和提出自己的修復方案。 “在微軟內部還有其他紅隊和其他Windows基礎設施專家或者我們需要的任何東西?！盨hankar Siva Kumar說?！皩ξ襾碚f，洞察力是AI紅隊現(xiàn)在不僅包括安全性失敗，還包括負責任的AI失敗?！?/p>

本文來源于站長之家，如有侵權請聯(lián)系刪除