猜你喜歡
更多>(記者沈春蕾)人工智能(AI)模型究竟是否安全,攻擊和防御能力如何?日前,清華大學(xué)、阿里安全、瑞萊智慧聯(lián)合推出了AI攻防對(duì)抗基準(zhǔn)平臺(tái)。該平臺(tái)致力于對(duì)AI防御和攻擊算法進(jìn)行自動(dòng)化、科學(xué)評(píng)估,AI安全基準(zhǔn)依托清華大學(xué)人工智能研究院研發(fā)的人工智能對(duì)抗安全算法平臺(tái)ARES建立。
參與該評(píng)測(cè)基準(zhǔn)平臺(tái)設(shè)計(jì)的阿里安全高級(jí)算法研究人員越豐打了一個(gè)比喻:“就像打仗一樣,攻擊者可能用水攻,也可能用火攻,還可能偷偷挖條地道來攻打一座城;守城的人不能只考慮一種可能性,必須布防應(yīng)對(duì)許多的攻擊可能性?!?/p>
美國(guó)伊利諾伊大學(xué)計(jì)算機(jī)科學(xué)系教授李博認(rèn)為,機(jī)器學(xué)習(xí)在推理和決策中的快速發(fā)展已使其廣泛部署于自動(dòng)駕駛、智慧城市、智能醫(yī)療等應(yīng)用中,但傳統(tǒng)的機(jī)器學(xué)習(xí)系統(tǒng)通常假定訓(xùn)練和測(cè)試數(shù)據(jù)遵循相同或相似的分布,并未考慮潛在攻擊者惡意修改兩種數(shù)據(jù)分布。
他解釋道,這相當(dāng)于在一個(gè)人成長(zhǎng)的過程中,故意對(duì)他進(jìn)行錯(cuò)誤的行為引導(dǎo)。惡意攻擊者可以在測(cè)試時(shí)設(shè)計(jì)小幅度擾動(dòng),誤導(dǎo)機(jī)器學(xué)習(xí)模型的預(yù)測(cè),或?qū)⒕脑O(shè)計(jì)的惡意實(shí)例注入訓(xùn)練數(shù)據(jù)中,通過攻擊訓(xùn)練引發(fā)AI系統(tǒng)產(chǎn)生錯(cuò)誤判斷。這好比是從AI“基因”上做了改變,讓AI在訓(xùn)練過程中按錯(cuò)誤的樣本進(jìn)行訓(xùn)練,最終變成被操控的“傀儡”,只是使用的人全然不知而已。
記者獲悉,不同于之前只包含零散攻防模型的對(duì)抗攻防基準(zhǔn),此次三方聯(lián)合推出的AI對(duì)抗安全基準(zhǔn)基本包括了目前主流的人工智能對(duì)抗攻防模型,涵蓋了數(shù)十種典型的攻防算法。不同算法的比測(cè)盡量采用相同的實(shí)驗(yàn)設(shè)定和一致的度量標(biāo)準(zhǔn),從而在最大限度上保證了比較公平性。
除此之外,此次發(fā)布的AI安全排行榜也包括了在剛剛結(jié)束的CVPR2021人工智能攻防競(jìng)賽中誕生的前5名代表隊(duì)的攻擊算法。此次競(jìng)賽獲得了全球2000多支代表隊(duì)提交最新算法,進(jìn)一步提升了該安全基準(zhǔn)的科學(xué)性和可信性。
清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系教授朱軍告訴《中國(guó)科學(xué)報(bào)》:“通過對(duì)AI算法的攻擊結(jié)果和防御結(jié)果進(jìn)行排名、比較不同算法性能建立的AI安全基準(zhǔn)具有重要學(xué)術(shù)意義,可以更加公平、全面地衡量不同算法的效果?!?/p>
清華大學(xué)、阿里安全、瑞萊智慧三方都表示,該基準(zhǔn)評(píng)測(cè)平臺(tái)不是專屬于某一家機(jī)構(gòu)或公司搭建的平臺(tái),需要工業(yè)界和學(xué)術(shù)界的共同參與才能把它打造為真正受認(rèn)可的全面、權(quán)威AI安全評(píng)估平臺(tái)。
[ 責(zé)編:武玥彤]最新推薦
更多>石榴快播丨推動(dòng)國(guó)資國(guó)企高質(zhì)量發(fā)展邁上新臺(tái)階 自治區(qū)區(qū)屬國(guó)有企業(yè)座談會(huì)今日召開
武漢地鐵幾點(diǎn)開班收班(武漢地鐵幾點(diǎn)開班)
河北啟動(dòng)干旱防御Ⅳ級(jí)應(yīng)急響應(yīng) 多措并舉保障農(nóng)業(yè)生產(chǎn)
鄧倫犯了什么事 鄧倫被強(qiáng)制執(zhí)行 基本情況講解
華誼兄弟:《非誠(chéng)勿擾3》已于6月開機(jī)制作
國(guó)產(chǎn)小爆款《火山的女兒》銷量60萬!Steam好評(píng)如潮
GGII:6月全國(guó)備案154個(gè)儲(chǔ)能項(xiàng)目 總規(guī)模達(dá)15.4GW/34.9GWh
猜你喜歡
更多>要聞
更多>終極斗羅15:家丑不可外揚(yáng),傳靈塔卻反其道而行之
新化:洋溪鎮(zhèn)撬動(dòng)行業(yè)協(xié)會(huì)力量,助推農(nóng)村建筑安全、耕地保護(hù)和控違拆違工作良性開展
嘉峪關(guān)酒泉機(jī)場(chǎng)工程順利通過行業(yè)驗(yàn)收 計(jì)劃9月7日復(fù)航
3連板大連熱電(600719.SH):擬籌劃的資產(chǎn)重組事項(xiàng)存在不確定性
昊華科技(600378)周評(píng):本周跌3.29%,主力資金合計(jì)凈流出1578.27萬元
借力AI賦能全球創(chuàng)作者 萬興科技攜Wondershare Filmora亮相創(chuàng)作