中新經緯3月11日電 近日,為了更好地推動安全可靠AI模型相關領域的技術研究與人才培養(yǎng),鼓勵研究者打造更安全、更可靠的AI,商湯科技聯合北京航空航天大學共同發(fā)布,面向技術開發(fā)者和在校學生的科技類競賽活動“面向復雜場景的魯棒機器學習大賽Robust Models towards Open-world Classification”。
大賽以CVPR2022 Workshop:The Art of Robustness: Devil and Angel in Adversarial Machine Learning為依托,該Workshop將匯聚來自全球計算機視覺、機器學習與智能安全領域的專家學者,圍繞對抗機器學習的最新進展和發(fā)展展開研討與分享,以推動安全可信人工智能技術進步。比賽2022年3月正式開賽,希望參與者發(fā)揮創(chuàng)新思維與創(chuàng)新能力,開發(fā)以數據為中心的新算法,例如數據增強、標簽細化、制作對抗性數據,甚至設計來自其他領域的知識融合算法、數據集,加速圖像分類中的對抗性魯棒性技術研究,以達到更好地訓練高效穩(wěn)定的機器學習模型的目標。
隨著人工智能技術發(fā)展,如今AI模型已廣泛應用于智慧城市、智能工廠、自動駕駛等公共、生活和生產領域,人工智能已經成為信息基礎設施的重要組成。但在這個過程中,人工智能也暴露出一些風險隱患,例如用戶和業(yè)界對于對抗安全、模型魯棒性等問題的關注度持續(xù)提升。商湯科技很早就啟動了相關研究和布局,針對對抗安全、模型魯棒性以及隱私保護等問題,建立和完善了AI安全平臺技術體系,打造覆蓋全行業(yè)云邊端平臺更安全的“盾”,推動人工智能更安全、更公平、更可持續(xù)性地發(fā)展,以提升人的福祉,推動人類社會進步。
此次大賽由商湯科技和北京航空航天大學劉祥龍教授團隊合作舉辦,希望通過比賽吸引更多研究者共同參與到,推動安全、可靠的人工智能技術發(fā)展中來。劉祥龍教授團隊多年來深耕人工智能安全領域,不斷探索可信賴人工智能前沿技術,在對抗攻防、模型評測和可解釋理論方面成果豐碩,在國內外均具有一定影響力。比賽還得到了OpenI啟智新一代人工智能開源開放平臺的資源協助和大力支持。
雙賽道對抗競賽,聚焦開放世界場景
當前的機器學習競賽大多在封閉數據集下尋找魯棒的機器學習模型,然而在開放世界場景中,噪聲數據的多樣性(如對抗擾動、自然噪聲、對抗補丁、對抗光線)以及分類類別的不確定性將會給魯棒模型帶來極大的挑戰(zhàn)。
商湯科技透露,本次比賽的目的是加速開放世界場景下的魯棒模型研究。希望通過比賽,鼓勵研究者開發(fā)面向開放世界的對抗防御算法。面對多種多樣的對抗攻擊算法和真實世界中的各種各樣的場景,在測試類別不確定等因素下,探究魯棒模型的生產方式,促進魯棒防御模型的發(fā)展。
本次比賽共有兩條賽道。
賽道1:分類任務防御模型競賽
第一賽道的目標是獲得魯棒性好的模型,可以適應各種各樣的攻擊樣本。
第一賽道分為初賽和復賽兩個階段。初賽階段,比賽會分別釋放訓練集和測試集,參賽者僅能使用該階段釋放的訓練集訓練魯棒模型。訓練集為正常的分類數據,測試集包含正常分類數據和攻擊樣本。第一賽道的攻擊樣本包括但不限于通過對抗攻擊產生的對抗樣本。選手需要得到足夠魯棒的防御模型,能夠對干凈樣本和對抗樣本進行正確分類。初賽階段選手需要將給定測試集的預測結果提交。復賽階段,參賽者同樣僅能使用該階段釋放的訓練集訓練魯棒模型。但與初賽不同的是,參賽者需要提交訓練好的原始模型,平臺將對提交的模型進行評測。數據集的構成上,初賽為20類,復賽為100類。
賽道2:OpenSet對抗噪聲檢測模型
第二賽道的目標是對對抗攻擊產生的對抗樣本做區(qū)分。在第二個賽道中測試集為開放類別,即和訓練集合的類別沒有交集。
第二賽道同樣分為初賽和復賽兩個階段。初賽階段,比賽會分別釋放訓練集和測試集,參賽者僅能使用該階段釋放訓練接做訓練,得到可以區(qū)分正常樣本和對抗樣本的模型。在復賽階段,選手同樣需要提交模型到平臺進行驗證。
比賽規(guī)則
據介紹,本次比賽的提交評測,在主辦方提供的評測平臺上進行。比賽采用初賽、初賽和復賽階段的評估指標均采用識別準確率。初賽成績排名前20名晉級復賽,最終成績按照干凈樣本下的準確率得分占比40%,噪聲樣本下的準確率得分占比60%進行加權得到總分進行排名。
在比賽中只允許使用各個階段提供的訓練數據集進行訓練,其他數據集不允許用于模型的訓練。
復賽提交ONNX模型,模型需要為FP32模型,模型體積不大于120M,計算量不大于 5GFLOPs。輸入圖片的格式為3x224x224,每個像素歸一化到[0,1]。
不允許為訓練集合提供任何外部數據。
禁止模型融合。簡單來說,單獨訓練多個模型然后對結果融合是禁止的,主辦方會對最終提交的代碼進行審核。
禁止在模型提交環(huán)節(jié)使用超過提交規(guī)定規(guī)模(包括FLOPs和體積)的模型對提交模型進行蒸餾。
禁止對測試集樣本手工標記。
參與者必須在每個賽道的第二階段提交中附帶一份技術報告,其中包括對其提交的詳細消融研究(建議長度1-4頁)。報告將會在競賽官網進行公開。
本次比賽總獎池1.5萬美元。其中賽道1總獎金池8000美元,取前6名,前六名獎金分別為3000、2000、1500、800、500、200美元;賽道2總獎金池7000美元,取前3名,前三名獎金分別為4000、2000、1000美元。比賽時間為3月11日-5月21日,并將在6月發(fā)布及公示獲獎結果,獲獎隊伍還將受邀參加CVPR 2022的相關主題Workshop進行分享。
建立AI安全平臺技術體系,持續(xù)推動技術發(fā)展
如今推動可信人工智能技術發(fā)展,實現人工智能的技術可控已成為全球共識。對于任何新興技術的應用,都必須保證其安全性與可靠性,必須齊備可驗證、可審查、可信任、負責任等關鍵屬性。與歷史上其他重要技術發(fā)展普遍會經歷的一樣,人工智能也正在經歷從技術研發(fā)到大量應用的關鍵階段。
商湯科技稱,一直秉持平衡發(fā)展的AI倫理觀,希望在技術可控、以人為本和可持續(xù)三條核心原則的基礎上,尋求均衡發(fā)展,希望用人工智能技術推動社會的進步。近年來,商湯科技建立和完善了AI安全平臺技術體系。在數據安全及保護方面,商湯科技成為第一家獲得全部三項 ISO/IEC 隱私信息管理系統(tǒng)、信息安全管理和個人身份信息保護認證的人工智能公司。同時,商湯科技還通過基于真實場景下的數據集的算法驗證與評測,圍繞“AI算法的數據隱私保護”“AI算法的魯棒性”“AI算法的公平性”等多個方面進行,從產品源頭確保人工智能算法的可信品質。
商湯科技表示,依托深厚的技術累積、人才儲備、行業(yè)經驗等,未來在為用戶提供在行業(yè)內廣泛驗證使用、具備行業(yè)影響力的可信任AI解決方案的同時,還將引領人工智能行業(yè)產品安全標準體系的建立,全方位為AI行業(yè)的健康持續(xù)發(fā)展保駕護航。(中新經緯APP)