近日，437bwin必贏國際官網(wǎng)劉威威教授團(tuán)隊(duì)三篇論文被機(jī)器學(xué)習(xí)頂級會(huì)議NeurIPS 2022錄用，437bwin必贏國際官網(wǎng)為該三篇論文唯一署名單位，劉威威教授為該三篇論文唯一通訊作者，2020級博士生馬新松，2020級博士生李喜園，2020級碩士生許景源為三篇論文第一作者。
神經(jīng)信息處理系統(tǒng)大會(huì)（Neural Information Processing Systems，簡稱NeurIPS）是由NeurIPS基金會(huì)主辦的機(jī)器學(xué)習(xí)國際頂級會(huì)議。今年舉辦的NeurIPS2022共收到有效投稿論文10411篇，錄用率為25.6%。
論文介紹：
論文題目: On the Tradeoff Between Robustness and Fairness
作者：Xinsong Ma, Zekai Wang, Weiwei Liu
指導(dǎo)教師：劉威威
工作簡介：在平衡數(shù)據(jù)集上經(jīng)過自然訓(xùn)練的模型對于不同類的預(yù)測能力通常比較接近。但對抗訓(xùn)練后的模型卻在一些類上表現(xiàn)較好，而在另外一些類上表現(xiàn)較差，即模型在不同類上的標(biāo)準(zhǔn)準(zhǔn)確率和魯棒準(zhǔn)確率具有明顯差異（Disparity）。本文深入研究了這一問題，并發(fā)現(xiàn)更強(qiáng)的對抗訓(xùn)練能夠有效提高模型在不同類上的平均魯棒準(zhǔn)確率，但在不同類上魯棒準(zhǔn)確率的差異也會(huì)隨之明顯增大，即模型的魯棒性與公平性之間存在權(quán)衡（Tradeoff）。而導(dǎo)致這一現(xiàn)象的原因是對抗訓(xùn)練具有一種潛在的偏好：對抗訓(xùn)練更加專注于學(xué)習(xí)魯棒類的分布而忽視了易受攻擊的類。此外，本文也從理論上證明了對抗訓(xùn)練相對于自然訓(xùn)練更容易導(dǎo)致公平性問題。為了解決這一問題，本文提出了一種新的訓(xùn)練方法FAT（Fairly Adversarial Training），并通過大量的實(shí)驗(yàn)驗(yàn)證了FAT的有效性。
論文題目:Defending Against Adversarial Attacks via Neural Dynamic System
作者: Xiyuan Li, Xin Zou, Weiwei Liu
指導(dǎo)教師：劉威威
工作簡介：DNN容易被攻擊的性質(zhì)阻礙了其在安全關(guān)鍵領(lǐng)域的應(yīng)用。為了解決這個(gè)問題，最近的一些研究提出從動(dòng)力系統(tǒng)的角度來增強(qiáng)DNN的魯棒性。根據(jù)這一思路，我們受到非自治動(dòng)力系統(tǒng)的漸近穩(wěn)定性的啟發(fā)，將每個(gè)自然樣本都變成緩慢時(shí)變動(dòng)力系統(tǒng)的漸近穩(wěn)定平衡點(diǎn)，以防御對抗攻擊。我們根據(jù)動(dòng)力系統(tǒng)平衡點(diǎn)理論提出: 如果一個(gè)自然樣本是一個(gè)漸近穩(wěn)定的平衡點(diǎn)，而對抗樣本在這個(gè)平衡點(diǎn)附近，那么漸近穩(wěn)定性可以降低對抗噪聲，使對抗樣本接近自然樣本。在這個(gè)理論結(jié)果的基礎(chǔ)上，我們發(fā)明了一種基于非自治神經(jīng)常微分方程的算法(ASODE)，并對其相應(yīng)的線性系統(tǒng)施加約束，使所有自然樣本成為動(dòng)力系統(tǒng)的漸近穩(wěn)定平衡點(diǎn)。通過分析，這些約束可以通過轉(zhuǎn)換為損失函數(shù)中的正則化項(xiàng)來實(shí)現(xiàn)。實(shí)驗(yàn)結(jié)果表明，ASODE提高了DNN的魯棒性，并且優(yōu)于現(xiàn)有的方法。
圖1.對抗樣本收斂到自然樣本的軌跡圖
論文題目：On Robust Multiclass Learnability
作者：Jingyuan Xu, Weiwei Liu
指導(dǎo)教師：劉威威
工作簡介：本文在PAC（Probably Approximately Correct）框架下證明了，經(jīng)典理論中研究（非魯棒）多分類問題下函數(shù)類可學(xué)習(xí)性的重要工具——Natarajan維度或graph維度——無法刻畫函數(shù)類的魯棒可學(xué)習(xí)性。對此，我們定義了AN維度和AG維度（Adversarial Natarajan Dimension & Adversarial Graph Dimension），基于此導(dǎo)出了學(xué)習(xí)魯棒分類器所需樣本復(fù)雜度的一個(gè)上界與下界。此外作者研究了這兩個(gè)定義的諸多性質(zhì)。本文為填補(bǔ)魯棒學(xué)習(xí)領(lǐng)域多分類理論的空白做出了重要貢獻(xiàn)。
