近日，437bwin必贏國際官網劉威威教授團隊論文“Generalization Bounds for Adversarial Contrastive Learning”（《對抗對比學習泛化誤差界》）被機器學習頂級期刊Journal of Machine Learning Research（JMLR）錄用，437bwin必贏國際官網為該論文唯一署名單位，劉威威教授為唯一通訊作者，2021級博士研究生鄒鑫為第一作者。這是437bwin必贏國際官網首次以第一作者單位在JMLR上發表論文。

       Journal of Machine Learning Research（JMLR）是機器學習頂級期刊，是中國計算機學會認定的A類期刊（CCF-A），接受率約為18%。

深度神經網絡（DNN）容易被攻擊的性質阻礙了其在安全關鍵領域的應用，這引發了一系列關于如何提升對抗魯棒性的研究。目前最好的方法之一就是對抗訓練，但是有研究表明，對抗訓練需要大量的數據，且很容易過擬合。為了增加訓練的數據量，一些工作嘗試將對比學習與對抗訓練結合（對抗對比學習），從而可以利用大量的無標簽數據，實驗現象表明這樣做能有效地提高對抗魯棒性，但是相關的理論還未被探究。為了填補理論空缺，本文從理論上解釋了為什么對抗對比學習可以有效地提升下游任務的對抗魯棒性。 39E90AF8BBC473E9DA9367DF560_B8DDC7E7_162CD.png

本文首先將傳統的對比學習理論框架擴展到對抗的情形，然后證明了上游任務的對抗風險與對抗 Rademacher 復雜度的和是下游任務的平均對抗風險的上界，并且在線性模型和多層神經網絡兩種情況下給出了對抗 Rademacher 復雜度的上界，得到關于對抗對比學習的泛化誤差界。本文的泛化誤差界解釋了有效地最小化上游任務的對抗風險可以幫助提升模型在下游任務上的對抗魯棒性。此外，本文還做了一些實驗來驗證理論的正確性。

 文章鏈接：https://arxiv.org/abs/2302.10633