報告題目：基于知識蒸餾的神經網絡架構搜索

報告時間：2021年6月5日（周六）上午9:30

報告地點：騰訊會議（會議號：623105350）

報告人：常曉軍

報告人單位：澳大利亞蒙納士大學

報告人簡介：

常曉軍博士現就職于澳大利亞蒙納士大學信息技術學院高級講師，博士生導師。主要從事人工智能、計算機視覺和多媒體技術等方向的研究，在無約束視頻、監控視頻復雜事件檢測、行人檢索和重識別等方面的研究具有特色和優勢，取得了多項具有國際影響力的重要創新性成果。2016年在澳大利亞悉尼科技大學人工智能研究中心獲得博士學位。2018年榮獲澳大利亞研究委員會青年研究獎(Australian Research Council, Discovery Early Career Researcher Award)（ARC DECRA）。近五年來發表高水平論文100余篇，包括模式識別和計算機視覺領域頂級期刊IEEE T-PAMI [中科院JCR一區期刊]、計算機視覺領域頂級期刊IJCV [CCF A類期刊]和領域內ACM/IEEE Transactions等國際頂級期刊論文41篇；以及相關領域頂級會議ICML、CVPR、ICCV、ACM SIGKDD等CCF A類論文58篇。上述論文中，以第一作者和通訊作者發表論文20篇。常博士在復雜事件檢測、零樣本視頻分析、行人檢索和重識別方面的研究成果已在相關領域內引起同行的廣泛關注，發表論文在Google Scholar上的總引用約四千次。常博士在視頻事件檢測中原創性的成果及其發表的文章多次被國際著名科研團隊在他們發表的國際頂級期刊和會議文章中引用，包括美國卡內基梅隆大學、哥倫比亞大學、UIUC以及Google Brain和Deepmind的科研團隊。

報告摘要：

為了提高神經網絡架構搜索的速度，研究人員提出了在大的搜索空間中使用共享的網絡參數同時訓練不同的候選網絡結構；然而，這導致了不準確的網絡架構評級，進一步加劇了神經網絡架構搜索的不準確性。在這個報告中，我們將討論如何將神經網絡架構搜索的大搜索空間模塊化，以確保潛在候選網絡架構得到充分的訓練。由于分塊搜索的引入，我們可以評估單個塊中的所有候選架構。此外，我們發現網絡模型的知識不僅在于網絡參數，而且還在于網絡結構。我們將討論如何從教師模型中提取神經網絡架構知識來監督我們的分塊架構搜索，這大大提高了神經網絡架構搜索的有效性。

邀請人：劉威威 教授