報告時間：4月11日13:30-17:30

報告地點：437bwin必贏國際官網8樓報告廳

主持人：玄躋峰

特邀報告1

報告題目：大語言模型與通用人工智能

報告人：葛濤 微軟亞洲研究院高級研究員

報告人簡介：葛濤博士，微軟亞洲研究院高級研究員，從事自然語言處理相關研究，主要的研究興趣包括生成式語言模型、模型輕量化以及高效推理等方面。他在自然語言處理和人工智能領域的著名會議和期刊上發表了40多篇論文，包括ACL、EMNLP、NAACL、COLING、NeurIPS、ICLR、AAAI、IJCAI等。他曾擔任AACL 2022的高級領域主席，以及ACL/EMNLP等頂級會議的領域主席和審稿人。他的研究成果已被廣泛用于微軟產品，包括Word、Outlook。

報告摘要：通著算力的不斷提升，語言模型的規模正以我們難以想象的速度增長并帶來能力上的大幅提升。在本次報告，我將以GPT的發展歷程來回顧大語言模型在通往通用人工智能道路上的幾個重要里程碑，以及對微軟亞洲研究院計算自然計算組在大語言模型&通用人工智能方向上的一些工作進行介紹。

特邀報告2

報告題目：多模態信息理解與抽取

報告人：李祖超 437bwin必贏國際官網副研究員

報告人簡介：李祖超，437bwin必贏國際官網副研究員。博士畢業于上海交通大學電子信息與電氣工程學院，曾于2019年4月至2022年4月在日本國立情報與通信研究所擔任研究員。主要研究方向包括自然語言處理、多模態機器學習與建模等。他在語言理解與結構解析、機器翻譯等領域上取得了多項國際領先競賽成果，并獲得百度學術2021年人工智能全球華人新星百強榮譽稱號。近五年來，他在國內外學術期刊和頂級會議上發表了30多篇論文，其中包括7篇一作CCF A類會議/期刊文章和9篇一作CCF B類會議/期刊文章。論文在谷歌學術中的總引用次數已達1200余次。擔任BDCC期刊客座編輯以及NeurIPS、ICML、ICLR、ACL、EMNLP、AAAI、IJCAI、NLPCC、CCL、TASLP、TALLIP、TCBB等多個國際學術期刊和頂級會議的審稿人。

報告摘要：多模態信息理解與抽取旨在利用多種不同類型的信息模態 (如文本、圖像、音頻等) 來理解和抽取其中的關鍵信息，以支持人工智能系統對于復雜任務的實現。隨著多媒體數據的普及和人工智能算法的發展，多模態信息理解與抽取已經成為了一個十分重要的研究方向。本報告將從多模態信息理解與抽取角度出發，具體介紹團隊近期的一些研究成果，主要包括（1）通用理解領域：基于質心建模的圖像ViT預訓練框架CCViT；(2)文檔理解領域：基于結構圖特征的多模態文檔信息抽取框架GraphLayoutLM；(3) 通用抽取領域：基于雙重查詢機制的多模態模糊跨度信息抽取模型MFSUIE。

特邀報告3

報告題目：面向統一的視覺和語言建模與學習

報告人：張拯 微軟亞洲研究院主管研究員

報告人簡介：張拯，微軟亞洲研究院視覺計算組的Senior Researcher，他的主要研究興趣是構建通用的視覺感知系統，其研究方向涵蓋了神經網絡架構設計，預訓練算法，以及物體檢測、分割等。他是Swin Transformer，SimMIM, Relation Network和Soft Teacher等工作的主要作者之一。此外，他早期在自然場景文字檢測的工作也具有開創性：Symmetry-based Text detection首次提出將文字檢測建模為分割問題，MFCN則首次將全卷積網絡（FCN）引入文字檢測領域，并用于多方向文字檢測。他曾于2021年獲得Marr Prize（ICCV最佳論文獎），其Google Scholar引用超過13000。

報告摘要：人的大腦皮層擁有統一的結構來實現各種各樣的智能，包括視覺，語音，語言等的理解和生成，人腦神經系統的學習也很大程度上依賴統一的預測學習機制，這種統一的生物機制使人無需經過費時的生物進化就能快速有效地適應新的環境以及學會新的技能。在人工智能中，針對各個具體領域的神經網絡架構和預訓練方法也正在經歷走向統一的進程。其中，Transformer正在成為針對不同AI問題的通用神經網絡架構，包括自然語言處理、計算機視覺、語音識別、科學計算等，基于預測和生成的學習方法GPT正在證明在各種智能任務中普遍有效。本次報告將從計算機視覺的視角出發講述神經網絡架構和預訓練方法走向統一的趨勢，以及相關代表性工作。報告還將具體介紹團隊的一些研究成果，包括Swin Transformer系列，SimMIM等。

特邀報告4

報告題目： 多模態感知學習與內容生成

報告人： 武宇 437bwin必贏國際官網教授

報告人簡介：武宇，教授、博士生導師，國家自然科學基金優秀青年科學基金項目(海外)獲得者。2015年在上海交通大學獲得學士學位，2021年在悉尼科技大學獲得博士學位，2021-2022年在普林斯頓大學從事博士后研究。主要從事在視覺-語言理解、多模態檢索、跨模態生成等方向有所進展。曾獲2020年谷歌博士獎研金（Google PhD Fellowship）。過去三年在計算機視覺頂級會議CVPR主辦的比賽中累計共獲得5次國際學術競賽的冠軍（包括ActivityNet、EPIC- Kitchens、YouTube-VOS等）。擔任人工智能頂會NeurIPS 2023領域主席，計算機視覺頂會CVPR 2023大會主要組織者、Workshop主席、領域主席。

報告摘要：多模態學習是深度學習領域當前最火熱的研究課題之一，其目標是對視覺、文本、音頻等多種模態數據進行關聯、感知、定位與生成。視頻數據中天然涵蓋多種模態的信息，如何利用好多種模態信息來提升對視頻動作目標的識別也是值得探討的研究課題。本次報告將首先介紹多模態學習的前沿進展，包括視覺-語言特征學習、視頻-音頻關聯等重要問題，例如用有限的訓練數據逼近大規模預訓練模型等。報告還將帶來課題組最新的工作，包括基于擴散模型等一系列最新的多模態模型生成架構。

特邀報告5

報告題目：通過具有稀疏屬性的張量實現端到端的深度學習模型稀疏化

報告人：楊凡 微軟亞洲研究院高級研究員

報告人簡介：楊凡博士現任微軟亞洲研究院高級研究員，系統研究組負責人。他目前主要負責系統方向的研究戰略規劃，協調、管理系統組的研究、產品轉化及公司內外的合作項目。他個人的主要研究興趣為計算機系統，特別是大型分布式系統。他目前主要關注和探索由新興應用 (如深度學習等) 所產生的新型計算機系統原理、設計和實現。他的多項技術成果都已開源并在微軟公司Bing、Azure、Office等部門落地，其中多項重要結果均發表在系統頂級會議（如OSDI）上。楊凡博士畢業于南京大學并先后獲得計算機科學學士、碩士及博士學位。

報告摘要：近年來，深度學習模型變得越來越大且更加復雜， 而深度學習模型的稀疏性是提升模型效率和規模的關鍵因素。我們提出一種新的系統抽象，具有稀疏屬性的張量（TeSA），來實現端到端的模型稀疏化。TeSA這一抽象擴展了傳統的張量抽象，使得張量的稀疏屬性和稀疏模式（例如，模型剪紙和量化）能夠在整個深度學習模型中傳播。TeSA可以用于創建高效、專門的模型算子實現，在實現中充分考慮到了各種稀疏模式在不同硬件上的執行效率。我們基于TeSA構建了SparTA，一個端到端的支持模型稀疏化的編譯器框架。SparTA可以容納各種稀疏模式和優化技術，在推理延遲方面比七種最先進的稀疏方案快1.7倍至8.4倍，同時內存占用更小。作為一個編譯框架，SparTA有助于利用最新的稀疏算法更快地探索更好的稀疏化深度學習模型。

特邀報告6

報告題目：基于流水線并行的混合專家網絡模型預訓練系統

報告人：程大釗 437bwin必贏國際官網計算機學院教授、副院長

報告人簡介：程大釗教授，現任437bwin必贏國際官網副院長。主要研究方向包括云邊計算、內存計算、人工智能、大數據平臺等分布式系統。在權威計算機系統領域的國際期刊和會議上發表論文40余篇（第一/通訊作者發表24篇），其中以第一/通訊作者發表高質量論文12篇，包括了IEEE TC, TPDS, PPoPP、HPDC、INFOCOM、Middleware、IPDPS、ICDCS等。同時擔任IEEE Transactions on Industrial Informatics、Big Data Research、IEICE Transactions on Information and Systems三個學術期刊客座編委，4個國際會議的主席或專題主席，27個國際會議的技術委員會委員。

報告摘要：近年來，預訓練大模型是深度學習發展的主流趨勢，而混合專家網絡(Mixture-of-Experts ,MoE)成為了增大預訓練模型的主流技術之一。混合專家網絡通過動態地激活子網絡來實現條件計算，在增加神經網絡的參數數量的同時保持計算量幾乎不變，對增大模型容量起到了至關重要的作用。然而，雖然MoE擁有著良好的拓展性，由于更多的參數和多專家的特點，在通信和內存上有更多的消耗。如何降低通信成本，降低GPU內存壓力是我們面臨的新的挑戰。為此，我們提出了 MPipeMoE，通過自適應的流水并行實現通信、計算，內存拷貝三種運算的并行執行，即隱藏了通信時延，又降低了內存拷貝延遲并降低GPU內存消耗。相比最新的MoE訓練加速框架(FasterMoE), 我們在執行速度上實現最高2.8倍的加速。