小米公司與437bwin必贏國際官網于2018年4月26日在武漢簽署小米-437bwin必贏國際官網人工智能聯合實驗室共建協議，雙方在互惠互利基礎上，充分發揮各自優勢，在人工智能領域開展長期戰略合作。聯合實驗室研究經費由小米公司提供，主要支持437bwin必贏國際官網相關學科結合小米公司科技創新和產業布局，加強應用基礎研究，突出關鍵共性技術、前沿引領技術、現代工程技術、顛覆性技術創新。聯合實驗室管理委員會根據人工智能技術最新發展動態并結合小米公司當前業務需求，面向437bwin必贏國際官網科研團隊發布2018-2019年度研發課題指南，計劃投入研發經費400萬元。項目實施起始時間為2018年7月，完成時間為2019年6月。

一、 重點關注領域

（一）機器翻譯

1、中英文機器翻譯：可以改進tensor2tensor項目中的Transformer翻譯效果，優化Transformer inference解碼速度、OOV問題。但不局限于對已有框架的改進，可以探索新的翻譯架構與方法。目標：在中英互譯上相對于tensor2tensor項目獲得更好的翻譯質量和翻譯速度。

2、機器翻譯離線化（手機端）：離線模型需要在服務器端模型基礎上進行裁剪和重訓練，使得能夠在最新的紅米手機上運行，速度和質量接近服務器端的模型。

3、低資源語言翻譯質量優化：包括但不限于利用單語語料、中間語言等方法。目標：中文向1到2種低資源語言的雙向翻譯上獲得比經典方法更好的效果。比如中文到日、韓的翻譯，質量優于直接使用低資源平行語料訓練tensor2tensor項目的效果。

4、語料建設：共同建設多語言平行語料，比如英、日、韓、法、德、俄、西、印地語、國內少數民族語言等。目標：開發多語言平行語料構建平臺。

（二）情感識別與計算

總體目標：通過自然語言理解、用戶感情識別、用戶行為分析等其他特征，實現一個更加人性化、個性化、更加自然智能的語音交互系統。6個月提供可以運行的初版，并支持可長期收集反饋，持續優化。主要內容如下：

1、用戶行為建模：通過用戶日志、行為、音頻等數據的分析，為用戶行為建模，抽象出可以量化的指標，做為線上模型的反饋，以此實現小愛的自我學習和進化。要求：實現一個用戶行為模型，評測用戶對語音交互的滿意程度。

2、全雙工語音交互系統：在語音對話中始終保持聆聽狀態，不需要每次交互都說出喚醒詞，用戶可以隨時發問、連續對話，這種全雙工的交互方式有著更加自然流暢的用戶體驗。全雙工除了前端的回聲消除、聲紋識別等技術的支持，后臺語音交互系統還要實現說話人識別、情緒識別、場景發現、上下文理解等，以此實現是否響應用戶、主動結束會話session、回復內容控制、對話引導等功能。要求：實現全雙工語音交互系統。

3、音樂文案自動生成：為了更好的用戶音樂體驗，系統不僅做到給用戶提供合適的歌曲，還要結合用戶情感的識別、音樂本身的理解，生成自然貼切的文案為用戶介紹歌曲。要求：實現音樂文案的生成并上線。

（三）圖像增強與降噪

1、極暗光，暗光高動態范圍以及極高動態范圍場景(備注: 逆光)手持拍攝的多幀合成的關鍵技術，包含幀間防抖，鬼影消除，多幀降噪，單幀降噪，高動態范圍圖像獲取及壓縮等。

2、基于單幀或多幀圖像的通用場景以及特定場景(人臉，文本等)的超分辨率算法。

3、高效高精度的圖像語義分割算法；中等分辨率下高效中低精度的實時視頻圖像語義分割算法。

上述算法需要在常規成像分辨率的前提下，同時滿足移動設備低延遲，低功耗，低內存占用的要求。

（四）影像深度信息計算

1、3D照片拍攝與處理算法：現有的3D場景掃描和重建技術的使用流程和計算量都不適合在智能手機使用，目標：實現可在智能手機運行的完整3D照片原型系統，包括影像數據采集、處理與瀏覽等。

2、雙攝/多攝拍照算法：通過多個攝像頭生成精確的深度圖像，或者對畫質進行多攝像頭之間的增強，或者利用不同焦段實現更好的變焦。

（五）任務型對話上下文自然對話生成（任務型的多意圖自然語言理解和多輪對話生成）

1、基于上下文的多輪對話生成：完成query理解、對話狀態跟蹤、對話策略和自然語言生成等模塊，當發現用戶query缺少必要信息時，通過不斷的追問來補齊信息，完成用戶的操作。技術落地形式為實現訂票垂域的開發，完成機票和火車票的預定任務。目標：通過和用戶的多次對話，獲取必要信息，完善和正確理解用戶意圖。要求：語義理解部分意圖準確率95%，意圖召回率95%。服務性能32核/64G內存的單機QPS達到300/s，響應時間99.5%在300ms。半年完成訂機票和火車票的開發，1年內實現多輪對話狀態管理模塊在更多垂域的落地。

2、多意圖query理解與切割系統：用戶的一句話中有時會包含兩件或更多的事情和意圖，需要通過語義分析，識別出沒有關系的子意圖（如今天天氣怎么樣再給我放首歌，包含了播放音樂、查看天氣2個意圖），把用戶query切成一個個具有獨立子意圖的query供后續NLP模塊進行處理。目標：針對有多意圖的用戶query，將其切割成一個個具有單意圖的子query。要求：多意圖query召回率90%，準確率97%。半年完成多意圖query切割的初版上線，召回率能達到30%，準確率95%；長期需要收集問題持續優化，擴大召回率。

（六）語音處理

1、多路音頻編解碼算法：研發多路音頻編解碼器，利用麥克風陣列的時延、相關性等信息提高壓縮比，有別于傳統語音編碼，需盡量保留ASR系統所需的語音特征信息和環境信息。目標：12個月內完成。對某種固定陣列拓撲結構上的多路麥克風信號進行音頻壓縮編碼，用于陣列原始信號的存儲和實時上傳。性能要求： 6路麥克風陣列信號編碼后的碼率小于80kbps，解碼后的單路信號質量爭取不低于OPUS 24kbps。

2、嵌入式平臺算法移植優化：移植陣列前端算法至特定嵌入式平臺，如ARM A53/A35/A7/M4等，確保MIPS滿足算法實時運行要求。目標：6個月內完成，降低前端算法在嵌入式平臺上的MIPS消耗。性能指標：浮點C算法在ARM平臺運算效率提升不低于3倍。

3、陣列前端算法的客觀評價體系：研究不同喚醒和識別算法下，對前端的要求，確定客觀指標，形成標準標準。目標：在語音喚醒和語音識別準備率為系統目標前提下，建立對陣列前端算法的客觀評價標準，并且完成測試系統的開發。

4、頻域WPE：結合信號處理等相關技術，確定在典型室內場景的解混響算法方案，并驗證算法的實時性，魯棒性方面的性能。目標：降低混響對語音識別的影響，6個月內完成。性能指標：SRMA(speech to reverberation modulation energy ratio) 5~7

5、低信噪比條件下多麥克風VAD：結合麥克風陣列，在低信噪比或信干比條件下，確定可行的高魯棒端點檢測VAD算法。目標：6個月內完成。提高低信噪比和信干比條件下VAD檢測準確性，配合后面的語音增強算法獲得更好的增強效果。性能指標：SNR/SIR -5dB情況下，6mic陣列場景下，VAD檢測準確率在95%以上。

（七）智能問答

1、閱讀理解：針對開放域自動問答用戶提出的問題,閱讀理解模型可從結構化和非結構化知識語料中，計算問題與段落的語義相關性，抽取并生成答案。

2、答案生成：針對用戶的問題，更接近人類自然語言的回復方式有助于提升用戶的體驗.。通過相關方法抽取答案,并結合問題，進行語義分析，生成具有人類個性化風格的同義陳述。

3、關鍵詞提取：在給定用戶query的情況下，傳統的TF-IDF不適用于提取關鍵詞信息。為了更精準的搜索出相關內容并抽取答案,需要獲取每個term的主題權重信息。

4、情緒監測：從用戶的query中感知用戶的情緒和態度對問答系統十分重要。問答系統會根據用戶的情緒和態度采取不同的回復策略。除此以外，某些query也可能涉及政治或者低俗等敏感信息，都需要在query處理階段考慮。

5、精品知識圖譜: 主要包括藝術類知識庫和本體庫，并能實現自動更新，以便從文本中識別現實世界里藝術領域的概念或者實體,并抽取它們之間的語義關系。使之能夠輔助藝術類的搜索，實現從關鍵字搜索到語義搜索、從文本鏈接到數據鏈接。并且能夠輔助問答、決策以及相應的常識推理。

二、申報條件

（1）以437bwin必贏國際官網在編教師和學生為主組成的項目研發團隊。項目負責人必須為437bwin必贏國際官網的在編教師。

（2）具備實施項目的良好條件和研發能力。

（3）申報課題圍繞本指南所列的重點方向，也可結合小米人工智能產業布局提出相關研究課題。

三、申報方式

（1）小米公司-437bwin必贏國際官網人工智能聯合實驗室項目申請書（模版附后）。

（2）437bwin必贏國際官網蓋章的在職人員證明。

（3）和課題相關的研究基礎證明材料（論文、專利等）

將材料（1）、（2）和（3）的電子版以附件方式發至聯合實驗管理委員會郵箱whuailab@xiaomi.com和437bwin必贏國際官網科研辦郵箱zhhpan@whu.edu.cn，郵件主題為：XXX-聯合實驗室項目申請書。（XXX為項目負責人姓名）。

四、申報時限

申報截止時間： 2018年7月31日。請項目申請人于截止期之前提交項目申請書及證明材料電子版，同時提交紙版材料1份（交437bwin必贏國際官網科研辦潘志宏（電話：68775519）、周天飛（電話：68775530））。

注意：紙版材料必須與電子版材料一致！

五、資助額度

2018年擬資助不超過10個項目，單個項目最高資助額度不超過50萬元。

六、知識產權補充說明

（1）聯合實驗室項目所取得的研究成果，知識產權（包括專利）歸出資方小米公司所有，項目完成人員享有在有關最終技術成果文件上寫明技術成果完成者的權利和取得有關榮譽證書、獎勵的權利。合作中的研究成果由小米公司負責申請專利。未經小米公司事先書面同意，項目承擔人不得不得以任何形式向第三方進行透露，也不得向第三方轉讓、許可知識產權，未經小米公司許可，也不得將研究成果進行商業化使用。

（2）項目承擔人、將研發成果對外公開之前，包括但不限于發表論文(包括會議論文、期刊論文、學位論文)、參加學術會議、技術交流等，應事先得到小米公司的書面同意，并及時向小米公司反饋相關信息和進展。在事先經小米公司同意的前提下，項目團隊基于聯合實驗室項目發表論文（包括會議論文、期刊論文、學位論文等)、發表演講報告、參加學術會議、技術交流等時，均需注明成果受小米公司資助完成，發表論文由參與完成的人員署名。

（3）未經小米公司事前書面同意，承擔項目團隊不得將聯合實驗室項目的全部或一部分再委托給他人完成。否則小米公司有權停止合作，不支付任何款項。

（4）項目提交的成果需確保能用于小米公司的商業應用，如涉及已經存在的知識產權或獨立于本項目之外獲得的知識產權，為確保小米及其關聯方有權商業利用本項目成果，項目完成團隊應就涉及的知識產權應給予小米公司非排他的、不可轉讓的、永久的、不可撤銷的、世界范圍內的、免費的許可。如果有人提出法律或行政程序(合稱“侵權指控”)，聲稱小米公司或小米公司指定的第三方使用項目研究開發成果侵犯了其所有權或知識產權等合法權益，項目團隊應當負責解決，并賠償小米公司實際損失。