題目：通用多模態(tài)學習

　　報告人：俞俊

　　時間：2023年06月14日（周三），下午16：00-17：00

　　地點：雙創(chuàng)中心5樓報告廳

　　報告摘要：

　　使用深度神經(jīng)網(wǎng)絡對視覺,、語言等不同模態(tài)信息進行統(tǒng)一建模的多模態(tài)深度學習是近年來的研究熱點,，在跨媒體檢索、視覺內(nèi)容描述,、視覺問答等典型的多模態(tài)深度學習任務上均取得了顯著的進展,。得益于深度自注意力網(wǎng)絡模型Transformer和預訓練方法BERT在自然語言領(lǐng)域的快速發(fā)展，多模態(tài)深度學習的研究逐漸由各個任務“分而治之”向“通用統(tǒng)一”的方向演變,，即使用單個框架適配多種類型不同的多模態(tài)任務,。本報告首先對多模態(tài)深度學習發(fā)展過程中的代表性工作進行簡要介紹；然后對當前通用多模態(tài)深度學習領(lǐng)域的三類代表性方法：基于多模態(tài)多任務聯(lián)合學習,、多模態(tài)神經(jīng)架構(gòu)搜索,、多模態(tài)預訓練的若干代表性工作進行詳細介紹；最后,，對通用多模態(tài)深度學習未來的發(fā)展進行展望和反思,。

　　報告人簡介：

　　俞俊，杭州電子科技大學計算機學院院長,、教授,、博士生導師，國家杰出青年基金獲得者,。主要研究方向為跨媒體分析技術(shù),。相關(guān)工作發(fā)表于SCI源期刊論文100余篇，包括ACM匯刊與IEEE匯刊及CCF A類會議40余篇,。論文的Google Scholar引用次數(shù)10000余次,。10余篇論文入選ESI高被引/熱點論文；近年來主持科技部重點研發(fā)計劃,、國家自然科學基金重點項目,、國家自然科學基金面上項目等，2015,、2016,、2017連續(xù)獲得IEEE TMM、TIP、TCYB最佳論文獎,，2018年教育部自然科學二等獎,，2021年浙江省自然科學一等獎。擔任多個國際期刊的副編輯,。