講座主題：視覺(jué)-語(yǔ)言相互生成技術(shù)
專(zhuān)家姓名：彭宇新
工作單位：北京大學(xué)
講座時(shí)間：2021年10月20日 14:30-15:30
講座地點(diǎn)：騰訊會(huì)議，會(huì)議ID：407 121 192
主辦單位：煙臺(tái)大學(xué)數(shù)學(xué)與信息科學(xué)學(xué)院
內(nèi)容摘要：
隨著深度學(xué)習(xí)等技術(shù)的發(fā)展，計(jì)算機(jī)在圖像分類(lèi)、對(duì)象識(shí)別等任務(wù)中取得了接近甚至超越人類(lèi)的成績(jī)，但如何賦予人工智能具有突破固定規(guī)則的“創(chuàng)意”，使人工智能從“感知智能”邁向“認(rèn)知智能”是計(jì)算機(jī)視覺(jué)領(lǐng)域的重要任務(wù)。視覺(jué)-語(yǔ)言相互生成技術(shù)旨在使計(jì)算機(jī)能夠根據(jù)用戶(hù)給定的輸入進(jìn)行“聯(lián)想”與“創(chuàng)造”，能夠根據(jù)圖像、視頻等視覺(jué)內(nèi)容自動(dòng)生成一段自然語(yǔ)言描述，實(shí)現(xiàn)視覺(jué)到語(yǔ)言生成；或者根據(jù)一段自然語(yǔ)言描述從無(wú)到有地自動(dòng)生成語(yǔ)義一致、內(nèi)容真實(shí)、符合邏輯的圖像、視頻、3D圖形，實(shí)現(xiàn)語(yǔ)言到視覺(jué)生成。這是人工智能實(shí)現(xiàn) “認(rèn)知智能”的一項(xiàng)重要任務(wù)，在教育、設(shè)計(jì)、影視、創(chuàng)作等領(lǐng)域具有重要的應(yīng)用價(jià)值。本報(bào)告將介紹我們?cè)谝曈X(jué)-語(yǔ)言相互生成技術(shù)上的研究工作：在視覺(jué)到語(yǔ)言生成上，提出對(duì)象感知雙向圖和層次化視覺(jué)-語(yǔ)言對(duì)齊等方法，通過(guò)視頻時(shí)空信息建模和語(yǔ)義一致性建模，實(shí)現(xiàn)準(zhǔn)確的視頻描述生成。在文本到視覺(jué)生成上，提出對(duì)稱(chēng)蒸餾網(wǎng)絡(luò)等方法，將相關(guān)視覺(jué)任務(wù)中的語(yǔ)義知識(shí)遷移至生成任務(wù)中，提高圖像與視頻生成的質(zhì)量。最后展示相關(guān)的演示系統(tǒng)。
主講人介紹：
北京大學(xué)二級(jí)教授、博雅特聘教授、博士生導(dǎo)師、國(guó)家杰出青年科學(xué)基金獲得者、國(guó)家級(jí)高層次人才、科技部中青年科技創(chuàng)新領(lǐng)軍人才、863項(xiàng)目首席專(zhuān)家、中國(guó)人工智能產(chǎn)業(yè)創(chuàng)新聯(lián)盟專(zhuān)家委員會(huì)主任、中國(guó)工程院“人工智能2.0”規(guī)劃專(zhuān)家委員會(huì)專(zhuān)家、北京圖象圖形學(xué)學(xué)會(huì)副理事長(zhǎng)、中國(guó)圖象圖形學(xué)學(xué)會(huì)副秘書(shū)長(zhǎng)。主要研究方向?yàn)榭缑襟w分析與推理、圖像視頻識(shí)別與理解、計(jì)算機(jī)視覺(jué)、人工智能。以第一完成人獲2016年北京市技術(shù)發(fā)明一等獎(jiǎng)和2020年中國(guó)電子學(xué)會(huì)科技進(jìn)步一等獎(jiǎng)，2008年獲北京大學(xué)寶鋼獎(jiǎng)教金優(yōu)秀獎(jiǎng)，2017年獲北京大學(xué)教學(xué)優(yōu)秀獎(jiǎng)。主持了863、國(guó)家自然科學(xué)基金等20多個(gè)項(xiàng)目，發(fā)表論文160多篇，包括ACM/IEEE Trans和CCF A類(lèi)論文70多篇。多次參加由美國(guó)國(guó)家標(biāo)準(zhǔn)技術(shù)局NIST舉辦的國(guó)際評(píng)測(cè)TRECVID視頻樣例搜索比賽，均獲第一名。主持研發(fā)的跨媒體互聯(lián)網(wǎng)內(nèi)容分析與識(shí)別系統(tǒng)已經(jīng)應(yīng)用于公安部、工信部、國(guó)家廣播電視總局等單位。擔(dān)任IEEE TCSVT等期刊編委。
