講座主題：支持大模型的分布式機(jī)器學(xué)習(xí)系統(tǒng)性能優(yōu)化
專(zhuān)家姓名：崔斌
工作單位：北京大學(xué)
講座時(shí)間：2023年10月22日 9:00-10:00
講座地點(diǎn)：煙臺(tái)東山賓館
主辦單位：煙臺(tái)大學(xué)計(jì)算機(jī)與控制工程學(xué)院
內(nèi)容摘要：
機(jī)器學(xué)習(xí)系統(tǒng)是人工智能應(yīng)用的重要基礎(chǔ)，其核心包括數(shù)據(jù)組織形式、模型計(jì)算方法以及硬件使用方式等。日益增長(zhǎng)的模型和數(shù)據(jù)規(guī)模對(duì)現(xiàn)有系統(tǒng)帶來(lái)了嚴(yán)峻的挑戰(zhàn)。本次報(bào)告介紹了課題組自主研發(fā)的面向大模型的分布式深度學(xué)習(xí)框架--河圖。報(bào)告首先剖析了目前“大模型”發(fā)展情況，然后重點(diǎn)介紹了河圖面向不同大模型和硬件環(huán)境的優(yōu)化進(jìn)展以及在自動(dòng)化并行訓(xùn)練上的探索。最后，對(duì)機(jī)器學(xué)習(xí)系統(tǒng)的發(fā)展進(jìn)行了展望。河圖系統(tǒng)已在GitHub開(kāi)源 https://github.com/PKU-DAIR/Hetu。
主講人介紹：
崔斌，北京大學(xué)博雅特聘教授，計(jì)算機(jī)學(xué)院副院長(zhǎng)，數(shù)據(jù)科學(xué)與工程研究所所長(zhǎng)。研究方向包括數(shù)據(jù)庫(kù)、大數(shù)據(jù)管理和分析、機(jī)器學(xué)習(xí)系統(tǒng)等，在相關(guān)領(lǐng)域發(fā)表了200多篇學(xué)術(shù)論文。擔(dān)任中國(guó)計(jì)算機(jī)學(xué)會(huì)數(shù)據(jù)庫(kù)專(zhuān)委會(huì)副主任，DSE期刊主編，IEEE TKDE、VLDB Journal等期刊編委，VLDB 2024大會(huì)主席以及數(shù)十個(gè)國(guó)際會(huì)議的程序委員會(huì)委員。于2008年獲得微軟亞洲研究院的“微軟青年教授獎(jiǎng)”，2009年獲得中國(guó)計(jì)算機(jī)學(xué)會(huì) “CCF 青年科學(xué)家獎(jiǎng)”，2014年獲教育部自然科學(xué)二等獎(jiǎng)，2016年入選長(zhǎng)江學(xué)者特聘教授。
