講座名稱：以數據為中心的大模型并行訓練系統

講座人：李誠 副教授

講座時間：7月11日10:00-11:30

地點：南校區網安大樓A501會議室

講座人介紹：

李誠，德國馬普學會軟件系統所(MPI-SWS)博士，中國科學技術大學計算機學院/國家高性能計算中心（合肥）長聘副教授，博導，合肥綜合性國家科學中心人工智能研究院信息計算平臺主任，安徽省青年教學名師、教壇新秀。聚焦大模型基礎系統軟件研究，在 SOSP、OSDI、EuroSys、ATC、FAST、ASPLOS、SC、HPCA等計算機系統領域著名國際會議上發表論文40余篇。長期參與SOSP、OSDI、FAST、EuroSys等會議的程序委員會。獲2024年世界人工智能大會青年優秀論文獎（全球10篇）、2023世界人工智能大會云帆獎璀璨明星（全球10人）、2023年阿里巴巴優秀合作項目獎（全國15個）、2022 AI 2000 計算機系統領域最具影響力學者提名、2022 CCF分布式專委杰出青年學者、2021 ACM中國新星提名等10項科研獎勵。主講《編譯原理和技術》課程入選第二批國家級線下一流課程，獲安徽省第五屆青教賽工科組一等獎等10余項教學獎勵，主編安徽省精品教材。

講座內容：

隨著深度學習和自然語言處理等領域的迅速發展，大模型如GPT-3和其后繼者已經成為人工智能研究的重要驅動力。然而，大模型計算需要龐大的計算、存儲和網絡資源，因此需要軟硬協同的專門設計來滿足其日益增長的算力需求。本報告介紹國家高性能計算中心（合肥）、合肥綜合性國家科學中心人工智能研究院科研團隊研發的分布式并行訓練系統，從數據流動視角出發，提出內存、存儲、通信與計算的協同優化，解決大模型訓練的“內存墻”、“存儲墻”和“通信墻”問題，提升了大規模并行計算的效率。該系統及關鍵技術已應用在微軟、趨動科技、OPPO、華為、中科類腦、百度等公司的預訓練和微調業務中。

主辦單位：計算機科學與技術學院