東南大學鯤鵬昇騰科教創新孵化中心特訓營(第一期)圓滿舉辦
4月25日至26日,東南大學鯤鵬昇騰科教創新孵化中心特訓營(第一期)在九龍湖校區成功舉辦。本次活動由東南大學鯤鵬昇騰科教創新孵化中心主辦,江蘇鯤鵬·昇騰生態創新中心、東南大學網絡與信息中心承辦,圍繞昇騰AI基礎軟硬件解決方案、大模型訓練與推理技術、DeepSeek架構解析及邊緣部署等核心議題,通過課程培訓和實戰演練共2天的培訓營,為東南大學計算機及相關專業本碩博生提供了一個深度技術交流平臺。活動旨在推動基于鯤鵬昇騰底座的人才生態建設,加速國產化AI技術在高校科研與產業應用中的落地。
昇騰AI全 棧 技術:軟硬協同賦能大模型落地 ?
昇騰產品線專家楊越洋在首日課程中,系統性地介紹了針對大模型訓推場景的昇騰AI基礎軟硬件解決方案。他提出大模型從預訓練走向了預訓練+后訓練,推理部署從單機走向集群,創新迭代速度加快,其中昇騰AI軟硬件技術提供全場景技術支撐。硬件層面,昇騰Atlas全系服務器支持高帶寬點對點通信、液冷一體化設計與盲插運維,可覆蓋中心訓練、邊緣推理及大規模專家并行(EP)部署場景,同時異構計算架構CANN提供算子、通信等底層技術;軟件層面, MindSpore框架、MindSpeed訓練加速庫、MindIE推理引擎及MindStudio全流程工具鏈,顯著提升模型開發效率。楊越洋強調,昇騰通過軟硬協同設計,已為企業級大模型訓練、微調及行業應用提供了高性能、高可用的技術底座。
(昇騰產品線專家楊越洋)
MindSpeed 加速庫:突破大模型訓練瓶頸 ?
MindSpeed研發專家劉哲續從算法、算力與數據三大維度剖析了大模型發展的趨勢與挑戰,并強調加速套件是算力需求激增下的重點研究課題。期間他介紹了業界加速套件的現狀并重點解析了MindSpeed的技術架構:底層依托昇騰NPU算力,通過通信優化、內存優化(參數副本壓縮、激活重計算)、計算優化(親和改寫,計算融合)、并行優化(Swap、融合長序列、NoopLayer負載均衡)等技術,實現訓練效率躍升。最后介紹了MindSpeed LLM、MM、RL共三大套件。其中,LLM針對大語言模型,支持多預制模型并提供全流程工具;MM聚焦動模態模型,模塊化組件,主打高性能與模塊化;RL可支持強化學習部署,提供全流程強化學習能力。
(MindSpeed研發專家劉哲續)
國產化實踐:從模型對齊到多模態開發 ?
昇騰計算工程師雷珍珍和程麟勝,分享了MindSpeed在大模型領域成果。雷珍珍介紹,MindSpeed基于昇騰生態打造分布式訓練框架,能對主流大模型高效訓練與微調。她還解析模型開發七大步驟,強調確保與開源框架訓練結果一致的關鍵要點,并分享性能優化策略。程麟勝提到,MindSpeed MM是面向大規模分布式訓練的昇騰多模態大模型套件,同時支持多模態生成及多模態理解,旨在為昇騰芯片提供端到端的多模態訓練解決方案, 包含預置業界主流模型,數據工程,分布式訓練及加速,預訓練、微調、在線推理任務等特性。
MindSpeed MM具備統一架構、任務流完備、支持靈活組裝二次開發、數據工程豐富、主流模型開箱即用、原生支持MindSpeed-Core加速算法等特點,可實現多模態訓練全流程加速。MM套件模型遷移開發鏈路完備,從模型前期摸底到最后性能調優有序推進,實際模型遷移操作便捷,并預置相關易用工具輔助進行精度對齊和性能優化。MindSpeed MM的成果有力推動國產AI生態及多模態大模型技術進步,為產業應用開拓新的可能性。
(昇騰計算工程師雷珍珍)
(昇騰計算工程師程麟勝)
推理技術縱深: MindIE 引擎與 DeepSeek 架構創新 ?
昇騰生態技術專家焦澤昱通過三場專題報告,全面解析基于MindIE的大模型推理和DeepSeek技術原理與架構解析。專家介紹MindIE推理引擎的分層開放架構,包括ATB加速框架(優化Transformer并行策略與內存管理)、LLM組件(降低部署門檻)及服務化支持(運維監控工具)。在實戰環節,專家演示了從鏡像拉取、模型權重配置到服務化部署的全流程,并針對Int8量化精度、大模型蒸餾等熱點問題展開研討。?
針對DeepSeek技術原理與架構解析,專家逐一剖析了DeepSeek的核心創新技術,包括DualPipe雙向流水、MoE負載均衡、FP8混合精度訓練兼顧效率與精度等。他特別提到,DeepSeek的開源策略“重塑行業格局”,推動行業從“百模大戰”向集約化發展,其后續版本與迭代值得期待。
(昇騰生態技術專家焦澤昱)
部署實戰:從云端到邊緣的模型落地 ?
江蘇鯤鵬·昇騰生態創新中心高級工程師韓升原現場演示了DeepSeek模型部署全流程,通過權重量化、多機網絡拓撲優化及服務化配置,團隊在昇騰服務器上實現模型的高效推理。強調“部署需關注版本差異,強化學習對齊的模型更適配實際交互場景。”其分享的報錯排查經驗與顯存計算公式,為學員提供了實用參考。
(江蘇鯤鵬·昇騰生態創新中心高級工程師韓升原)
邊緣智能:香橙派開發板上的輕量化創新 ?
昇思MindSpore布道師崔花婷帶領學員在昇騰開發板 OrangePi Alpro(20T)上完成Janus-Pro模型部署實戰。該開發板內置昇騰AI處理器,結合MindSpore框架的動態圖調試與靜態圖優化能力,支持CV/NLP/生成式領域典型模型及4B以下大模型的邊緣端推理。布道師詳解接口轉換(PyTorch至MindSpore)、網絡驗證及性能調優步驟,并展示如何通過三行代碼調用JIT編譯,實現“訓推一體”的輕量化開發。學員們通過實操,切身體驗了在終端設備進行模型部署運行的全流程。
(MindSpore布道師崔花婷)
最后,特訓營為學員們舉辦了成果展示與結營儀式,為學員們頒發了結課證書。東南大學網絡與信息中心副主任胡軼寧總結道:“孵化中心將持續推進‘科研-教學-產業’閉環,培養具備鯤鵬昇騰原生開發能力的復合型人才。”昇騰計算技術開發團隊負責人則鼓勵學員投身國產AI生態建設:“從算子開發到全棧優化,每個環節都是技術攻堅的戰場。”
本次特訓營作為孵化中心在人才培養方面的重要實踐,將持續開展。該中心自2024年11月成立以來,圍繞大學計算產業前沿課題研究、課程體系建設、研究人才培養等開展合作。此次特訓營的成功舉辦,進一步推動了校企協同育人,為產業輸出高質量鯤鵬昇騰原生人才,助力孵化世界級原生科研創新成果。未來,中心將繼續開展相關活動,推動人工智能技術進步與產業發展。