華為發布AI新技術：單卡同時承載多AI工作負載 提升硬體資源利用率

11月21日消息，據媒體報道，華為今日正式發布Flex:ai AI容器軟體。該產品的核心突破在於運用算力切分技術，可將單張GPU/NPU算力卡精細切分為多個虛擬算力單元，最小粒度精準至10%。

這一創新使得單張算力卡能夠同時承載多個AI工作負載，顯著提升硬體資源利用率。

同時，Flex:ai能夠將集群內各計算節點的空閒XPU算力進行高效聚合，形成統一的「共享算力池」，實現算力資源的全局調度與靈活分配。

其核心技術原理是一套深度融合軟硬體的系統工程，覆蓋從底層晶片到頂層調度。通過創新性的軟體技術深度挖掘硬體潛力，Flex:ai成功將GPU/NPU的典型利用率從30%-40%提升至70%，有效踐行了「以軟體補硬體」的理念。

在硬體協同方面，Flex:ai深度整合華為自研的昇騰AI處理器，通過軟硬體協同設計優化，實現了最佳的性能功耗比。

特別在大模型訓練場景中，Flex:ai通過軟體層面的創新，實現了對包括英偉達GPU、昇騰NPU在內的多種異構算力資源的統一管理與調度，有效解決了當前大模型訓練面臨的算力效率瓶頸問題。

據悉，Flex:ai將在發布後同步開源在魔擎社區中，以促進技術共享與生態發展。