8月12日，華為在“2025金融AI推理應(yīng)用落地與發(fā)展論壇”上發(fā)布其AI推理創(chuàng)新技術(shù)UCM（推理記憶數(shù)據(jù)管理器），通過創(chuàng)新架構(gòu)設(shè)計降低對高帶寬內(nèi)存（HBM）的依賴，提升國產(chǎn)大模型推理性能，推動AI產(chǎn)業(yè)自主化進程。

該技術(shù)以KV Cache為中心，融合了多類型緩存加速算法工具，對推理過程中產(chǎn)生的KV Cache記憶數(shù)據(jù)進行分級管理，旨在擴大推理上下文窗口，實現(xiàn)高吞吐、低時延的推理體驗，同時降低每Token的推理成本。

據(jù)介紹，推理體驗直接關(guān)系到用戶與AI交互時的感受，包括回答問題的時延、答案的準確度以及復(fù)雜上下文的推理能力等方面。當前，隨著AI產(chǎn)業(yè)已從“追求模型能力的極限”轉(zhuǎn)向“追求推理體驗的最優(yōu)化”，推理體驗直接關(guān)聯(lián)用戶滿意度、商業(yè)可行性等，成為衡量模型價值的黃金標尺。

該技術(shù)采用“內(nèi)存訪問重構(gòu)”“計算架構(gòu)革新”“軟硬協(xié)同閉環(huán)”三大創(chuàng)新，通過分布式內(nèi)存池化、超節(jié)點級聯(lián)架構(gòu)等技術(shù)優(yōu)化數(shù)據(jù)流，顯著提升推理效率。

當前全球HBM市場由三星、SK海力士等主導，且受到美國出口政策的影響。根據(jù)2024年12月2日發(fā)布的新規(guī)，美國禁止向中國出口HBM2E（第二代HBM的增強版）及以上級別的HBM芯片。不僅美國本土生產(chǎn)的HBM芯片受到限制，任何在海外生產(chǎn)但使用了美國技術(shù)的HBM芯片也受到出口管制。該禁令于2025年1月2日正式生效。

而這一技術(shù)不僅提升了推理效率，還可能減少對HBM（高帶寬內(nèi)存）技術(shù)的依賴，提升國內(nèi)AI大模型的推理性能，完善中國AI推理生態(tài)的關(guān)鍵部分。

華為在AI推理領(lǐng)域的技術(shù)突破并非首次，此前已有多項成果，如與北京大學聯(lián)合發(fā)布的DeepSeek全棧開源推理方案，以及在昇騰平臺上實現(xiàn)的多項性能突破。此外，華為與科大訊飛的合作也取得了顯著成果，實現(xiàn)了國產(chǎn)算力上MoE模型的大規(guī)模跨節(jié)點專家并行集群推理，使推理吞吐提升3.2倍，端到端時延降低50%。

華為此次發(fā)布的UCM技術(shù)不僅在技術(shù)層面有所創(chuàng)新，還可能對相關(guān)產(chǎn)業(yè)鏈產(chǎn)生積極影響，推動半導體、軟件開發(fā)、計算機設(shè)備等領(lǐng)域的結(jié)構(gòu)性機會。

華為發(fā)布的UCM技術(shù)旨在通過優(yōu)化推理過程中的數(shù)據(jù)管理，提升AI推理的效率和性能，為AI在金融、醫(yī)療、交通等領(lǐng)域的廣泛應(yīng)用提供支持。