隨著AI大模型技術(shù)的快速發(fā)展，云服務(wù)商在提供AI模型服務(wù)時面臨著嚴(yán)峻的資源效率挑戰(zhàn)。平臺需同時托管數(shù)千個AI模型以應(yīng)對海量并發(fā)API調(diào)用，但用戶請求往往高度集中在少數(shù)熱門模型上，導(dǎo)致大量“長尾”模型獨(dú)占GPU資源，造成嚴(yán)重浪費(fèi)。數(shù)據(jù)顯示，在阿里云模型市場中，曾有17.7%的GPU算力僅用于處理1.35%的請求，資源閑置現(xiàn)象觸目驚心。

近日，阿里云提出的創(chuàng)新計(jì)算池化解決方案「Aegaeon」成功入選全球頂級學(xué)術(shù)會議——操作系統(tǒng)原理研討會（SOSP）2025，成為業(yè)界關(guān)注的焦點(diǎn)。該方案通過突破性的GPU資源池化技術(shù)，有效解決了AI模型服務(wù)中普遍存在的GPU資源浪費(fèi)問題，顯著提升了資源利用率，為AI產(chǎn)業(yè)的高效發(fā)展提供了新思路。

Beta測試成效顯著，GPU用量削減82%

該系統(tǒng)允許單個GPU動態(tài)服務(wù)于多個不同的AI模型，徹底打破了以往“一個模型綁定一個GPU”的低效模式。核心創(chuàng)新點(diǎn)在于Token級調(diào)度機(jī)制，能夠在每次生成下一個token后動態(tài)決定是否切換模型，實(shí)現(xiàn)精細(xì)化管理。同時，通過組件復(fù)用、顯存精細(xì)化管理和KV緩存同步優(yōu)化等全棧技術(shù)，將模型切換開銷降低97%，確保了token級調(diào)度的實(shí)時性，可支持亞秒級的模型切換響應(yīng)。

在阿里云模型市場為期超三個月的Beta測試中，「Aegaeon」系統(tǒng)展現(xiàn)了卓越的效能。測試數(shù)據(jù)顯示，服務(wù)數(shù)十個參數(shù)量高達(dá)720億的大模型時，所需的英偉達(dá)H20 GPU數(shù)量從1192個成功減少至213個，削減比例高達(dá)82%。

這意味著僅用213張卡就完成了原本需要1192張卡才能完成的工作，極大地提高了資源利用率，降低了硬件采購成本。對于動輒使用成千上萬張GPU的大型模型服務(wù)商而言，這一成果無疑具有里程碑式的意義。

入選SOSP 2025 

SOSP由ACM SIGOPS主辦，作為計(jì)算機(jī)操作系統(tǒng)領(lǐng)域的頂尖會議，被譽(yù)為該領(lǐng)域的“奧斯卡”，其錄取率控制極為嚴(yán)格，平均每年收錄的論文數(shù)量僅有數(shù)十篇。「Aegaeon」系統(tǒng)研究成果能夠成功入選，不僅代表了阿里云在操作系統(tǒng)和軟件領(lǐng)域的創(chuàng)新實(shí)力，更為全球AI產(chǎn)業(yè)提供了資源優(yōu)化的全新思路。該方案的核心技術(shù)已應(yīng)用于阿里云百煉平臺，為行業(yè)樹立了新的標(biāo)桿。

這項(xiàng)由北京大學(xué)與阿里云合作的研究成果，被認(rèn)為是“首個揭示并解決市場上并發(fā)大語言模型服務(wù)存在過高成本”的公開工作，為行業(yè)提供了全新的優(yōu)化思路。

值得一提的是，阿里云首席技術(shù)官周靖人也是該論文的作者之一。周靖人是國際電氣與電子工程師協(xié)會會士（IEEE Fellow），國際計(jì)算機(jī)協(xié)會會士（ACM Fellow），阿里巴巴集團(tuán)副總裁，阿里云智能 CTO、達(dá)摩院副院長。

周靖人指出，未來AI的發(fā)展將不僅依賴于硬件算力的單純增長，更需要通過系統(tǒng)級的軟件創(chuàng)新來深度挖掘現(xiàn)有硬件的潛力。「Aegaeon」系統(tǒng)的成功實(shí)踐，正是這一理念的有力印證。隨著AI技術(shù)的不斷演進(jìn)，阿里云將持續(xù)加大在全棧AI體系上的投入，推動超級人工智能時代的到來。

責(zé)編：Luffy