近日,由天翼云科技有限公司彈性計算產(chǎn)品線天璣實驗室撰寫的兩篇論文《PheCon: Fine-Grained VM Consolidation with Nimble Resource Defragmentation in Public Cloud Platforms》及《Yggdrasil: Reducing Network I/O Tax with (CXL-Based) Distributed Shared Memory》被ACM International Conference on Parallel Processing(ICPP)收錄。
ACM ICPP是計算機體系結(jié)構(gòu)、并行與分布計算、存儲系統(tǒng)領(lǐng)域的頂級會議之一,也是世界上最古老的連續(xù)舉辦的并行計算國際會議之一。ACM ICPP收錄論文均經(jīng)過嚴格的同行雙盲評審,近五年平均接收率為27.9%。此次天璣實驗室兩篇論文的成功收錄,既是頂級權(quán)威機構(gòu)對天翼云技術(shù)創(chuàng)新能力的認可,也是中國企業(yè)在國際學(xué)術(shù)舞臺影響力日益增強的有力證明。
本次收錄的兩篇論文分別闡述了天翼云天璣實驗室團隊自主設(shè)計與研發(fā)的兩大創(chuàng)新成果,包括面向大規(guī)模云數(shù)據(jù)中心管理的智能資源調(diào)度技術(shù)——PheCon,和基于“聚合計算”產(chǎn)品理念的面向新一代云計算基礎(chǔ)設(shè)施的網(wǎng)絡(luò)I/O加速技術(shù)——Yggdrasil。
PheCon:細粒度云數(shù)據(jù)中心 智能資源碎片整理算法
在云計算場景下,由于數(shù)據(jù)中心負載水平的波動性和需求的不確定性,各個物理服務(wù)器普遍存在資源碎片問題,造成數(shù)據(jù)中心資源浪費。如圖1所示,客戶需要緊急開通6臺指定規(guī)格的云服務(wù)器,但集群內(nèi)剩余資源只能滿足4臺云服務(wù)器,形成典型的資源碎片現(xiàn)象。如何應(yīng)對資源擴容中常見的周期長、成本高等挑戰(zhàn),滿足極端場景下的客戶需求,成為亟需解決的難題。
圖1.碎片整理示意圖
本論文創(chuàng)新性提出一種新型細粒度碎片整理算法——PheCon,通過云服務(wù)器二次調(diào)度的方式聚合集群內(nèi)資源碎片,以滿足更大規(guī)格資源的開通需求。同時,該論文還提出了基于分治思想的NUMA感知啟發(fā)式算法和“誘導(dǎo)遷移”(Induced Migration)技術(shù),通過規(guī)格填充、物理服務(wù)器選擇、云服務(wù)器排序和NUMA調(diào)度,實現(xiàn)集群布局優(yōu)化。
基于上述技術(shù)特點,PheCon可適配天翼云“2+4+31+X”的資源布局和異構(gòu)數(shù)據(jù)中心的異構(gòu)資源特點,做到一池一算、算無遺策,滿足全域異構(gòu)資源的二次調(diào)度,實現(xiàn)分鐘級的快速碎片整理,提供優(yōu)質(zhì)的上云體驗。目前,天璣智能調(diào)度平臺穩(wěn)定運行PheCon碎片整理功能,累計提供服務(wù)72次,每年節(jié)省運營成本超過千萬元,減少碳排放超百噸。
Yggdrasil:CXL使能的無感 網(wǎng)絡(luò)I/O性能加速
在通信密集型應(yīng)用程序的運行過程中,基于Linux內(nèi)核的操作系統(tǒng)網(wǎng)絡(luò)通訊組件面臨巨大的運行負擔。為有效解決上述問題,本論文提出Yggdrasil網(wǎng)絡(luò)通訊平替方案。
Yggdrasil是天翼云聚合計算團隊預(yù)研的下一代數(shù)據(jù)中心網(wǎng)絡(luò)通信技術(shù)。如圖2所示,該技術(shù)可基于CXL共享內(nèi)存實現(xiàn)用戶態(tài)的高性能TCP/IP通信,且完全兼容現(xiàn)有的socket API,無需修改代碼即可完成性能加速。天璣實驗室團隊通過模擬和真實CXL硬件進行評估的結(jié)果表明,Yggdrasil可使Memcached的吞吐性能相比傳統(tǒng)Linux socket高出8.2倍,并在不同消息大小的微基準測試中,將通訊延遲降低到傳統(tǒng)方式的0.3%到4.1%。
圖2.關(guān)于Yggdrasil快速/慢速通信路徑示意圖
Yggdrasil的性能優(yōu)勢與易用性主要得益于三個方面的設(shè)計優(yōu)化:
(1)在跨主機通信中,Yggdrasil采用基于CXL的分布式共享內(nèi)存(即快速通信路徑)以提升性能,在CXL不可用的情況下,自動無感切換回傳統(tǒng)socket(即慢速通信路徑)。
(2)Yggdrasil依托于受信任的用戶空間監(jiān)控守護進程管理通訊連接控制平面操作,減少上下文切換開銷。數(shù)據(jù)平面采用對等模型進行跨物理主機的進程間通信,充分利用CXL共享內(nèi)存的性能優(yōu)勢。
(3)為彌補socket API和共享內(nèi)存之間的語義鴻溝,采取多種技術(shù)兼顧接口兼容性和性能優(yōu)勢。
基于Yggdrasil的I/O網(wǎng)絡(luò)性能優(yōu)勢及良好的API接口兼容性,Yggdrasil方案將在天翼云彈性計算產(chǎn)品線自主設(shè)計和研發(fā)的聚合計算平臺進行落地,以減少網(wǎng)絡(luò)I/O稅,從而為客戶提供更澎湃的算力資源,助力千行百業(yè)創(chuàng)造更多價值。
面向未來,天翼云將繼續(xù)加強關(guān)鍵核心技術(shù)自主攻關(guān),以領(lǐng)先的產(chǎn)品能力夯實數(shù)字基礎(chǔ)設(shè)施底座,為千行百業(yè)數(shù)字化轉(zhuǎn)型保駕護航。