在科技界的一則最新動態(tài)中,知名科技博客Phoronix于3月23日披露,隨著Linux 6.15內(nèi)核版本的臨近,開源社區(qū)中的EROFS(增強型只讀文件系統(tǒng))即將迎來一次重大革新。此次升級的核心亮點在于,EROFS將引入48位尋址支持,以滿足人工智能模型訓練過程中對數(shù)據(jù)存儲容量的迫切需求。
一直以來,EROFS受限于32位塊尋址機制,其最大容量被限定在16TiB(在4KiB塊大小下)。而48位尋址技術的加入,將徹底打破這一瓶頸,使得EROFS能夠輕松應對AI訓練中所需的大規(guī)模數(shù)據(jù)集存儲挑戰(zhàn),同時也為對象存儲客戶端提供了更為廣闊的存儲空間。
除了容量上的大幅提升,此次EROFS的更新還涉及到了核心磁盤結構的全面擴展,包括inode、設備槽以及inode塊的優(yōu)化。為了支持基本的時間戳功能,新版EROFS引入了32字節(jié)緊湊inode的mtime字段,這一改進無疑將進一步提升文件系統(tǒng)的實用性和靈活性。
在性能優(yōu)化方面,新版EROFS同樣不遺余力。針對Zstd壓縮算法,新版EROFS引入了字節(jié)導向的編碼擴展,這一改進使得壓縮器能夠保持其原有的高效壓縮方法,從而在提升壓縮效率的同時,也確保了數(shù)據(jù)壓縮質(zhì)量。據(jù)測試數(shù)據(jù)顯示,在啟用48位尋址后,Zstd鏡像的構建時間得到了顯著縮短,特別是在Intel Xeon Platinum 8163 CPU上,構建時間從原先的3分52秒驟降至12秒,這一提升無疑將為AI訓練等高性能應用場景帶來極大的便利。
EROFS,這一由華為最初開發(fā)并隨后由全球開源社區(qū)共同維護的輕量級只讀文件系統(tǒng),自問世以來便以其出色的存儲效率和性能表現(xiàn)贏得了業(yè)界的廣泛關注。此次重大升級,不僅進一步鞏固了EROFS在只讀文件系統(tǒng)領域的領先地位,更為AI、大數(shù)據(jù)等前沿科技領域的發(fā)展提供了強有力的支持。
隨著人工智能技術的不斷發(fā)展和普及,對于數(shù)據(jù)存儲和處理能力的需求也將持續(xù)增長。EROFS此次的升級,無疑為這一趨勢提供了強有力的技術支撐,我們有理由相信,在未來的科技發(fā)展中,EROFS將繼續(xù)發(fā)揮其獨特優(yōu)勢,為更多領域的應用場景提供高效、可靠的存儲解決方案。
Copyright 2025 //m.xinshilikeji.com/ 版權所有 豫ICP備2021037741號-1 網(wǎng)站地圖