近期,蘋果推出AI大模型Apple Intelligence,讓原本火熱的大模型再次成為焦點。
現在,大家使用手機等終端,可以透過大模型賦能的個人助理對話,快速地了解天氣、日程安排;用文本生成圖片甚至視訊;實作語音到語音的即時轉譯……大模型正在改變我們的生活。
我們常說,大模型需要大算力。其實,這些AI套用不僅對算力、演算法要求高,對數據儲存同樣要求高。數據正成為新生產要素,是各行各業數位化、智慧化轉型基石。所以,數據儲存也是大模型的基石。
伴隨技術發展,以及新套用的湧現,數據儲存從硬碟儲存,發展到更先進的全快閃記憶體。目前,全快閃記憶體已在AI、能源、金融、醫療、制造等領域快速普及。
誰將成為全快閃記憶體引領者?筆者註意到,6月25日,曙光儲存重磅釋出全球第一個億級IOPS集中式全快閃記憶體儲FlashNexus,是業界唯一具備百控級擴充套件能力的集中式儲存產品;還依托全閃技術最佳化,升級了分布式儲存ParaStor,要做最懂AI儲存的廠商。
中科曙光儲存科技有限公司總裁何振,
分享曙光儲存品牌理念
那麽,AI大模型對數據儲存帶來哪些挑戰?全快閃記憶體發展如何?曙光儲存新品如何滿足AI時代新需求?我們來解讀下。
01
舉目眺望:
全快閃記憶體時代機遇與挑戰並存
隨著AI大模型技術快速發展,效能強、高IOPS等場景成為常態,全快閃記憶體技術脫穎而出。因為全快閃記憶體存得快、存得好。據貝哲斯咨詢的預測,全球全快閃記憶體陣列市場規模在逐年增長,2023年全球全快閃記憶體陣列市場規模達到了108.39億元,到2029年將增長至392.72億元。
另據TrendForce集邦咨詢研究,2024年一季度全球NAND Flash市場營收環比增長28.1%,達147.1億美元。TrendForce指出,全快閃記憶體收入快速增長背後,主要受益於AI伺服器廠商對大容量企業SSD的采購增加。
硬幣的另一面是,當全快閃記憶體成為新趨勢之時,儲存行業仍面臨諸多挑戰。
首先,海量數據帶來數據儲存挑戰。 隨著物聯網和各類智慧裝置的迅速發展,數據正以前所未有的速度增長。特別是大模型的發展,加速了數據增長趨勢。以GPT-3為例,其使用了超過1750億個參數進行訓練。GPT-4更是在120層中總共包含了1.8萬億參數,是GPT-3的10倍以上。
其次,數據種類的多樣性挑戰。 新套用的出現,也導致數據種類走向多樣性。結構化數據、半結構化數據和非結構化數據帶來了儲存以及數據分析的復雜性,要求儲存系統能夠靈活地應對多變的數據型別。
再次,數據管理更復雜。 目前,數據儲存管理涉及資源分配、數據備份、災難恢復等多個方面,其復雜性顯著提升。此外,集中式儲存資源池與分布式儲存資源池協同構建的儲存設施,導致數據呼叫出現孤島,需打通不同數據儲存設施。
第四,數據安全依然難保障。 隨著各行業擁抱數位化,數據已經成為企業和組織的核心資產,其安全性直接關系到企業的營運、聲譽和客戶的信任。比如,企業數據中包含客戶資訊、員薪資料等大量敏感資訊,一旦這些數據泄露,可能會給企業和個人帶來嚴重的財務損失和聲譽損害。同時,如果數據受到攻擊或損壞,也可能會導致業務中斷和營運損失。
最後,數據儲存無法滿足大模型等AI發展需求。 AI大模型的訓練過程需要高效的數據載入和處理能力。但目前大型小檔的載入速度較慢,導致訓練集載入效率低下,進而影響模型的訓練速度和效果。
此外,數據儲存還面臨與計算能力存在不匹配問題,導致數據儲存成為制約AI大模型發展的瓶頸之一。
02
四把利劍:破解數據儲存難題
面對挑戰,誰能應對?曙光儲存以20年自研能力給出答案:重磅釋出的集中式全快閃記憶體儲FlashNexus,以及升級的分布式全快閃記憶體儲ParaStor,打造數據儲存領域四把利劍,直擊行業挑戰。我們仔細研究了下此次釋出的新品,分享亮點如下。
利劍一:億級IOPS全快閃記憶體陣列,輕松應對數據爆發
曙光儲存釋出的集中式全快閃記憶體儲FlashNexus,是業界第一個億級IOPS全快閃記憶體陣列,可輕松應對關鍵業務對儲存系統極致效能的需求,並具備業界唯一百控級擴充套件能力,綜合效能領先同類產品50%以上。
如果將數據儲存視為一個水池,數據的儲存與讀取就是這個水池的水流進出水管。集中式全快閃記憶體儲FlashNexus可讓這個「水池」不僅水管直徑更粗,而且流速也更快,最終實作數據高效地傳輸。
中科曙光儲存科技有限公司副總裁張新鳳,
釋出FlashNexus集中式全閃新品
利劍二:芯片級安全,保障數據安全穩定
數據的安全穩定,是實作數位化、智慧化的必要前提。曙光集中式全快閃記憶體儲FlashNexus從芯片層面出發,保障數據安全、穩定。
一方面,曙光集中式全快閃記憶體儲FlashNexus基於自主研發軟體,以及六大關鍵芯片緊密聯動,與國內芯片廠商開放適配,涵蓋了處理器、儲存控制器、網路控制器等關鍵部件,打造關鍵業務安全可控存力平台。
另一方面,曙光集中式全快閃記憶體儲FlashNexus基於領先的NexusMatrix矩陣互聯架構,透過高效、靈活的數據互聯方式,極大地提升了系統的可靠性和擴充套件性,並透過RAID-QC校驗技術即時檢測數據在儲存過程中的變化,及時發現並修復可能存在的數據錯誤,從而保障了數據的一致性和可靠性,帶來99.99999%的業界最高規格的極致可靠性。
利劍三:升級分布式全快閃記憶體儲ParaStor,做最懂AI的儲存
升級的曙光儲存產品,基於處理器平台、儲存裝置、網路平台三大硬體平台,以及儲存介質管理、網路管理、軟體高階功能等全棧軟體自研實力,讓硬體平台達到極致效能。比如,單節點80GB/s頻寬,200w IOPS,單流10GB/s等效能可輕松應對AI對數據的需求。
為了做最懂AI的儲存廠商,曙光儲存的本地記憶體加速、BurstBuffer加速層、XDS雙棧相容、網路加速、儲存節點高速層五級數據加速技術,在搭配全路徑AI親和機制,讓數據無需等待,更實作國內外雙棧技術生態全相容,助力數據在異構、異地、雲上、雲下無障礙流動。
曙光儲存「智存」——ParaStor分布式全閃系列升級
利劍四:首創「通存」方案,輕松應對各種數據
面對不同型別數據及儲存方式,曙光儲存提出「通存」方案,基於同根同源的集中式儲存資源池與分布式儲存資源池,帶來跨形態熱溫冷數據無感流動,跨域資源池全維度檢視,真正實作數據無界流動,打破數據孤島。針對數據管理難題,曙光儲存「通存」方案還能實作跨平台一鍵式容災恢復。
全快閃記憶體在效能上雖優於傳統的硬碟儲存,但成本相較於一般硬碟儲存產品依然要高許多。曙光儲存的「通存」方案可實作儲存資源利用率提升30%,數據總擁有成本減少50%,大幅降低企業數據持有成本。
曙光儲存首創「通存「方案
03
以「強者恒存」理念,
做先進存力引領者
縱觀整個儲存行業,曙光這次釋出的新品,十分領先。許多人可能要問,為何曙光儲存能率先推出全球第一個億級IOPS全快閃記憶體陣列?想要回答該問題,我們需要從曙光儲存這家企業的發展理念談起。
曙光儲存「強者恒存」品牌理念
曙光儲存已在業內發展多年,可謂是行業元老級玩家。回顧曙光儲存發展,其一直堅持從實踐中來,到產業中去的發展理念,並秉持以「強者恒存」的產業精神,打造了一個個儲存行業強存、智存、通存高水平套用。
比如,在分布式儲存領域,曙光儲存推出的ParaStor系列產品,可滿足數據中心、雲端運算和AI大模型等業務場景對數據儲存需求。其中,曙光ParaStor液冷儲存系統,填補了國記憶體儲領域液冷產品空白。
又比如,在集中式儲存領域,曙光儲存本次推出的集中式全快閃記憶體FlashNexus系列,打造了全球第一個億級IOPS集中式全快閃記憶體儲、芯片級穩定安全、首創「通存」方案等利器。
除了創新,在多年具體實踐中,曙光儲存打造了多個行業標桿案例,以領先存力,為各行業數位化發展,提供強大支撐。
在中國移動建設的存力智慧排程體系中,曙光儲存提供的一體化存力解決方案,實作數據跨域遷移能力,讓不同資源池間數據自由遷移,業務存取無感知。
在中國石油雲端運算資源池計畫中,曙光儲存構建的統一雲端儲存資源池,提升數據資源利用效率,保障中石油集團高速發展。
在金融領域,曙光助華夏銀行打造新一代物件儲存資源池,支撐海量影像檔儲存,最佳化客戶資料探勘與分析效率,助力金融業轉型。
曙光協還助氣象局建立「氣候變遷應對決策支撐系統」,采用ParaStor分布式統一儲存,滿足氣象業務峰值運算速度達每秒8189.5萬億次,記憶體690.43TB,線上儲存23PB等數據儲存挑戰。
在助力高校及科研院所應對數據儲存方面,曙光儲存采用液冷方案與存算一棧式解決方案,擴充套件25PB空間,降低能耗30%,PUE降至1.2以下,助力廣州國際校區數據中心應對節能減排挑戰。
筆者觀察:
以研發能力為柱,以深厚經驗為梁,築牢數據儲存基石
數據儲存設施作為數位基礎設施中的關鍵要素,直接支撐著數位經濟的執行和發展,可謂是數位中國建設的基石。
曙光儲存此次能適時推出先進儲存技術和產品,是因為其不斷提升自身研發實力,築牢數據儲存這根支撐數位中國的支柱。目前,曙光在全國擁有5大研發中心,3大國際領先的智慧制造生產基地,建設營運了國內多個5A級智算中心,在50多個城市部署了城市雲端運算中心。作為曙光第二大產品線,曙光儲存擁有20余載經驗積累,在分布式儲存架構、高端全快閃記憶體儲、融合統一協定支持等關鍵技術領域獲得300余項核心技術發明專利。
我們相信曙光此次新品可以助力數位中國加速發展,持續打造數位中國脊梁,在通訊、大模型、氣象環保、科教、金融等領域打造了一個個行業標桿。
展望AI大模型的未來,曙光儲存此次釋出的集中式全快閃記憶體FlashNexus系列以及升級的分布式全閃ParaStor系列,將真正築牢數位中國數據儲存基石,加速千行百業數位化行程。
點選下方名片,關註我們 ↓ ↓ ↓
【海峰看科技】側重科技通訊技術和產業分析,定位解讀延伸,深度思考。
【黃海峰的通訊生活 】側重科技通訊資訊和數位產品體驗,定位快速、有趣。
往期推薦
+
+
+
+
+
+
+
+
黃海峰,獨立科技評論員,多次接受央視、環球時報、科技日報采訪。
ICT行業雜誌前副主編,從業十多年,聚焦5G、手機、IoT、光、雲、AI、互聯網等。
每年與超100位科技行業企業 CXO /VP/總監面對面交流。
多年度【中國資訊通訊行業發展報告】特約撰稿人。
獲十大通訊行業自媒體、IT科技十佳創作者稱號。
覆蓋今日頭條、百度、新華、人民、搜狐、鳳凰、新浪、網易、知乎、騰訊、一點、微博等。
微訊號:174455367