WEKA 數據平台已通過 NVIDIA 面向 GPU 運算基礎架構的雲端合作夥伴參考架構認證,成為高效能數據儲存解決方案
加州坎貝爾2024年9月26日 /美通社/ — AI 原生數據平台公司 WekaIO (
The WEKA Data Platform is Now Certified as a High-Performance Data Store Solution with the NVIDIA Cloud Partner Reference Architecture for GPU Compute Infrastructure
NVIDIA 雲端合作夥伴參考架構為雲端供應商提供了一個全面、全棧式的軟硬件解決方案,讓其能夠針對不同應用場景,提供 AI 服務與工作流程。WEKA 的存儲認證確保 WEKApod™ 設備和來自 WEKA 合格伺服器合作夥伴的硬件,皆符合 NVIDIA 雲端合作夥伴為 AI 雲端環境所制定的高效能存儲 (HPS) 規範。
此認證彰顯了 WEKA 數據平台在規模化部署時,具備強大的性能表現,並能有效加速 AI 工作負載。它在單個 HGX H100 系統上,可提供高達 48GBps 的讀取吞吐量和超過 46GBps 的寫入吞吐量,並在單個 NVIDIA Spectrum-X 乙太網絡叢集中,支援多達 32,000 個 NVIDIA GPU。NVIDIA 雲端合作夥伴現在可以放心地將 WEKA 數據平台與搭載 NVIDIA GPU 的大規模 AI 基礎設施部署結合,協助客戶快速部署和擴展 AI 項目。
「AI 創新者正日益轉向超大規模和專業雲端供應商,以推動模型訓練和推理,並構建他們的高級運算項目」,WEKA 產品總監 Nilesh Patel 表示。「WEKA 的認證參考架構使 NVIDIA 雲端合作夥伴及其客戶能夠部署經過全面驗證的 AI 原生數據管理解決方案,有助於縮短實現成果的時間,同時顯著降低電力和數據中心基礎設施成本。」
AI 革命正推動對專業雲端解決方案的需求激增
隨著組織迅速採用生成式 AI,並在各種應用場景中尋求競爭優勢,全球對下一代 GPU 存取的需求正急劇上升。這股浪潮催生了一批新型專業 AI 雲端服務供應商,他們透過提供加速運算和 AI 基礎設施解決方案,為各種規模和各個行業的組織提供廣泛的 GPU 存取。隨著企業 AI 項目在更大的 GPU 環境中融合訓練、推理和檢索增強生成 (RAG) 工作流程,這些雲端供應商經常面臨嚴峻的數據管理挑戰,例如數據整合與可移植性、最小化延遲,以及透過高效的 GPU 利用率來控制成本。
WEKA 的 AI 原生數據平台優化並加速了數據管道,有助於確保 GPU 持續獲得充足的數據,以實現最大利用率、簡化 AI 模型的訓練和推理,並加速效能密集型工作負載。它提供簡化的零調校存儲體驗,能優化所有 I/O 檔案的性能,協助雲端供應商簡化 AI 工作流程,從而降低數據管理的複雜性和人力成本。
許多 NVIDIA 雲端合作夥伴在構建服務產品時也將可持續性納入考量,採用節能技術和可持續的 AI 實踐,以減少對環境的影響。WEKA 數據平台顯著提高了 GPU 效率以及 AI 模型訓練和推理的效率,這有助於雲端服務供應商每儲存 1PB 數據避免 260 噸二氧化碳當量排放。這進一步減少了其數據中心的能源消耗和碳足跡,並降低客戶 AI 和 HPC 計劃對環境的影響。
「WEKA 數據平台在優化 Yotta 的 Shakti Cloud 效能方面發揮著關鍵作用,這是印度最快的 AI 超級運算基礎架構。Shakti Cloud 使我們能夠為各種規模的企業提供可擴展的 GPU 服務,實現高效能運算資源的普及化,並讓企業能夠透過我們龐大的 NVIDIA H100 GPU 陣容充分利用 AI 的潛力。藉助這項增強功能,我們的客戶將能夠在數萬億參數語言模型上高效運行即時生成式 AI,」NVIDIA 雲端合作夥伴 Yotta Data Services 的聯合創辦人、董事總經理兼行政總裁 Sunil Gupta 如此表示。「在 Yotta,我們致力於在數據中心增長與可持續性及能源效率之間取得平衡。我們致力於部署節能的 AI 技術,最大限度地減少數據中心對環境的影響,同時持續擴大基礎設施以滿足不斷增長的需求。WEKA 在幫助我們實現這一目標方面發揮了重要作用。」
WEKA 為 NVIDIA 雲端合作夥伴提供的參考架構的主要優勢包括:
- 卓越效能:經過驗證的高吞吐量和低延遲,有助於將 AI 模型訓練和推理的掛鐘時間從數天縮短至數小時,為單個 HGX H100 系統提供高達 48GBps 的讀取吞吐量和超過 46GBps 的寫入吞吐量。
- GPU 利用率最大化: WEKA 在所有 HGX H100 系統上提供一致的效能和線性可擴展性,透過優化數據管道,將 GPU 利用率提升高達 20 倍,從而減少高流量工作負載所需的 GPU 數量,同時最大限度地提高性能。
- 服務供應商級多租戶: 安全的存取控制和虛擬可組合叢集,提供資源分離和獨立加密,有效保護客戶私隱和效能。
- 消除檢查點停滯: 可擴展的低延遲檢查點對於大規模模型訓練至關重要,能降低風險並提供可預測的操作性。
- 大規模:在 NVIDIA Spectrum-X 乙太網絡骨幹網上的單個命名空間內,支援多達 32,000 個 NVIDIA H100 GPU 和 1EB 的容量,可擴展以滿足任何部署規模的需求。
- 簡化的操作:零調優架構提供元數據和數據服務的線性擴展,簡化多樣化、多工作負載雲端環境的設計、部署和管理。
- 降低複雜性及提高效率: 相比競爭解決方案,WEKA 在僅僅十分之一的數據中心佔地面積和佈線下,提供了一流的性能,從而降低基礎設施複雜性、存儲和能源成本,以及相關的環境影響,促進 AI 的更可持續使用。
如欲了解更多有關 WEKA 為 NVIDIA 雲端合作夥伴提供的參考架構資訊,請瀏覽 https://www.weka.io/company/partners/technology-alliance-partners/nvidia。
如欲探索 WEKA 如何增強 GPU 加速,請瀏覽:https://www.weka.io/data-platform/solutions/gpu-acceleration/。
關於 WEKA
WEKA 正在為 AI 時代的企業數據堆疊構建一種新方法。WEKA® 數據平台採用雲端原生及 AI 原生架構,樹立 AI 基礎設施的標竿。該平台可靈活部署於任何地方,支援本地、雲端和邊緣運算環境之間的無縫數據轉移。該平台將傳統數據孤島轉化為動態數據管道,可加速 GPU 運算、AI 模型訓練和推理以及其他高性能工作負載,使之能更高效地運作、減少能耗,並降低相關的碳排放。WEKA 幫助全球最具創新精神的企業和研究機構解決複雜的數據挑戰,更快速、更可持續地探索新發現、見解和成果,其客戶更是包括財富 50 強中的 12 間企業。請瀏覽 www.weka.io 了解更多資訊,或在 LinkedIn、X 和 Facebook 上關注 WEKA。
WEKA 及 WEKA 標誌乃 WekaIO, Inc. 的註冊商標。此處使用的其他商業名稱可能為其他商標擁有者分別擁有。