圖/open-telekom國外
NVIDIA推出新一代AI GPU加速產品,擁抱未來智慧科技
發布日期:4/7/2024
新聞視界時報 記者 李翌淳 整理報導
在GTC 2024大會上,NVIDIA震撼公布全新的Blackwell架構,引起了廣泛的關注。
雖然Blackwell將在2024年下半年才會開始出貨,但目前最新的NVIDIA AI GPU加速產品已經問世,其中包括採用美光HBM3e記憶體的NVIDIA H200 Tensor Core GPU。
這款新一代GPU帶來了顯著的性能提升,透過MLPerf測試,基於Hopper架構的H100借助TensorRT-LLM軟體,不僅突破了生成式AI測試項的性能上限,而且在GPT-J LLM推論性能上提升了近3倍。
同時,H200 GPU通過HBM3e記憶體的容量和頻寬提升,以及更彈性的散熱方案,一舉刷新了多項MLPerf的紀錄。
MLPerf v4.0版本引入了兩項生成式AI測試項,這對硬體性能提出了更高的要求。
而NVIDIA則通過強化Hopper架構的記憶體,以及提供客製化的散熱解決方案,使得系統的性能得到了顯著的提升。
此外,NVIDIA的H200 GPU將由多家領先的系統商與雲端服務商推出,為用戶帶來更強大的AI運算能力。
對於客戶對單一系統記憶體的更高要求,NVIDIA推出了GH200 Superchips平台,提供高達624GB的高速記憶體。
這一平台整合了Grace GPU與H200 GPU,並通過NVLink-C2C高速溝通,為如推薦系統等記憶體密集的MLPerf測試提供了出色的效益。
NVIDIA在MLPerf測試中一直保持著領先地位,並與合作夥伴不斷刷新著成績。
無論是更新硬體還是軟體,NVIDIA都在不斷提升系統的性能。
此外,NVIDIA還強調其測試結果的公開和透明,為行業的發展做出了積極的貢獻。
隨著生成式AI技術的不斷發展,NVIDIA的Blackwell架構將應對兆級參數需求,為未來的智慧科技帶來更大的突破。
這一架構不僅性能顯著提升,而且擁有更大的規模和記憶體容量,將為兆級參數生成式AI模型提供強大的支持。