早前蓝点网提到英伟达推出专用加速卡NVIDIA H100,英伟该加速卡是达宣大显达G点网前代加速卡A100性能的3倍价格也是3倍。
趁着AI热潮黄仁勋显然再次抓住热点:英伟达今天宣布推出针对LLM大型语言模型的加速勇敢的心 世界大战(勇敢的心世界大战完整汉化版)专用加速卡H100 NVL。
推出这个新SKU是卡全因为英伟达注意到LLM运行时,超大量的面投数据会迅速填充显存,普通版本已经跟不上使用。产最存容
所以NVIDIA H100 NVL是量高B蓝迄今为止显存容量最大的版本,显存为188GB HBM3 显存,英伟单卡显存容量94GB。达宣大显达G点网
专门为LLM设计的加速勇敢的心 世界大战(勇敢的心世界大战完整汉化版)新版本:
英伟达在新闻稿中表示 NVIDIA H100 加速卡已经全面投产,很快英伟达和合作伙伴将向全球企业推出新卡。卡全
H100加速卡在LLM上提供快9倍的面投AI训练以及快30倍的AI推理 , 为全球AI企业发挥创造力提供强大动力基础。
不过今天还有个重点就是产最存容H100 NVL版 , 这是英伟达专门面向大型语言模型推出的新SKU主要就是超大显存。
H100 NVL实际上是量高B蓝2张H100合并后的结果 , 主要通过PCIe板进行桥接,每张卡显存为94GB合计为188GB。英伟
连插槽都是2个PCIe 5.0的因此普通主板都插不上,估计要购买 H100 NVL 的话也得顺带购买配套专用主板。
具体价格方面目前还不清楚,此前传闻H100售价 32000 美元约合人民币22万元,H100 NVL也必然会翻倍。
以下是H100三种SKU参数对比:
顶: 6222踩: 92876NVIDIA H100 Accelerator Specification Comparison H100 NVL H100 PCIe H100 SXM FP32 CUDA Cores 2 x 16896? 14592 16896 Tensor Cores 2 x 528? 456 528 Boost Clock 1.98GHz? 1.75GHz 1.98GHz Memory Clock ~5.1Gbps HBM3 3.2Gbps HBM2e 5.23Gbps HBM3 Memory Bus Width 6144-bit 5120-bit 5120-bit Memory Bandwidth 2 x 3.9TB/sec 2TB/sec 3.35TB/sec VRAM 2 x 94GB (188GB) 80GB 80GB FP32 Vector 2 x 67 TFLOPS? 51 TFLOPS 67 TFLOPS FP64 Vector 2 x 34 TFLOPS? 26 TFLOPS 34 TFLOPS INT8 Tensor 2 x 1980 TOPS 1513 TOPS 1980 TOPS FP16 Tensor 2 x 990 TFLOPS 756 TFLOPS 990 TFLOPS TF32 Tensor 2 x 495 TFLOPS 378 TFLOPS 495 TFLOPS FP64 Tensor 2 x 67 TFLOPS? 51 TFLOPS 67 TFLOPS Interconnect NVLink 4
18 Links (900GB/sec)NVLink 4
(600GB/sec)NVLink 4
18 Links (900GB/sec)GPU 2 x GH100
(814mm2)GH100
(814mm2)GH100
(814mm2)Transistor Count 2 x 80B 80B 80B TDP 700W 350W 700-800W Manufacturing Process TSMC 4N TSMC 4N TSMC 4N Interface 2 x PCIe 5.0
(Quad Slot)PCIe 5.0
(Dual Slot)SXM5 Architecture Hopper Hopper Hopper
评论专区