英伟达推出H100 NVL:用于大语言模型训练

英伟达推出H100 NVL:用于大语言模型训练

白猫 / 2023-03-22 11:2828936

今年以ChatGPT为首的大语言模型突然在网上爆红,引起了人们对于AI的极度追求。而大语言模型的训练则需要大量的计算卡,这便是英伟达的优势。去年英伟达正式推出了H100计算卡,让计算卡的性能达到新的高度,而这一次英伟达又推出了H100 NVL,专门为大语言模型而打造。

NVIDIA-H100-NVL-1200x392.jpg

英伟达表示H100 NVL是为大型语言模型所准备的产品,由2块H100计算卡通过PCIe桥接在一起,相比较单张H100计算卡,这套系统可以提供188GB的HBM 3显存。而英伟达称目前ChatGPT所采用的训练计算机搭载的是英伟达HGX A100,而如果说使用H100 NVL计算卡的话,基于四对H100以及双NVLINK的服务器可以让处理与计算速度提升10倍,从而让大语言模型的处理效率大幅提升,进而降低使用成本。甚至通过软硬件的优化,大语言模型的建模与训练速度最高可以提升30倍。预计H100 NVL计算卡将会在今年下半年和大家正式见面。

NVIDIA-H100-NVL.png

除此之外英伟达也推出了L4,专门为AI视频解码与转码打造,英伟达表示相比较传统的CPU转码,通过L4这样的专属芯片可以实现最高120倍的AI视频性能提升,并且能效比提升99%,英伟达称基于8块L4 GPU的视频解码服务器可以替代原有100多台的视频解码服务器,同样也是大幅提升工作效率,增加企业的生产力。可以说无论是H100 NVL还是L4,都是英伟达为专属领域所推出的计算设备,相比较过去的通用性芯片,这种专属芯片拥有更加出色的优化,能够为特定任务起到事半功倍的效果。


发表评论