英特尔推出AI芯片Gaudi 3,训练和推理速度比英伟达H100快50%
今日凌晨,英特尔在Intel Vision 2024大会发布AI加速芯片Gaudi 3。据英特尔公司首席执行官帕特·基辛格(Pat Gelsinger)介绍,英特尔Gaudi 3在Llama大模型的基准测试中,比英伟达H100的训练时间快50%、推理性能提升50%、推理能效表现提升40%。
英特尔提供的测算数据显示,英特尔Gaudi 3的平均性能预计在三个方面优于英伟达H100。
一是训练时间,相比英伟达H100,英特尔Gaudi 3对70亿参数和130亿参数的Llama2,以及1750亿参数的GPT-3大模型的训练时间缩短50%。
二是推理吞吐量(单位时间内能处理的数据量)和推理能效。相比英伟达H100,英特尔Gaudi 3对于70亿参数和700亿参数的Llama大模型,以及1800亿参数的Falcon大模型进行推理时,推理吞吐量提升50%,推理能效提升40%。在较长的输入和输出序列上,Gaudi 3展现出更强的推理性能优势。
三是推理速度。与英伟达H200相比,英特尔Gaudi 3对70亿参数和700亿参数的Llama大模型,以及1800亿参数的Falcon大模型的推理速度提高了30%。
据悉,英特尔Gaudi 3采用5nm制程。与上一代产品相比,英特尔Gaudi 3的BF16 AI计算能力提升4倍,FP8计算能力提升2倍,内存带宽提升1.5倍。在拓展性上,基于Gaudi3部署的AI系统可通过以太网的通用标准连接多达数万个加速器,支持用户从单个节点扩展到拥有数千个节点的集群、超级集群和超大集群,进行大规模的推理、微调和训练。
英特尔Gaudi 3将于2024年第二季度面向OEM厂商出货。
作者:张心怡 来源:中国电子报、电子信息产业网
将本文加入收藏夹
新闻详情