至强6文章进入至强6技术社区

英特尔披露至强6处理器针对Meta Llama 3模型的推理性能

• 近日，Meta重磅推出其80亿和700亿参数的Meta Llama 3开源大模型。该模型引入了改进推理等新功能和更多的模型尺寸，并采用全新标记器（Tokenizer），旨在提升编码语言效率并提高模型性能。在模型发布的第一时间，英特尔即验证了Llama 3能够在包括英特尔®至强®处理器在内的丰富AI产品组合上运行，并披露了即将发布的英特尔至强6性能核处理器（代号为Granite Rapids）针对Meta Llama 3模型的推理性能。图1 AWS实例上Llama 3的下一个Token延迟英特尔至强处理器可
• 关键字：英特尔至强6Meta Llama 3