本地llm应用文章进入本地llm应用技术社区

安霸发布N1系列生成式AI芯片,支持前端设备运行本地LLM应用

• 单颗 SoC 支持 1 至 340 亿参数的多模态大模型（Multi-Modal LLM）推理，实现前端低功耗生成式 AI。Ambarella (下称“安霸”，专注 AI 视觉感知的半导体公司）于当天宣布，在 2024 国际消费电子展（CES）期间，展出在其新款 N1 系列 SoC 上运行多模态大模型（Multi-Modal LLM），其每次推理的功耗显著低于当前市场的通用 GPU 解决方案。生成式 AI 是为了处理大规模数据集而最早应用于服务器上的变革性技术，而安霸的目标是将生成式 AI 部署于终端设备
• 关键字：安霸生成式AI芯片本地LLM应用