电子产品世界

随着人工智能(AI)不断对我们的日常生活产生越来越大的影响，其推理任务也逐渐从云端迁移到边缘侧和端侧。边缘侧推理为板载设备引入智能化能力，使数据能够在本地进行处理，并实时做出决策，同时提高了数据隐私性和安全性。

Arm Ethos NPU

Arm多年来不断开发边缘AI加速器，以满足边缘侧和端侧不断增长的推理工作负载需求。此前两款成功的NPU产品——Arm® Ethos™-U55和Ethos-U65，为边缘侧和端侧AI应用带来了高性能、高能效的解决方案。

Ethos-U55通常部署在基于Cortex®-M的异构系统中。而Ethos-U65则将Ethos-U系列的适用性扩展到基于Cortex-A的系统中，并为设备上的机器学习(ML)能力带来了两倍的性能提升。这两款产品均提供统一的工具链，可简化开发并支持常见的ML神经网络运算，包括卷积神经网络(CNN)和循环神经网络(RNN)。

Transformer架构的影响

于2017年问世的Transformer架构彻底改变了生成式AI，并成为许多新型神经网络的首选架构。基于Transformer架构的模型可利用注意力机制处理序列数据，并在机器翻译、自然语言理解、语音识别、分割和图像字幕生成等多项AI任务中实现优异的效果。

这些模型可被调整和压缩，在不过多影响准确度的情况下，能高效运行于边缘设备上，并在许多边缘侧和端侧用例中发挥领先的优势。

全新Ethos-U85 NPU

依托Ethos-U系列NPU过往的成功经验，Arm推出了全新产品—— Ethos-U85。该处理器秉承此前Ethos-U NPU一贯的高性能、高能效设计理念，并可同时为边缘侧和端侧设备上采用Transformer架构的现有和未来的工作负载提供支持。

Ethos-U85是Arm Ethos-U产品线中的第三代NPU，也是迄今为止性能和能效最强的Ethos NPU。与上一代产品相比，该NPU的性能提升了四倍，能效提高了20%，并且可在主流网络上实现高达85%的利用率。全新Ethos-U85可满足诸如工厂自动化和商用或智能家居摄像头等物联网应用不断攀升的性能需求。此外，其专为搭配基于Cortex-M或Cortex-A的系统一同运行而设计，并容忍高DRAM延迟。

Ethos-U85的主要特性包括：

Ÿ单周期支持从128到2048个MAC单元的配置——在1GHz时，算力可支持从256 GOPS到4 TOPS。

Ÿ支持int8权重和int8或int16激活。

Ÿ支持Transformer架构网络，以及CNN和RNN。

Ÿ硬件原生支持2/4稀疏性，使吞吐量翻倍。

Ÿ内部SRAM为29至267 KB，多达六个128位AXI5接口。

Ÿ支持权重压缩，采用标准和快速权重编码器。

Ÿ支持扩展压缩。

除了Ethos-U55和Ethos-U65目前支持的算子，通过支持TRANSPOSE、GATHER、MATMUL、RESIZE BILINEAR和ARGMAX等运算，Ethos-U85涵盖了对Transformer模型和DeeplabV3语义分割网络的原生硬件支持。

Ethos-U85也支持元素级算子链化。通过链化将元素级运算与先前的运算相结合，使SRAM不必先写入再读取中间张量。由此可凭借NPU和内存之间数据传输量的减少，提高NPU的效率。相比于Ethos-U65，链化是Ethos-U85在效率提升上的新功能之一，其余还包括快速的权重编码器、优化的MAC阵列能效，以及提升的元素效率。

Ethos-U85可用于与Ethos-U55和Ethos-U65相同的系统配置流程，并且我们支持从基于Cortex-A的系统直接驱动Ethos-U85的功能。

Ethos-U85支持与上一代Ethos-U系列产品相同的软件工具链,即使用TFLmicro运行时。此外，在这个基础上，Ethos-U85同时还能为更广泛采用Transformer架构的用例提供支持，这对于已经投入在基于Cortex-A/Cortex-M与Ethos-U55/Ethos-U65的系统厂商来说，将能扩大其过往的投资价值。未来，我们预计将支持面向边缘设备的PyTorch运行时ExecuTorch。

Ethos-U85支持的算子将在NPU上进行加速，对于特殊算子不支持的情况，其中部分算子将调用CMSIS-NN库实现在Cortex-M系统上进行加速。例如，在tinyLlama的用例中，该模型算子可完全映射到Ethos-U85，没有算子回退到CPU。

Ethos-U85担任了Arm全新物联网参考设计平台Corstone-320的核心角色，该参考设计平台加快了各类AIoT解决方案中高性能SoC的开发和部署。

释放边缘AI的无限潜力

Ethos-U85将提供在边缘侧和端侧设备上执行领先AI功能所需的算力。随着AI时代的不断发展，我们的合作伙伴将获得基于Arm Ethos-U的可靠、高效兼具高性能的解决方案。我们预计在新兴的边缘AI用例、智能家居、零售或工业场景中看到Ethos-U85被广泛部署，这些用例和场景需要更高的计算性能，并支持新型的AI框架。

Arm引以为傲的是，我们不断通过前沿的软硬件解决方案，为合作伙伴与生态系统提供强而有力的支持。全新Ethos-U85的推出将释放边缘侧和端侧AI推理用例的无限潜能，从而改变世界。Arm正在引领边缘AI的创新提升至全新水平，并持续夯实Arm成为未来边缘AI的基石。

关键词：ArmEthos-U85物联网AI