自适应计算平台可提供高效 AI 加速

AI已经开始改变我们生活的方方面面，带动了显著的社会进步。从自动驾驶汽车到AI辅助医疗诊断，我们正处于一个真正的变革时代的开端。

但是，有机遇就会有挑战。AI推断作为采用经训练的机器学习算法开展预测的过程，无论是部署在云端、边缘还是终端，都要求在严格的功耗预算下提供优异的处理性能。普遍的看法认为，仅凭CPU难以满足这一要求，需要某种形式的计算加速才能更高效地处理AI推断工作负载。

与此同时，AI算法正在快速演进发展，且速度快于传统芯片开发周期的速度。如果使用ASIC等固定功能的芯片实现AI网络，则可能因先进AI模型的高速创新而迅速过时。

整体应用加速

此外还有第三个挑战，而这也是较少为人所知的一个，其出现的原因在于AI推断无法单独部署。真正的AI部署通常需要非AI处理，无论是在AI功能之前还是之后。例如，图像可能需要完成解压缩和缩放后才能符合AI模型的数据输入要求。这些传统的处理功能必须运行在与AI功能相同的吞吐量下，同样需要实现高性能与低功耗。与AI推断实现方案类似，非AI的预处理和后处理功能开始需要某种形式的加速。

要构建真实应用，就需要高效地实现整体应用。在数据中心应用中，应用可能拥有数千个乃至数百万个并行实例。如果每个实例都能降低一定程度的功耗，总功耗将实现显著下降。

只有当整体应用能够通过加速满足性能目标，同时又能通过提高效率满足功耗要求时，解决方案才具备可行性。那么，我们该如何通过可行方式实现整体应用加速呢？

这里有三个关键因素：能够构建定制数据路径；使用单器件实现方案；能够充分发挥最先进的AI模型的优势并随之实现快速演进发展和改善。下面分别具体介绍这三个环节。

能够构建定制数据路径

大多数形式的AI推断是在流数据上运行的。数据通常处于运动状态，如视频的一部分、正在处理的医疗影像或是正在分析的网络流量。即使将数据存储在磁盘上，也要从磁盘上读取数据，然后通过“AI应用”进行传输。定制数据路径为处理这类数据流提供了最高效的方法。定制数据路径让应用摆脱了传统的冯·诺依曼CPU架构的限制。在这种架构中，数据以小批量从存储器读出，经过处理再写回处理器。相反，定制数据路径将数据从一个处理引擎传递给下一个处理引擎，不仅时延低，而且性能水平合理。过低的处理性能无法满足这种应用的要求。过高的处理性能则会降低效率，因存在闲置功能而浪费功耗或物理空间。定制数据路径提供了绝佳平衡，为应用提供量身定制的实现方案。

单器件实现方案

一些解决方案非常适合AI推断，但并不适合整体应用处理。GPU等固定架构器件普遍不适合这类用途。GPU往往能提供很高的TOP（每秒太次运算，一种常见的性能指标），但是AI推断性能通常需要与预处理性能和后处理性能匹配。如果非AI组件不能高效地在同一个GPU上实现，就需要多器件解决方案。由于需要在器件间传递数据，会浪费功耗，因此从功耗的角度来看极为低效和高成本。因此，一个能够高效实现整体应用的单器件在实际AI推断部署中拥有显著优势。

灵活适应最新的AI模型并随之演进

AI的创新速度令人惊叹。如今被视为先进的技术，很容易在半年后就宣告过时。使用较老模型的应用有丧失竞争力的风险，所以，能够快速实现最先进的模型就极为关键。

那么，什么样的技术既允许AI模型动态更新，又能提供构建定制数据路径的能力，从而在单个器件中加速AI和非AI处理呢？答案是——自适应计算平台。

自适应计算平台

自适应计算平台构建在能在制造后动态重配置的硬件上。这包括FPGA等经过长期检验的技术，以及赛灵思AI引擎等最近的创新。赛灵思Versal™自适应计算加速平台等单器件平台便于构建定制数据路径，为AI处理和非AI处理功能提速。此外，因为硬件可以快速重配置，所以它们也能快速高效地实现最新AI模型。自适应计算器件结合了两方面的优势。它们既具备定制ASIC的效率优势，又避免了漫长高成本的设计周期。

赛灵思Versal AI Core系列VC1902

最优秀的AI应用实现方案未必是速度最快的。它需要的是在效率最高的同时保持灵活性。它必须是量身定制的，能够按需交付性能，不多不少。

总结

随着AI推断的应用日益普及，问题不仅在于如何部署AI模型，也在于如何最高效地部署整体AI应用。在应用被复制数千次乃至数百万次时，每个实例的少许节能也许能省下整个发电站所需的能源。如果将这种节省扩展到正在开发的不计其数的新AI应用中，效果将十分明显。毫无疑问，整体AI应用的高效加速应成为技术行业所有从业者的目标，而自适应计算平台提供了极富竞争力的解决方案。