加速 AI 推断的三个关键因素

作者：Greg Martin

赛灵思公司战略市场营销总监

AI 已经开始改变我们生活的方方面面，推动了显著的社会进步。从自动驾驶汽车到 AI 辅助医疗诊断，我们正处于一个真正的变革时代的开端。

但是，有机遇就会有挑战。AI 推断作为采用经训练的机器学习算法开展预测的过程，无论是部署在云端、边缘还是终端，都要求在严格的功耗预算下提供优异的处理性能。普遍的看法认为，仅凭 CPU 难以满足这一要求，需要某种形式的计算加速才能更高效地处理 AI 推断工作负载。

与此同时，AI 算法正在快速演进发展，且速度快于传统芯片开发周期的速度。如果使用 ASIC 等固定功能的芯片实现 AI 网络，则可能因先进 AI 模型的高速创新而迅速过时。

此外还有第三个挑战，而这也是较少为人所知的一个，其出现的原因在于 AI 推断无法单独部署。真正的 AI 部署通常需要非 AI 处理，无论是在 AI 功能之前还是之后。例如，图像可能需要完成解压缩和缩放后才能符合 AI 模型的数据输入要求。这些传统的处理功能必须运行在与 AI 功能相同的吞吐量下，同样需要实现高性能与低功耗。与 AI 推断实现方案类似，非 AI 的预处理和后处理功能开始需要某种形式的加速。

要构建真实应用，就需要高效地实现整体应用。在数据中心应用中，应用可能拥有数千个乃至数百万个并行实例。如果每个实例都能降低一定程度的功耗，总功耗将实现显著下降。

只有当整体应用能够通过加速满足性能目标，同时又能通过提高效率满足功耗要求时，解决方案才具备可行性。那么，我们该如何通过可行方式实现整体应用加速呢？

这里有三个关键因素：

◀ 能够构建定制数据路径；

◀ 使用单器件实现方案；

◀ 能够充分发挥最先进的 AI 模型的优势并随之实现快速演进发展和改善。

下面分别具体介绍这三个环节。

1、能够构建定制数据路径

大多数形式的 AI 推断是在流数据上运行的。数据通常处于运动状态，如视频的一部分、正在处理的医疗影像或是正在分析的网络流量。

即使将数据存储在磁盘上，也要从磁盘上读取数据，然后通过“AI 应用”进行传输。定制数据路径为处理这类数据流提供了最高效的方法。

定制数据路径让应用摆脱了传统的冯·诺依曼 CPU 架构的限制。在这种架构中，数据以小批量从存储器读出，经过处理再写回处理器。相反，定制数据路径将数据从一个处理引擎传递给下一个处理引擎，不仅时延低，而且性能水平合理。过低的处理性能无法满足这种应用的要求。过高的处理性能则会降低效率，因存在闲置功能而浪费功耗或物理空间。定制数据路径提供了绝佳平衡，为应用提供量身定制的实现方案。

2、单器件实现方案

一些解决方案非常适合 AI 推断，但并不适合整体应用处理。GPU 等固定架构器件普遍不适合这类用途。GPU 往往能提供很高的 TOP（每秒太次运算，一种常见的性能指标），但是 AI 推断性能通常需要与预处理性能和后处理性能匹配。如果非 AI 组件不能高效地在同一个 GPU 上实现，就需要多器件解决方案。由于需要在器件间传递数据，会浪费功耗，因此从功耗的角度来看极为低效和高成本。因此，一个能够高效实现整体应用的单器件在实际 AI 推断部署中拥有显著优势。

3、灵活适应最新的 AI 模型并随之演进

AI 的创新速度令人惊叹。如今被视为先进的技术，很容易在半年后就宣告过时。使用较老模型的应用有丧失竞争力的风险，所以，能够快速实现最先进的模型就极为关键。

那么，什么样的技术既允许 AI 模型动态更新，又能提供构建定制数据路径的能力，从而在单个器件中加速 AI 和非 AI 处理呢？答案是——自适应计算平台。

自适应计算平台构建在能在制造后动态重配置的硬件上。这包括 FPGA 等经过长期检验的技术，以及赛灵思 AI 引擎等最近的创新。赛灵思 Versal™ 自适应计算加速平台等单器件平台便于构建定制数据路径，为 AI 处理和非 AI 处理功能提速。此外，因为硬件可以快速重配置，所以它们也能快速高效地实现最新 AI 模型。自适应计算器件结合了两方面的优势。它们既具备定制 ASIC 的效率优势，又避免了漫长高成本的设计周期。

赛灵思 Versal AI Core 系列 VC1902

最优秀的 AI 应用实现方案未必是速度最快的。它需要的是在效率最高的同时保持灵活性。它必须是量身定制的，能够按需交付性能，不多不少。

随着 AI 推断的应用日益普及，问题不仅在于如何部署 AI 模型，也在于如何最高效地部署整体 AI 应用。在应用被复制数千次乃至数百万次时，每个实例的少许节能也许能省下整个发电站所需的能源。如果将这种节省扩展到正在开发的不计其数的新 AI 应用中，效果将十分明显。毫无疑问，整体 AI 应用的高效加速应成为技术行业所有从业者的目标，而自适应计算平台提供了极富竞争力的解决方案。

声明：本文出自公众号【Xilinx赛灵思官微】，转载目的在于信息传递，版权归原作者所有，如涉及侵权，请联系删除。