70美元为第五代树莓派添加AI套件

第五代树莓派（RPi 5）有个特点，那就是具备PCI Express（PCIe）2.0接口，不过树莓派基金会在设计RPi 5时希望维持电路板的娇小特点，没有使用一般计算机上已普遍使用的标准PCIe插槽，而是改用一个专属连接器，透过该连接器再行转接。

图一 :树莓派AI套件的硬件为一个PCIe对M.2界面的转接器及一张M.2接口的模块子卡（图片来源：树莓派官网）

70美元的AI套件
一般认为该PCIe接口会用来连接固态硬盘，毕竟RPi 5效能大幅提升，持续使用microSD记忆卡当硬盘实在委屈，不过既然是PCIe接口就有各种连接可能，而近期（英国时间6月4日）基金会就发表了一个70美元的人工智能（AI）套件，该套件附有一个转接器，将RPi 5特有PCIe连接器转成M.2界面，这称之为Raspberry Pi M.2 HAT+（注1），然后再与M.2接口的AI推论加速模块子卡连接，让RPi 5系统获得AI推论的硬件加速能力。

注1：Raspberry Pi M.2 HAT+也有单独出售，笔者查询了美国DigiKey约12美元，主要设想还是用来连接M.2接口固态硬盘。
AI套件的重点是在模块子卡，该子卡上有一颗以色列新创公司Hailo的AI推论硬件加速芯片Hailo-8L，实际上是该公司过去Hailo-8芯片的降规版，Hailo-8的推论效率约为26TOPS（8位整数精度而言），而Hailo-8L则降至13TOPS，芯片功耗也从2.5瓦降到1.5瓦。



图二 : 模块子卡上主要是一颗以色列Hailo公司的Hailo-8L推论加速芯片（图片来源：树莓派官网）

为何会有降规版芯片？对此笔者只能推测，有可能是客户反应有些AI推论应用不需要到26TOPS那么高的效能，如此何不推出一个更平价、更省电的版本给客户？或者可能芯片生产上有若干良率问题，若仅少部份电路坏损就让整颗芯片报废也有些可惜，在主功能无大碍下是可以改要求低规、低价版。
除了Hailo-8、Hailo-8L外，Hailo公司也有Hailo-8R芯片、针对AI视觉应用特别强化的Hailo-15芯片，甚至针对生成式AI应用而推出Hailo-10H芯片。
虽然是用以色列芯片，但这是基金会官方自己推行的AI硬件套件，并且标榜无论是不是使用基金会官方的摄影机AI套件都可以支持运作，一颗Hailo-8L芯片在一个摄影机下同时支持多个视觉影像模型的推论，或者是两个摄影机下同时支持一个模型或多个模型的推论。



图三 : 先搭装上转接器，而后在转接器上安装模块子卡（图片来源：树莓派官网）

除了硬件芯片外套件里另一个重点是软件，Hailo公司随Hailo-8L芯片提供丰富的预训练模型可供运用，一堆预训练模型的集合也称为模型动物园（Model Zoo）；同时基金会官方也针对摄影机应用提供rpicam-apps suite的软件套餐，里头有实时摄影机推论的后处理范本（post-processing template）可用；或者也有Hailo公司的TAPPAS的后处理函式库可用。有了这些只要再行撰写几百行C++程序代码就可以实现一个AI计算机视觉应用，而这些软件整合很快也会套用到树莓派官方的Picamera2上。
不仅是rpicam-apps或Picamera2，AI套件也能用在其他框架上，如GStreamer框架，或者供Python、C++撰写成的应用程序以API呼叫方式取用。另外上述这些软件的安装也很方便，使用Debian Linux常见的应用程序套件（package）安装方式即可，即是用apt下达命令行安装，安装完重新启动RPi 5便可使用。



图四 : Hailo公司针对其芯片提供完整的软件支持，如Hailo模型动物园、TAPPAS范例应用程序，另外也包含编译程序、运行时间的软件等（图片来源：Hailo官网）

小结
最后，不知道基金会是只推行一款硬件AI套件，还是未来会广泛推出不同芯片商的套件，毕竟现在Edge AI的推论芯片相当多厂商投入。但也可能怕创客眼花撩乱、选择无力，短期内只让创客用户熟悉一款软硬件，而集中心力推Hailo方案。
无论基金会态度如何，既然在官方已如此示范，估计会有许多协力商推出类似方案，一样透过M.2接口介接加速芯片，且让我们拭目以待。