樹莓派AI HAT+ 2擴充板開賣，8GB板載記憶體加速樹莓派5裝置端LLM

樹莓派（Raspberry Pi）官方公開發售AI HAT+ 2擴充板，鎖定樹莓派5的本地端AI推論需求，主打把生成式AI工作負載帶到裝置端執行。AI HAT+ 2採用Hailo-10H神經網路加速器，並加入8 GB板載專用記憶體，定價130美元，目前已開始供貨。

樹莓派約在一年前推出的AI HAT+以Hailo-8與Hailo-8L為核心，分別提供26 TOPS與13 TOPS等級的推論效能，主要加速電腦視覺模型，涵蓋物件偵測、姿態估計、場景分割等應用。不過，隨著生成式AI模型在開發者社群快速普及，上一代AI HAT+在生成式AI模型的支援能力上出現落差。

AI HAT+ 2的主要差異在於硬體架構與記憶體配置，官方指出，Hailo-10H可提供40 TOPS（INT4）的推論效能，並搭配8 GB板載專用記憶體，目標是讓加速器能更有效率地處理更大的模型。官方也將支援範圍指向大型語言模型、視覺語言模型等生成式AI應用，不再只限於鏡頭與影像導向的電腦視覺工作負載。

AI HAT+ 2標示的40 TOPS是在INT4條件下的推論效能，主要針對生成式AI工作負載。對於YOLO等以電腦視覺為主的模型，樹莓派表示AI HAT+ 2的整體電腦視覺表現，與前代26 TOPS版本大致相當，並提到板載專用記憶體有助於維持這類工作負載的表現。軟體整合上，新擴充板延續既有相機軟體堆疊的介接，包括libcamera、rpicam-apps與Picamera2，既有AI HAT+使用者搬遷到AI HAT+ 2多半可維持相近的使用方式。

官方在示範中採用Hailo提供的hailo-ollama作為大型語言模型後端，搭配Open WebUI在瀏覽器提供對話介面，展示在樹莓派5加上AI HAT+ 2的組合下，以本地端方式執行問答、程式開發輔助、翻譯，以及由相機畫面進行場景描述等情境。官方所列出支援的模型，多為10億到15億參數規模。

樹莓派也提醒，邊緣端可運行的模型規模受限於裝置端可用的記憶體與運算資源，定位與雲端超大規模模型不同。為了在特定情境提升可用性，AI HAT+ 2延續前代做法，支援以Hailo Dataflow Compiler資料流程編譯器重新訓練視覺模型，同時也支援語言模型的LoRA微調，也就是只調整少量參數的微調方法，讓開發者能針對特定任務製作適配器並在擴充板上執行。