Edge AI
Edge AI（邊緣人工智慧）的生態系正經歷從「單純的電腦視覺與語音辨識」向「本地端小型語言模型（SLM）與代理工作流（Agentic Workflows）」的典範轉移。 為了將這些複雜的生態系結構化，我們將從硬體平台與軟體生態系兩個維度來拆解，並針對 ARM、Qualcomm 與 Raspberry Pi 進行深入對比。
Edge AI 硬體生態系與方案對比
在評估 Edge AI 硬體時，核心指標通常是 TOPS (Tera Operations Per Second)、功耗 (Watt) 以及開發板的整合度。
1. 核心重點廠商解析 (ARM / Qualcomm / Raspberry Pi)
| 平台品牌 | 主要 Edge AI 方案 | 硬體架構特色 | 適用場景與優勢 |
|---|---|---|---|
| ARM | Cortex-M/A 處理器, Ethos NPU 系列 | IP 授權模式。ARM 本身不賣晶片，而是提供底層架構。Ethos NPU 專為邊緣設備的低功耗推論設計。 | 極低功耗 IoT 設備。優勢在於無所不在，幾乎所有 Edge 設備（包含高通與樹莓派）底層都有 ARM 的影子。 |
| Qualcomm | Snapdragon 平台, Robotics RB3/RB5/RB6, QCS 系列晶片 | 強大的異質運算 (CPU + Adreno GPU + Hexagon NPU)。將手機端的高效能 AI 算力下放到邊緣運算與機器人領域。 | 高效能終端、自主移動機器人 (AMR)、智慧零售 KIOSK。強項是極高的每瓦效能 (Performance-per-watt) 與強大的通訊 (5G/Wi-Fi) 整合能力。 |
| Raspberry Pi | Raspberry Pi 5 + AI Kit (搭載 Hailo-8L NPU) | 以往 Pi 只能靠 CPU 硬算，但 Pi 5 推出官方 AI Kit，透過 PCIe 介面外掛 Hailo-8L 晶片，提供高達 13 TOPS 的算力。 | 工業自動化原型、中小企業 (SME) 快速導入方案。最大的優勢是龐大的開源社群、極低的硬體成本，且無縫整合標準的 Linux 開發環境。 |
2. 其他不可忽視的業界標竿
- NVIDIA Jetson 系列 (Orin Nano / AGX Orin)： 邊緣運算的效能怪獸。若專案依賴龐大的 CUDA 生態系，或是需要在邊緣端直接運行具備一定規模的開源語言模型搭配 RAG 架構，NVIDIA 仍然是最直接的選擇，但成本與功耗相對較高。
- Google Coral (Edge TPU)： 專注於 TensorFlow Lite 的加速，體積小巧，適合基礎的視覺或感測器推論，但生態系近年更新較慢。
▎Edge AI 軟體生態系
硬體只是載體，Edge AI 的成敗往往取決於軟體工具鏈的成熟度。對於講求落地效率與產品化（例如為中小企業或醫療場域打造即插即用的 AI 工具）的架構而言，軟體棧通常分為三個層次：
1. 邊緣推論框架 (Inference Frameworks)
這些框架負責將訓練好的大模型「壓縮」並在資源受限的設備上執行：
- TensorFlow Lite / PyTorch Mobile： 最傳統且泛用的輕量化框架，適合部署成熟的影像與數值預測模型。
- ONNX Runtime： 微軟主導的跨平台推論引擎，支援度極廣。這是在不同硬體（如 CPU 轉 NPU）間遷移模型時的最佳標準格式。
2. 硬體專屬編譯與最佳化工具 (Hardware-Specific Optimizers)
為了榨出 NPU 的算力，必須依賴原廠提供的編譯工具：
- Qualcomm AI Hub： 高通近年推出的殺手級工具，提供大量預先最佳化好的模型（包含各種 SLM 與視覺模型），只需幾行程式碼就能直接部署到 Snapdragon 設備上。
- ARM NN / ARM Compute Library： 專為 ARM 架構最佳化的開源機器學習軟體，能橋接 TensorFlow/PyTorch 與底層的 Cortex CPU 或 Mali GPU。
- Hailo Software Suite： 搭配 Raspberry Pi AI Kit 使用，負責將標準模型編譯成 Hailo NPU 能夠理解並加速執行的格式。
3. 生成式 AI 與大型語言模型 (GenAI / LLM at the Edge)
若要在無網路連線或具有高度隱私要求的場域（如醫院）實現本地端的對話或檢索增強生成（RAG），目前的邊緣軟體主流是：
- llama.cpp： 透過 C/C++ 重寫，極致優化記憶體與 CPU 運算，是目前在 Mac、Raspberry Pi 5 等設備上跑本地語言模型的首選。
- Ollama / MLC LLM： 將複雜的模型量化與部署過程打包成簡單的命令列或 API 服務。在 Edge 設備上啟動後，即可做為本地端 AI Agent 的大腦。
總結來說
- 若需要最低成本的概念驗證與開源社群支援：選擇 Raspberry Pi 5 + AI Kit。
- 若需要整合通訊、螢幕互動且講求商用級的每瓦效能：選擇 Qualcomm 方案。
- 若需要在邊緣端處理大量複雜的平行運算與成熟的 Agentic 開發庫：目前仍需依賴 NVIDIA Jetson。