ModalAI VOXL 2 可同時運行五組神經網路：TensorFlow Lite 加持的無人機視覺處理實力解析

VOXL 2 Sentinel 開發無人機：六組影像感測器的全方位感知

如同白金漢宮前的衛兵，ModalAI 推出的 VOXL 2 Sentinel 開發用無人機具備前所未有的感知能力。該機搭載六組嵌入式影像感測器，為使用者提供最大化的監控火力。Sentinel 以 VOXL 2 為核心驅動，能透過 TensorFlow Lite 同時運行五組神經網路。TensorFlow Lite 是一套嵌入式開源程式，讓開發者能夠在邊緣裝置上執行預訓練的機器學習或電腦視覺模型。

VOXL 2 釋放專用神經處理單元的電腦視覺潛力

憑藉 Qualcomm QRB5165 晶片內建的低功耗神經處理單元（NPU）以及 ModalAI 的 voxl-tflite-server 服務，VOXL 2 可開箱即同時運行五組不同的神經網路，每秒達 30 幀。有別於僅依賴中央處理器（CPU）來跑神經網路的做法，VOXL 2 利用內建的 TensorFlow Lite NNAPI 解鎖專用 NPU 與圖形處理器（GPU）上的平行網路運算，以 30Hz 頻率處理神經網路資料，同時釋放 CPU 資源。這讓 VOXL 2 強大的 CPU 算力得以專注處理自主機器人軟體堆疊的其他任務。

開箱即用的五組 TensorFlow Lite 電腦視覺模型

VOXL 2 隨附的 VOXL SDK 針對進階電腦視覺進行了最佳化。為加速產品上市時程，voxl-tflite-server 預先搭載五組預訓練神經網路，開發者可直接透過 TensorFlow Lite 使用。隨著基於影像的深度學習應用場景不斷增長，開發者只需將高解析度 4K30 imx214 或 imx412 鏡頭接上 VOXL 2，即可啟用以下五種電腦視覺模型：

1. 物件偵測（Object Detection）

辨識機器人視野中的已知物件。物件偵測使用定位與分類資料，對物件進行類別標記與位置描述。ModalAI 提供的模型針對機載推論進行最佳化，採用 SSD（單次偵測器）或 YOLO（只看一次）架構來實現極低延遲。這項功能對於無人機而言極為實用，可實現場景的智慧監控，並根據任務提供關鍵資訊。物件偵測可用於從空中尋找和追蹤目標、輔助自主飛行或探索，甚至應用於倉儲/資產巡檢等特定場景。

2. 影像分類（Image Classification）

辨別機器人視野中最顯著的物件。影像分類用於對影像中最重要的特徵進行分類，能以比物件偵測更快的速度提供類似資訊。當物件在影像中的位置並非重要考量時，分類模型可帶來極高效率。VOXL 2 預載的影像分類模型涵蓋超過 1,000 個已知類別。

3. 深度估計（Depth Estimation）

從單目影像建構深度圖。VOXL 2 能從其高解析度 4K30 影像感測器推算與視野中特定物件之間的距離。單目深度估計透過輸入單張 RGB 影像來預測像素的深度值。深度估計是自主無人機與地面機器人至關重要的電腦視覺功能，使其能感知環境並安全自主地導航。

4. 姿態估計（Pose Estimation）

辨識人體目標的方向與位置。VOXL 2 能運用人體姿態估計功能，辨識人體臉部、軀幹、手臂與腿部的關鍵點，每個部位四個關鍵點。姿態估計讓開發者能即時追蹤一個或多個人的動作。此電腦視覺技術可應用於動畫製作的人體動作追蹤、AR/VR、運動或舞蹈技巧分析，以及安防監控強化等場景。

5. 影像分割（Image Segmentation）

理解機器人視野中物件的組成。影像分割將影像分成不同區段，為每個物件建立基於像素的遮罩。透過消除不包含相關資訊的區域（想像物件偵測中的方框），影像分割能精確辨識每個物件的形狀。無人機可利用影像分割精確穿越樹叢，而不會撞上樹枝。

VOXL 1 與 VOXL 2 的 TensorFlow Lite 效能對比

VOXL 2 解鎖了輕量且強大的運算能力。以下為 VOXL 2 與上一代 VOXL 1 在神經網路效能上的比較，專用 NPU 使 VOXL 2 能以極快速度處理影像，實現低延遲甚至無延遲的電腦視覺應用。

VOXL 1 效能數據（部分）：

模型	任務	CPU 推論	GPU 推論	最大 FPS
MobileNet V2-SSDlite	物件偵測	127.78ms	21.82ms	37.29 fps
MobileNet V1-SSD	物件偵測	75.48ms	64.40ms	14.62 fps
MobileNet V1-SSD 分類器	分類	56.70ms	56.85ms	16.47 fps

VOXL 2 效能數據：

模型	任務	CPU 推論	GPU 推論	NNAPI 推論	最大 FPS
MobileNetV2-SSDlite	物件偵測	33.89ms	24.68ms	34.42ms	34.87 fps
EfficientNet Lite4	分類	15.30ms	24.74ms	16.42ms	48.97 fps
FastDepth	單目深度估計	37.34ms	18.00ms	37.32ms	45.45 fps
DeepLab V3	影像分割	63.03ms	26.81ms	61.77ms	32.46 fps
Movenet SinglePose Lightning	姿態估計	24.58ms	28.49ms	24.61ms	34.99 fps
YoloV5	物件偵測	88.49ms	23.37ms	83.87ms	36.54 fps
MobileNetV1-SSD	物件偵測	19.56ms	21.35ms	7.72ms	85.32 fps
MobileNetV1	分類	19.66ms	6.28ms	3.98ms	125.31 fps

從數據可見，VOXL 2 的 MobileNetV1 分類器透過 NNAPI 推論僅需 3.98ms，最大幀率可達 125.31 fps；而 MobileNetV1-SSD 物件偵測在 NNAPI 上僅需 7.72ms，最大幀率高達 85.32 fps，較 VOXL 1 大幅提升。

視覺導航無人機應對關鍵任務

具備多組同時運行神經網路能力的自主無人機，能有效降低飛行員在關鍵任務飛行操作中的認知負荷。無人機能透過各種影像輸出處理的資料越多，自主導航就越強化、越安全。VOXL 2 開箱即支援透過 TensorFlow Lite 同時運行五組神經網路，為各類關鍵任務應用提供強大的視覺智能基礎。

---

原文來源： 查看原文