Raspberry Pi 5 AI キットを使用する場合
Raspberry Pi 5 AI キットは、YOLOv8 オブジェクト検出で 82.4 FPS を実現し、消費電力はわずか 9.7 W-ですが、これはカメラ パイプラインを通じてビジョン モデルを実行している場合に限ります。その特異性は、ボックスに記載されている 13 TOPS という印象的な数字よりも重要です。
私は何十人もの開発者が ChatGPT アクセラレーションを期待してこの 70 ドルのキットを購入するのを見てきましたが、言語モデルには触れられないことがわかりました。混乱は当然です。「AI キット」という言葉は普遍的に聞こえます。実際のところ、Hailo-8L プロセッサは、ウェブカメラや IP カメラ、特に Raspberry Pi カメラ モジュールではなく、カメラ モジュールによってキャプチャされたフィードを含む機械学習タスクとのみ互換性があります。-
これは制限ではありません。それは専門化です。エッジでのコンピューター ビジョン推論には、LLM 推論とは根本的に異なるアーキテクチャが必要です。 Hailo-8L のデータフロー アーキテクチャは、前者に関しては優れていますが、後者に関しては完全に間違っています。
実際のパフォーマンスのギャップ: 実際に重要な数値
TOPS マーケティングをスキップします。 Raspberry Pi 5 の CPU は、100% の CPU 使用率で 0.45 FPS で YOLOv8 オブジェクト検出を実行します。 AI キットを追加すると、15-30% の CPU で 82.4 FPS に達します。これは 2 倍の改善ではなく、183 倍の乗数です。
しかし、状況によってこれらの数字は劇的に変化します。バッチ サイズ 8 の PCIe Gen 3 速度では、同じ YOLOv8s モデルは 120 FPS に達します。 Gen 2 に下げると 40 FPS になります。バッチ サイズを 32 に増やすと、パフォーマンスが 54 FPS に低下します。
PCIe のボトルネックは現実のものです。単一の第 3 世代レーンは、ほとんどのビジョン タスクに十分な 8 Gbit/s を提供しますが、上限は限られています。{3}モジュール-ベースのセットアップでは、CPU と高速メモリ チャネルを共有する SoC に統合された NPU とは異なり、すべてのメモリ アクセスが PCIe インターフェースを通過する必要があります。{6}}
参考: ポーズ推定は 66.1 FPS で実行され、システム総消費電力は 9.7 W です。これは、CPU のみの推論よりも 200 倍高速であり、消費電力も少なくなります。{4}}計算により、バッテリー駆動の導入が可能かどうかがチェックされます。{6}
競合ハードウェア: 70 ドルのディシジョン ツリー
Google の Coral TPU は、6 年前のチップ設計で 2 TOPS/W の効率で 4 TOPS を実現します。- Hailo-8L は 3 ～ 4 TOPS/W で 13 TOPS を実現します。理論上はハイロが勝ちます。
しかし、Coral には TensorFlow Lite との統合があり、それが「うまく機能する」のです。 Coral の USB アクセラレータは標準 USB 経由で接続し、既存のシステムと簡単に統合でき、約 2 ワットの消費電力で MobileNet v2 などの中程度のモデルをサポートします。 PCIe 構成は必要ありません。
Hailo-8 (26 TOPS) は存在しますが、価格は 150 ～ 200 ドルです。その価格帯では、より柔軟性を提供するソリューションと比較することになります。ユースケースが合えば、70 ドルの 8L が最適です。
Pineboards は、Hailo-8L と NVMe ストレージを組み合わせたデュアル M.2 HAT、または既存の Coral プロジェクトで開発を継続するための Coral Edge 構成といった代替案を提供します。これらは、公式キットの「アクセラレータまたはストレージのいずれか」という制限を解決します。
使用例 #1: リアルタイムのセキュリティとモニタリング-
防犯カメラは容赦ないデータ ストリームを生成します。 AI キットは、フレームをドロップすることなく、人、車、荷物を検出する 1080p セキュリティ映像を処理します。この 13 倍のパフォーマンス向上により、セキュリティ カメラは実際に実用的なものになります。
Jeff Geerling 氏のプロジェクトでは、PCIe スイッチを介して Hailo -8L、Hailo-8、Coral TPU を接続することで、複数の Hailo NPU を組み合わせ、合計 51 TOPS に達しました。{0}{6}過剰ですか？はい。ただし、マルチカメラのシナリオを大規模に実証します。
実際の展開は異なるように見えます。料金所監視システムでは、Edge Impulse コンピューター ビジョンとカメラ モジュール ワイドを使用して、複数の車線にわたる車両を同時に検出してカウントしました。ワイドレンズはより広い範囲を捉えました。 AI キットは処理ヘッドルームを提供しました。
ここではフリゲート NVR の統合が重要です。 Hailo はバージョン 0.16.0 以降、Frigate フレームワークに正式に統合されており、既存の監視設備における老朽化した Coral セットアップのドロップイン代替品となっています。-
重要な制限事項: Hailo ソフトウェア パッケージとデバイス ドライバーのバージョンが一致しない場合、AI キットと AI HAT+ は機能しません。本番環境のデプロイメントにはバージョン ロック戦略が必要です。-
使用例 #2: 産業用プロセス制御
建設安全システムは、建設車両の前、横、後ろにいる人間を検出できます。 AI- 駆動のカメラが複数の人間の監視員に代わって、作業者の位置をリアルタイムで追跡します。
利点は並列処理です。人間は自然に順番に集中しながら、AI は複数の危険ゾーンを同時に処理します。アラート生成の応答時間は、完璧な精度よりも重要です。
製造品質管理も同様のロジックに従います。アセンブリの正確さをチェックする生産ラインのカメラには、ピークのパフォーマンスではなく、一貫したフレーム レートが必要です。 AI キットは、物体検出で 82.4 FPS を維持します。-これは、制御システム用の CPU 容量を確保しながら、ほとんどの製造ライン速度に十分です。
コンパクトなサイズなので、既存の生産ラインのポイントに統合できます。このシステムは、インフラストラクチャを再設計するのではなく、カメラを追加することで拡張します。
しかし、産業への展開にはさらに多くのことが求められます。 SD カードは、書き込み耐久性が限られており、電力が不安定な状態では信頼性が低いため、本番デバイスでは使用しないでください。工業用グレードの eMMC またはハードドライブが必要です。
ユースケース #3: ロボット工学と自律システム
自律型水中ロボットのプロトタイプは、カスタム データセットでトレーニングされた YOLOv8 モデルによる物体検出に AI キットを使用し、I2C インターフェイス上の PCA9685 PWM ドライバーを介して制御される BLDC モーターと連携しました。
課題は、Hailo SDK を既存の OpenCV パイプラインと統合することです。 PC GPU での 8 行の PyTorch+Ultralytics 実装に慣れている開発者は、Hailo のツールチェーンを使用する場合、より急な学習曲線に直面します。モデル変換は自動ではありません。
ナビゲーション アルゴリズムは CPU サイクルを消費します。マリオの手検出システムは 3 つのモデルを同時に実行し、-手検出とランドマーク-を片手検出で 26～28 FPS、両手検出で 22～25 FPS を維持しました。この処理予算により、経路計画とモーター制御のための余地が残ります。
スマート配達ロボットは、CPU がナビゲーション ロジック、通信、デシジョン ツリーを処理しながら、継続的なビジョン処理を行うという適合性を例示します。 3 ～ 4 TOPS/W の効率により、モバイル環境でのバッテリ寿命が大幅に延長されます。
ユースケース #4: 小売および顧客分析
小売店スーパーマーケットの管理デモでは、AI キットで YOLOv8n を実行して棚にある商品を検出し、一方、EfficientNet は分類のために CPU で実行されました。分業: NPU が検出 (製品はどこにあるのか?) を処理し、CPU が分類 (どの製品があるのか) を処理します。
姿勢推定による顧客行動分析の追加. 66.1 FPS 姿勢推定パフォーマンスにより、個人を特定せずに店舗ゾーン内の顧客の動きの追跡、滞在時間の分析、行列の検出が可能になります。
ここではプライバシーが重要です。 - デバイス上で処理されるため、動画がその場所から離れることはありません。一般的な「人」検出でトレーニングされたモデルは、生体認証データを保存せず、-空間メタデータのみを保存します。
「Peeper Pam」プロジェクトは、フレーム内の椅子、テーブル、植物を無視して、机に座っているあなたの後ろの人々を検出しました。アナログ メーターに表示される検出信頼度: 「人がいない」場合は 0、「特定の人がいる」場合は 1、その間に不確実性があります。
同じロジックが、「人がいるかどうか」を確認する必要がある場所であればどこでも、占有監視、キュー管理、スペース利用率に適用されます。{0} 「誰だ？」なんて気にせずに
使用例 #5: カスタム モデルのデプロイメント (注意事項あり)
Hailo Dataflow Compiler は、量子化対応トレーニングを使用してモデルを標準の ML フレームワークから Hailo 実行可能形式に変換し、精度を維持しながらモデルを縮小します。{0}
ワークフロー: PyTorch または TensorFlow でトレーニングし、ONNX にエクスポートし、DFC を使用して HEF (Hailo 実行可能形式) に変換し、Pi にデプロイします。 YOLOv8n モデルを使用した完全なトレーニングからデプロイまでのパイプラインに関するチュートリアルが存在します。-
ただし、モデルの互換性は普遍的なものではありません。 Hailo 用にコンパイルされたモデルは、チップ アーキテクチャに合わせて最適化されています。-つまり、一部の操作はマップされません。モデル動物園では、コンパイル済みのサンプルが提供されています。-カスタム アーキテクチャにはテストが必要です。
Hailo Python API では、Python を使用して Hailo-8L で推論を実行できるようになり、スタンドアロン スクリプトと picamera2 との統合の両方でサンプルが利用可能になりました。これにより、以前の GStreamer のみのワークフローと比較して障壁が低くなります。
Edge Impulse は別の道を提供します。彼らのプラットフォームはモデル トレーニングと Hailo 変換パイプラインを処理し、すぐにデプロイできるモデルを出力します。-- ML の専門知識を持たないチームにとって、この管理されたアプローチにより試行錯誤が軽減されます。--
AI キットを使用しない場合
大規模な言語モデル:Hailo-8L プロセッサは LLM を実行できません。カメラ モジュール フィードを含む機械学習タスクとのみ互換性があります。いくら最適化を行っても、このアーキテクチャ上の制限は変わりません。
Pi 5 で LLM を実行するには、7B パラメータの下でモデルを使用した CPU 推論が必要です。 Gemma2-2B は 3GB RAM を使用してまともなパフォーマンスを達成しました。 DeepSeek-r1:8b の実行が遅くなりました。 AI キットはこれを加速しません。
生成型 AI:テキスト生成、画像合成、音声生成-これらのワークフローは、Hailo-8L のデータフロー アーキテクチャにマッピングされません。 40 TOPS と 8GB DDR4 RAM を搭載した将来の Hailo 10H は生成 AI ワークロードをターゲットとしていますが、Pi 5 ではまだ利用できません。
-カメラビジョン以外のタスク:ファイルからの静止画像の処理は機能しますが、AI キットはウェブカメラや IP カメラではなく、Raspberry Pi カメラ モジュールでのみ機能します。{0}サードパーティのカメラとの互換性には、libcamera のサポートが必要です。-
ストレージの必要性:公式キットの M.2 スロットは Hailo モジュールによって占有されており、NVMe SSD の接続を妨げています。 AI アクセラレーションと高速ストレージの両方が必要な場合は、サードパーティのデュアル M.2 HAT が必要です。-
厳格な統合要件:2025 年 3 月の時点で、rpicam-apps は、Hailo アクセラレータと深く統合された Raspberry Pi のソフトウェア スタックの唯一の部分です。 picamera2 経由で Python スクリプトからプログラム的にアクセスできるようになりました。早期の導入では API の柔軟性が制限されることを意味しました。
意思決定の枠組み
次の 5 つの質問をしてください。
1. AI タスクのビジョンは-に基づいていますか?
はい、カメラモジュール付き→AIキットは実行可能です
いいえ、またはファイルベースの処理 → 再考します
テキスト/音声処理 → 間違ったツール
2. パフォーマンスの目標は何ですか?
30+ FPS リアルタイム- → AI キットが必要
5 ～ 10 FPS は許容可能 → CPU で十分かもしれない
<1 FPS tolerable → don't spend $70
3. カスタム モデルが必要ですか?
はい、DFC を学ぶ意欲がある → 管理可能
はい、ただし ML の専門知識はありません → Edge Impulse ルート
いいえ、事前トレーニング済みのみを使用します。- → 理想的なシナリオ
4. 導入規模はどれくらいですか?
1 ～ 10 台のプロトタイピング → 完璧なフィット感
100+ 台の生産 → 供給、熱、信頼性を考慮
産業用/商業用 → 小売用ボードではなく産業用 Pi バリアントが必要
5. 制約を受け入れることができますか?
カメラモジュールの要件
バージョン依存関係の管理
デュアル M.2 HAT なしでは NVMe ブートなし
動作温度0～50度
PCIe帯域幅の上限
質問 1、2、5 に好意的に答え、3 と 4 の戦略を持っている場合、AI キットは 70 ドルで非常に価値のあるものになります。
リアリティチェックのセットアップ
ハードウェアの取り付けには数分かかります。冷却システムを取り付け、スタンドオフを取り付け、GPIO ヘッダーを押し、リボン ケーブルを PCIe ポートに接続し、AI キットをネジで固定します。
ソフトウェア設定にはさらに注意が必要です。
sudo apt update と sudo apt full-upgrade sudo rpi-eeprom-update sudo raspi-config # 詳細オプションで PCIe Gen 3 を有効にする sudo apt install hailo-all sudo reboot hailortcli fw-controlidentify # インストールを確認する
Hailo ソフトウェア パッケージとデバイス ドライバー間のバージョンの不一致により、完全なシステム障害が発生します。導入する前に徹底的にテストしてください。
最高のパフォーマンスを得るには、Raspberry Pi Active Cooler とともに AI キットを使用することをお勧めします。冷却しないと、AI キットの使用時にベース RPi5 ボードが過熱します。
温度管理はオプションではありません。{0}パフォーマンスを維持するには必須です。
70 ドルの価値の計算
得られるもの:
13 TOPS 神経推論
CPU のみと比較して 180 倍以上のパフォーマンス-
3-4 TOPS/W 効率
統合された rpicam- アプリのサポート
あらかじめ取り付けられたサーマルパッド-
すべての取り付け金具
得られないもの:
LLM の加速
汎用 AI コンピューティング
プラグ{0}}アンド-のシンプルさ
ストレージの拡張
ユニバーサルカメラ互換性
70 ドルで、エッジ AI に足を踏み入れるのに、これより手頃な方法を見つけるのは困難です。価格はCoral TPUバンドルを下回り、TOPSの3倍以上を実現します。
しかし、その価値は完全にユースケースの調整に依存します。エッジでの視覚推論に関しては、これは例外的です。それ以外のことについては、関係ありません。
よくある質問
AI キットは Raspberry Pi 4 以前のモデルでも使用できますか?
いいえ。AI キットにはネイティブ PCIe サポートが必要なため、Raspberry Pi 5 が必要です。以前のモデルには PCIe インターフェイスが完全にありません。これを変更する回避策やアダプターはありません。
AI キットは、OpenCV を使用して Python で書かれたオブジェクト検出コードを高速化しますか?
部分的に。 Hailo Python API を使用すると、Python を使用して Hailo-8L で推論を実行できますが、モデルを HEF 形式に変換し、標準の OpenCV 推論呼び出しの代わりに Hailo API を使用するようにコードを変更する必要があります。これは、透明なドロップイン代替品ではありません。
バッチサイズはパフォーマンスにどのように影響しますか?
640x640 解像度の YOLOv8s の場合: バッチ サイズ 2 は 80 FPS に達し、バッチ サイズ 4 は 100 FPS に達し、バッチ サイズ 8 は 120 FPS でピークに達します。それを超えると、パフォーマンスが低下します。PCIe 帯域幅の飽和により、バッチ 16 は 100 FPS に低下し、バッチ 32 は 54 FPS に低下します。
NVMe から起動し、AI キットを同時に使用できますか?
公式キット単体では使えません。 M.2 スロットは Hailo モジュールによって占有されています。 Pineboard および同様のベンダーは、NVMe と AI アクセラレータ スロットの両方を提供するデュアル M.2 HAT を提供しており、追加コストでこの制限を解決します。
Google Coral のサポートは廃止されましたか?
公式には非推奨ではありませんが、Coral のソフトウェア スタックは積極的にメンテナンスされておらず、PyCoral には Python 3.9 が必要です。 Googleは、パンデミック中の供給問題を受けて、Coralプロジェクトから生命維持装置を離脱したようだ。既存の Coral ハードウェアは引き続き動作しますが、将来のサポートは不明です。
実際にどのような冷却が必要ですか?
Raspberry Pi では、最高のパフォーマンスを得るために、AI キットとアクティブ クーラーを使用することをお勧めします。断続的な使用にはパッシブ ヒートシンクで十分ですが、継続的な推論ワークロードはアクティブな冷却がないとスロットルになります。 AI キットと合わせて 5 ドルのアクティブ クーラーを予算に入れましょう。
複数のカメラ ストリームを同時に実行できますか?
はい。 1 台のカメラで複数のニューラル ネットワークを実行することも、2 台のカメラで 1 つまたは複数のニューラル ネットワークを同時に実行することもできます。パフォーマンスは、モデルの複雑さと PCIe 帯域幅の可用性に基づいて調整されます。
正直な結論
Raspberry Pi 5 AI キットは、その分野で優れた専門ツールです。カメラモジュールによる視覚推論の場合、Pi 5 は「技術的に能力のある」ものから、生産アプリケーション向けの「実際に実用的な」ものに変わります。
これは汎用の AI アクセラレータではありません。- ChatGPT は実行されません。画像は生成されません。音声合成には役に立ちません。これらの制約を受け入れることで、優れた価値が得られます。彼らと戦えば、70 ドルを無駄にすることになります。
決めるのは「AI キットが良いかどうか」ではなく、「AI キットがこの特定のアプリケーションに適しているかどうか」です。-それに正直に答えれば、買うかどうかがわかります。
重要なポイント
AI Kit は、YOLOv8 で 82.4 FPS を実現します。これに対し、CPU- のみ-ただし、カメラベースのビジョン タスクのみ-の場合は 0.45 FPS です。
LLM、生成 AI、または非カメラ ビジョン ワークフローとは互換性がありません。{0}
カメラモジュールを備えたRaspberry Pi 5が必要です。 Pi 4 またはウェブカメラでは動作しません
最適なパフォーマンスに必要な PCIe Gen 3 構成とアクティブ冷却
バージョン依存関係の管理は重要です。不一致により完全なシステム障害が発生する
最適な用途: セキュリティ カメラ、産業監視、ロボット工学、小売分析
次の場合は避けてください: 言語モデル、画像生成、音声処理、一般的な AI 実験
データソース
Raspberry Pi ドキュメント - AI キット ソフトウェア: https://www.raspberrypi.com/documentation/computers/ai.html
magazin Mehatronika - Raspberry Pi AI キットのレビュー: https://magazinmehatronika.com/en/raspberry-pi-ai-kit-review/
RPi5 と CM4 の Studio - ベンチマークを参照: https://forums.raspberrypi.com/viewtopic.php?t=373867
Jeff Geerling - Raspberry Pi の AI キットのテスト: https://www.jeffgeerling.com/blog/2024/testing-raspberry-pis-ai-kit-13-tops-70
XDA 開発者 - Raspberry Pi AI キットのハンズオン-: https://www.xda-developers.com/raspberry-pi-ai-kit-hands-on/
Raspberry Pi フォーラム - AI キットのディスカッション: https://forums.raspberrypi.com/
Hailo コミュニティ フォーラム: https://community.hailo.ai/
GitHub - hailo-ai/hailo-rpi5- 例: https://github.com/hailo-ai/hailo-rpi5-examples