BeaconFlow
コンピュータビジョンによる低遅延のグローバル遠隔ロボット操作
- カテゴリー
- ロボティクスと AI
- プラットフォーム
- Android
- 状況
- プロトタイプ
- バージョン
- v0.5.0-alpha
- リリース
- 2025
BeaconFlow について
世界規模の遠隔手術は 2001 年の「リンドバーグ作戦」で初めて科学的に実証され、技術的に可能であることが示されました [1]。BeaconFlow はハイブリッド構成によって、その発想をアプリから使えるものへと進めます。遠隔医療、支援技術(運動機能に制限のある人の自立)、産業(危険な環境での安全な作業)への可能性を開くプロジェクトです。
できること
- ローカルネットワークに依存せず、ロボットハードウェア(ESP32)を遠隔操作するモバイルアプリ
- カメラによるリアルタイムの動作模倣
- AI(TonyAI)による自律コマンド
- 効果的で安定した遠隔ロボット制御に欠かせない、模倣モードの低遅延 [2]
画面
どうつくったか
- ESP32
- OpenCV
- TensorFlow
- Kotlin
- MQTT
- Python
- テレメトリ遅延
- < 18ms
- 検出精度
- 90.1%
ハードウェア
ESP32 マイコンがコマンドを受け取り、ロボットアームのサーボを動かします。
通信
アプリと ESP32 のグローバル接続には MQTT プロトコルを使用。
アプリ(ビジョン、エッジ AI、AI コマンド)
アプリは Kotlin で開発。コンピュータビジョンモデル(エッジ AI)が端末上で動作模倣を処理し、遠隔操作とビジュアルサーボの要である遅延の課題に取り組みます [2]。最新の AI が自然言語のテキストコマンドをロボットの動作に変換します。



