Hands Coach

https://github.com/kainasubi1230/pocket-coach.git

TypeScript

React

Python

Node.js

PostgreSQL

ジャイロセンサを利用したスポーツトレーニングアプリ

anji

しゃちょー

すずつき

TT20

ozki

推しアイデア

前回の自分より上達するとコイン獲得!ガチャの衣装集め等で楽しく自主練を継続できる!

作った背景

高価な指導を受けられない人が、スマホだけで手軽に正しいフォームを学べるように開発。

推し技術

画像認識と内蔵ジャイロを組み合わせ、専用センサなしで体のブレを数値化する技術!

プロジェクト詳細

💪「Hands Coach」プロジェクト概要

一言キャッチコピー

スマホ1台で完結。カメラ映像と内蔵ジャイロセンサの「ダブル解析」で、誰もが手軽に正しいフォームを習得できる完全無料の自主練パートナー。

解決する課題

スポーツの上達において「正しいフォーム」の習得は不可欠ですが、間違ったフォームの継続はパフォーマンス低下や怪我のリスクを招きます。
しかし、部活動に励む学生(例:16歳高校生・日本太郎)が自主練習を行う際、専属の外部コーチを雇う経済的余裕はありません。また、趣味や健康目的で運動を行う社会人(例:38歳会社員・福岡武)にとっても、数万円する専用モーションセンサの購入や高額な解析アプリの月額課金は大きなハードルとなっています。
結果として、「一人きりの練習で正解が分からないまま手探りで続け、挫折してしまう」という課題が多くの現場で生じています。

本プロダクトによる解決

市販の高価な外部センサ機器を一切使わず、手持ちのスマートフォン内蔵の「ジャイロセンサ」と「カメラ映像」を組み合わせることで、完全無料で高精度なフォーム解析とスコア化を実現しました。
さらに、画面内のマスコットコーチによる的確なフィードバックや、上達に応じたコイン獲得・着せ替えガチャなどのゲーミフィケーションを導入。孤独で単調になりがちな自主練習を、自発的かつ楽しく継続できる環境を提供します。


🎯 テーマへのアプローチ

データ活用

  • 複眼的なセンシング: カメラ映像から得られる骨格情報(外見的なフォーム)と、スマートフォン内蔵ジャイロセンサから取得する3軸の角速度データ(体幹のブレや軸のブレ)という、異なる2系統のデータを統合して解析します。
  • ノイズ処理とスコア化: センサから得られる生の周波数データから手ブレなどの高周波成分をフィルタリングし、身体のブレ度合いを客観的な数値(得点)へ変換・蓄積します。

学びの楽しさ

  • 孤独な練習のゲーム化: 正しい動作の習得という「身体的な学び」を、専属マスコットコーチが伴走。
  • 即時フィードバックと報酬ループ: 前回のスコアを上回る成長を見せた際にコインが付与され、ガチャを通じてコーチの衣装をコレクションできる仕組みを構築。三日坊主を防ぎ、前向きにフォーム修正へ取り組める動機付けを行っています。

身近な人によい「アウトカム」を届けるサービス

  • コストゼロでの上達体験: 身近な部活仲間や一般アスリートへ向けて、高額な機材や有料プランに依存することなく、「怪我の予防」と「フォーム改善によるパフォーマンス向上」という確かな成果(アウトカム)を届けます。

📱 使い方・体験フロー

  1. 初期導入・ヒアリング
    • アプリ起動後、マスコットコーチが登場。利用規約の同意とあわせ、種目やレベルを選択。
  2. 測定準備(チルト検知)
    • 「持ってキープ!」画面の指示に従い、スマホを適切な角度で構える。
    • ジャイロセンサが適正な傾き(水平・チルト最大値)を検知すると「OK!」判定が表示され、測定スタンバイが完了。
  3. プレイ・測定
    • ポーズをとって測定を開始。カメラ映像とポケット等のスマホから角速度データをリアルタイム取得。
  4. 結果フィードバック
    • 総合スコアと、「後半に体幹が右へ傾いていた」等の具体的な改善ポイントをコーチが提示。
  5. 報酬・ガチャ
    • 成長度合いに応じてコインを獲得。ホーム画面からガチャ画面へ遷移し、手に入れた衣装でコーチを着せ替えて次回練習へのモチベーションを高める。

⚙️ システムについて

■ クライアント基盤

  • React Native / Expo (TypeScript) によるクロスプラットフォーム設計

■ マルチモーダルセンシング & エッジAI

  • 視覚情報(Vision): expo-cameraMediaPipe Tasks-Vision によるリアルタイム骨格・関節角度抽出
  • 慣性情報(IMU): expo-sensors による角速度(3軸ジャイロ)& 加速度データの高精度サンプリング

■ 解析エンジン(オンデバイス・センサフュージョン)

  • バンドパスフィルタ / 移動平均によるセンサーノイズ除去
  • 骨格トラッキング(空間姿勢)× 慣性データ(瞬発力・微細ブレ)の統合フォーム判定アルゴリズム

■ 状態管理 & ゲーミフィケーションエンジン

  • AsyncStorage: 練習ログ、アチーブメント、着せ替え衣装・コインの永続化

■ リアルタイム・データパイプライン

image

anji

@a2a2eaff882feceb