推しアイデア
パソコンについているwebカメラを使用し、親指と人差し指の座標を認識する。そのデータをもとにカードをつまむか否かを判断する。
つまんでトランプ
―
誤タップをなくしたいトランプアプリ
作った背景
友達とトランプアプリで遊んでいて、誤タップで捨てたくないカードを捨ててしまった経験がある人も多いでしょう。このアプリでは、実際にカードをつまむ動作で捨てることができるので、より快適にゲームを楽しめること間違いなし！
推し技術
MediaPipeを使い、カメラ映像から親指と人差し指の座標をリアルタイムで認識。認識したデータをUnityに送信し、指同士が近づいているか離れているかを判定することで、直感的な操作を実現。
プロジェクト詳細
概要
現実で行うトランプは絶対に意図しないカードを捨ててしまうことは無い。しかし、アプリとなるとそれは変わってくる。誤タップなどで捨てたくもないカードを捨てたり取りたくもないカードを取ったりと、ゲーム以外のところに気を配らなければなくなってくる。 この問題を解決するために、実際の指の動作をwebカメラから認識してカードを直感的につまむことができるシステムを開発した。
使用技術＆選定理由
- Unity（学校の部活で使用したことがありなれている人が多いため学習コストが少ない）
- Python（学校の授業で使用したことがあるため）
- C#（UnityがC#を使うことを推奨しているため）
カードをつかむ動作の仕組み
- カメラから手の画像を取得しその画像をMediaPipeに送る
- 親指の先と人差し指の先の位置を取得する
- 両方の指の差が広いか狭いかでつかむか離すかを決める
実演
https://youtu.be/nbDc_d1MhW4 logで指が近づいたり離れたりするとTureとForseと判定されることが分かる。
