Eye Typing

https://github.com/hackz-hackathon-ichthyo/sushi-tabetai-2.git

TypeScript

React

GitHub

Docker

【AI×Typing】でタイピングスキル向上👆

當間由奈

推しアイデア

カメラ起動しながらタイピングゲームをすることで、使用者の視線をPCの画面からはなせなくする。

作った背景

テーマより【目が離せない方がいいこと】= 【タッチタイピング】と考え、画面から目を離してはいけないタッチタイピングの練習ができるゲームを作成した。

推し技術

AIを使用してリアルタイムに顔を認識する技術

プロジェクト詳細

工夫した点

AIを使用した画像認識で目線の動きをx,y,z座標から感知し、キーボードに視線を落とすと点数が低くなるように実装しました。早くタイピングできる人でもタッチタイピングができていなければその分Scoreが落ちるはずです。

開発面においては、Github workflowの組織選択できない問題をAzure Container Appに都度デプロイすることで、回避したことです。

使用技術

  • MaterialUI
  • React & TypeScript
  • Docker
  • Azure Container Apps
  • FaceMesh image image

今後について

  • タイピングゲームの結果をresult画面に反映させる(現在は決め打ち)
  • ログイン機能
  • ランキング
  • 履歴参照

當間由奈

@228efa5914e573c6