推しアイデア
「手話 × WebRTC」でリアルタイム翻訳。 ろう者と聴者が自然に会話できる世界を実現する。
SignConnect（未定）
―
ろう者 × 聴者が、自然に手話で会話できるビデオ通話アプリ
作った背景
手話が通じない場面に多く出会った。 技術で壁をなくし、誰でも意思疎通できたらいいなという願望
推し技術
MediaPipe + AWS Bedrock で手話を自然言語に変換
プロジェクト詳細
使用技術 フロントエンド Next.js（ビデオ通話UI、MediaPipeとの連携）
WebRTC（1対1ビデオ通話）
AI手話認識 MediaPipe Holisticで手のランドマークを抽出
WLASLモデルで30フレームの手話をラベル分類 →126次元の時系列データを入力として、 手話を認識するためにLSTMアーキテクチャを用いて構築され、TensorFlow/Kerasで保存されたモデル
結果をBedrock（Claude）で自然文に変換
展望 音声認識 Amazon Transcribeで音声→文字変換（リアルタイム）
バックエンド FastAPI + WebSocket：WebRTC用のシグナリング
TURN（Coturn）サーバ：NAT越えサポート
