写真一枚から英単語帳を作る魔法

概要

写真を撮ると画像から文字を読み取って自動で単語帳にしてくれるwebアプリです．

アーキテクチャ図

バックのおおまかなワークフロー

推し技術ポイント

それぞれの単語をベクトル化

　　Word2Vecを用いることで，日単語と英単語をそれぞれベクトルで表しました． 例) 　上記画像では二次元ベクトルで表していますが実際にはさらに高次元の学習モデルを使用しています．

2単語間の類似度を計算

word2vecでは，2つの単語がどれくらい意味が似ているのかをcos類似度を使って計算しています．単語Aのベクトル，単語Bのベクトルをそれぞれ とすると，cos類似度は図の式で求められます． 　意味ベクトルによるcos類似度で日英単語を関連づけることによって，日単語と英単語が乱雑に配置されていたとしても，単語の座標などに依存していないため，単語同士の関係付けを行うことができます．

フロントエンド部分

暗い場所でも見やすくて且つコントラスト比が黒⇔白よりは低い紺色をベースにし，ボタンなどにピンクを使うことでシックなデザインにしました．また，本文のフォントにはIBM社開発の「IBM Plex Sans JP」を使い，大きい文字だと個性的に，小さい文字だと見やすいフォントを採用しました．

単語帳の画面では，スクロールより指の動きがより少ないタップ方式にし，PCでも使いやすいよう，矢印キーで移動，Spaceキーで裏表を返せるようにしました．

今後の展望

• 強い学習モデルを使い，より精度の高い関連付けを行う
• 「新規作成」などにアイコンを使用することでユーザビリティを向上させる
• 編集機能の実装
• ログイン機能の実装