いのちかがやけ！

概要

いきものとカメラ越しに言葉を交わすことができるサービスです！

説明

基本モード

YOLOv8を使用した画像認識を行い、画像に写る物体を認識します。(認識の種類は80まで) そこからOpenAIのGPT4.1-nanoを使用し、その生き物or無機物との会話を楽しむことができます。

拡張モード

YOLOv8を追加学習したモデルで画像認識を行います。今回はメンバーの私物であるぬいぐるみ2つ&みゃくみゃくの三種を識別できるようにしました。 認識した結果、それに対応したプロンプトを呼び出し、対応した会話を行うことができます。

技術

フロントエンド

• React
• tensorflow.js

バックエンド

• FastAPI
• YOLOv8
• GoogleTTS
• PostgreSQL

デプロイ

• Vercel
• (バックエンドは試行錯誤中)

発展性(今後の展望)

自分はこのプロダクトの拡張モードは今後さらなる発展性があると考えています。 例をいくつか上げます。

• 動物園で動物の識別を行うようにすることで、動物との会話を通し、その動物の歴史、や性格を反映した動物との会話などを行うことを考えています。またこれにより、動物園の来客数の増加などの効果が考えられると思います。
• 家電メーカーなどに取り入れることで、例えば電気屋さんで、店員を呼ばず、そしてパンフレットなどを呼ばなくてもその家電自身に話させることで、性能などを知ることや、購入した家電に家で取り扱い説明書を読まずとも使い方を対話ベースで知ることができると考えています。
• 個人で追加学習素材、プロンプトを投稿し、モデルを作成する環境を作ることができれば、様々な個人の発想を利用した新たなプラットフォームを作ることができるのではないかと空想中です。