推しアイデア
グーグルのストリートビューで散歩しながら,AIとおしゃべり! AIのチューニング次第では,友達とお出かけしているような体験ができる!
―
グーグルのストリートビューで散歩しながら,AIとおしゃべり! AIのチューニング次第では,友達とお出かけしているような体験ができる!
流れで!
AIとの会話の中から場所名を抽出して,それをグーグルストリートビューに反映! compromiseというライブラリを使って場所名の抽出を行っています.
「おはなしする」からAIに話しかけると,テキストの返答とともに,その内容に関連したところをグーグルストリートビューで表示してくれます
React,Javascript,Azure
mapの表示位置と会話の内容を連動させるために、compromiseというライブラリを使って、会話内容から場所名を抽出して、座標を取得、その座標位置のストリートビューにリアルタイムで移動するようにしました。また、ストリートビューの位置の画像を取得し、画像の内容と会話の内容を理解した文章を返答してくれるようにしました。自分が見ている風景を案内人と共有しながら、会話をすることで、より一層、リアルな会話を行うことができます。
同じ場所でも定期的に画像を分析する処理を実装し、さまざまな風景について語りあうことができるようになります。
他社が開発した言語モデルを使用することで効率よく精度の高い会話と風景の分析を実現しました。
画面デザインは、マップとチャット欄だけに絞ることでユーザーにとってわかりやすくシンプルなデザインを実現しました。
ホスティングはAzure上にホスティングしました。
暇つぶし散歩のアピールポイントを紹介します!
会話の中にでてきた場所名を取得し,それを座標に変換し,ストリートビューにリアタイムで表示!!
まるで同じ風景を見ているかのように,ストリートビューに表示されている画像を元にAIが話しかけてくれます!
双初苦 ↓ ↓ ↓ 双初苦 方参労 加