教えて! ARAIさん!

Swift

スマホで読み取ると・・・ 宿にある「アレ」がコンシェルジュに!

どりー_ハックツ

推しアイデア

- 宿にある特定のオブジェクトをARマーカーに! - AR技術で3Dのコンシェルジュが出現! - AIを通して宿の説明や周辺の情報をお届け!

作った背景

翼リゾートさんの施設にはそれぞれ特徴の異なる魅力的なオブジェクト(ロゴや物)がたくさん! せっかくならそれらを活かしたかった!

推し技術

- Swift - ARKit - RealityKit - OpenAI (ChatGPT)

プロジェクト詳細

デモ動画

https://youtube.com/shorts/CgWI3ZFvUH8?si=wbMeWDvNTZJ5IMCh

教えて!ARAIさん!

宿泊施設にある特徴的なオブジェクトをARマーカーに! ARマーカーを読み取ると、コンシェルジュが出現! コンシェルジュに宿泊施設や周辺情報を聞くと、AIを通して回答してくれるぞ!

AR + AI = ARAI

協力

翼リゾート 様 ・ほてい屋はな村インターヒル 翼

開発経緯

翼リゾート様にご協力いただきインターヒル翼にて、 ハックツ & Committer/Contributor での開発合宿を行いました!

その際に、ほてい屋・はな村も案内をしていただき、 これらの施設内で使えるアプリ・サービスの開発を行いました。

それぞれの施設は同グループにも関わらずコンセプトが大きく異なり、その上かなり魅力的・特徴的な「物理的な物」が揃っていました。 その「物理的な物」に着目して、それらがお客様と従業員様との会話のきっかけになるようなアプリを開発してみました。

あくまで仕事は増やさない・お客様と従業員様との会話を増やす(減らさない)をコンセプトにしています。

実装

Codex

今回は最近話題の Codex 君を中心に行ってみました。

プロトタイプの実装レベルであれば本当に精度良くできるなと実感しました。 (やりたいことの最初の動きは1,2回のやり取りで完成した)

しかしながら、細かい調整やXCode,3Dモデルなど外部での作業やGUIでの作業、実機に関する部分はまだまだ弱く、結局デバッグでいつもと同じかそれ以上の実装時間を費やしました。 (一番最初に寝るつもりだったのに最後まで寝れず、温泉にも入れなかったのはとても悔しいです。)

ARKit

細かい実装については後日執筆予定

RealityKit

細かい実装については後日執筆予定

どりー_ハックツ

@Friedrich_buryu