コアコンセプト

とにかく"監視"を行って、作業の継続を促すアプリ！ デスクトップマスコットは、Codexのペットをモチーフとしています。

想定しているユーザー

• パソコンでやらなきゃいけないことがあるのに、スマホや他のことに気を取られて作業を中断してしまうユーザー

要件定義したドキュメント

https://docs.google.com/document/d/19mS4UT0DD5kQvQL0baTgvmHDm_zq7zhELPFVO_T8IU0/edit?usp=sharing

こだわりポイント

究極の「継続」とは何かを考えた時に、ユーザーに任意で何かやってもらうだとユーザーが少しでも辞めたいなと思った時にすぐに辞めることができてしまう。 なので、究極の継続のためには、強制的に継続させるために何やっているかを一挙手一投足監視するのが良いと考えた。

• PCの入力
• 視線
• スマホ操作
• 音楽を聴いているのか
• AirPods経由で頭の動き

などさまざまな情報を監視して、もしサボっているのがバレるとdiscordでずっとメンションして連絡してきたり、mac bookのカメラで撮った写真やスマホのスクショを添付して問い詰めてくるようにした

機能

画面上にアシスタントが常駐している。

構成図

技術的な話

macOSのネイティブアプリ

swiftを使ってmacOS用のデスクトップアプリを作成した。 使ったAPI

使用したAPI・フレームワーク

SwiftUI / AppKit

アプリの画面構築や状態管理、全画面への警告表示、マルチディスプレイ対応などに使用。

AVFoundation

Webカメラを使った写真撮影や顔検出用の映像取得、VOICEVOXで生成した音声の再生に使用。

ScreenCaptureKit

サボりを検知した際に、Macの画面をスクリーンショットとして撮影するために使用。

Vision

カメラ映像から顔や視線を検出し、ユーザーが画面を見ているかを判定するために使用。

CoreMotion

AirPodsのヘッドトラッキングを利用し、うなずきや首振りを認識するために使用。

CoreGraphics / ImageIO / CoreVideo

キーボードやマウスの操作状況の取得、画面収録権限の管理、画像やカメラ映像の処理に使用。

LocalAuthentication

監視を解除する際に、Touch IDなどで本人確認を行うために使用。

IOKit

キーボードやマウスの入力監視に必要な権限を確認・要求するために使用。

VOICEVOX API

ペットがユーザーに話しかけるための音声を生成するために使用。

pymobiledevice3

接続したiPhoneのスクリーンショットを取得し、スマートフォン上で何をしているかを監視するために使用。

個人で挑戦すること

さどるふ (thirdlf)

macOS用のネイティブアプリを作り込むのは初めてなので、ネイティブだからこそできることに重きを置いて開発頑張りたい。

くっきぃ (cookie__777)

思いついた面白い体験を「技術的に難しそうだから」で諦めず、アイデアを本気で形にすることに挑戦したい！

苦労したこと

さどるふ(thirdlf)

UXの体験

くっきぃ (cookie__777)

• アプリがほとんどマルウェアとかランサムウェアみたいな挙動判定をくらって、Fable5がしょっちゅうフォールバックして、Opus4.8になったこと。
• 初めてmacのネイティブアプリを作ったので、調べることが多く楽しかった。

没アイデア集

• スクショの解析をして挙動を変える
• 環境音分類する
• 他アプリ制御（Spotifyだけ実装した）

みはりセリフ集

https://claude.ai/code/artifact/245a7186-6679-49af-864c-d72b8be9315f