ChatGPTはまもなく画面上で何が起こっているかを確認できるようになりますc

昨日の春のアップデートで、OpenAIはChatGPTの完全ネイティブMacアプリをリリースし、新たなフラッグシップモデルであるGPT-4oも発表しました。特にiOS 18で噂されているAppleとOpenAIの提携を待ちわびていたAppleユーザーにとって、注目すべきデモや興奮は尽きませんでした。

イベント動画全体の中で特に興味を引かれたのは、ChatGPTアプリの近日公開予定の機能です。デモは披露されましたが、具体的な詳細は明かされていませんでした。どんな機能でしょうか？それは、ChatGPTがデバイスの画面上で起こっていることをすべて把握できる機能です。

画面上のコンテンツを ChatGPT に任せてみませんか?

ChatGPT Macアプリは、リリース当初は手動でスクリーンショットを撮影するか、ファイルをアップロードしてChatGPTにクエリを送信する機能をサポートしています。しかし将来的には、下のビデオでご覧いただけるように、ボタンをクリックするだけで、アプリがディスプレイ上のあらゆる情報にアクセスできるようになる予定です。

iOS および iPadOS アプリが以下の個別指導の例で同じテクノロジーを実証していることから、この機能は Mac に限定されないようです。

これらの画面表示機能がChatGPTでいつ利用可能になるかは不明です。しかしながら、よりシームレスでインタラクティブな体験を実現するために、当然の追加機能のように思われます。Appleは、開発者がデバイスの画面コンテンツにアクセスするためのAPIも提供しています（もちろん、ユーザーの同意が必要です）。つまり、OpenAIがこれらの機能を追加することで不正行為を行っているわけではないということです。

9to5Macの見解

ChatGPT が画面の全コンテンツにアクセスできるというのは確かに少し不気味かもしれませんが、非常に便利であることも間違いありません。

アプリがディスプレイにアクセスする時間制限が設けられ、アクセスを許可するたびにボタンを押す必要がある可能性が高いでしょう。しかし、理論的には、将来的にはAIツールがユーザーの目に見えるすべてのものに永続的にアクセスできるようになり、最小限の摩擦でよりシームレスなサポートが可能になると考えられます。

デバイス全体でユーザーが見ているものすべてを把握できるAIアシスタントは、Appleがプラットフォーム全体でシステムレベルで実現できる可能性を秘めているように思われます。Siriが新たなAIインテリジェンスによって強化され、システムとの緊密な連携が実現すれば、iOS 18以降、ユーザーにとって真の資産となるでしょう。

sepute.com を Google ニュース フィードに追加します。 

FTC: 収益を生み出す自動アフィリエイトリンクを使用しています。詳細はこちら。