監修者 
Microsoftは2日、AIを搭載した新しいブラウザアシスタント「Copilot Vision」を近日中に一般公開すると発表した。
この機能はユーザーが見ているウェブページをAIが理解して質問に答えたり、次のステップを提案したりすることで、ユーザーを支援する。
Copilot Visionは、一部のユーザーを対象にテスト運用されていたが、まもなくすべてのユーザーが利用できるようになる。
If only your browser could see what I see… oh wait, Copilot Vision will be able to very soon 👀 pic.twitter.com/EtLGyMGPq3
— Microsoft Copilot (@MSFTCopilot) November 1, 2024
Copilot Visionとは？
Copilot Visionは、ユーザーのブラウザ上で動作するAIアシスタントだ。
ユーザーがオプトインすると、Copilot Visionはウェブページのテキストと画像の両方を理解してコンテンツに関する質問に答えたり、ワークフローを中断することなくユーザーを支援したりできる。
例えば、旅行の計画を立てているときにCopilot Visionを使えば、ウェブサイトから目的地や宿泊施設に関する情報を自動的に収集し、最適なプランを提案してくれる。
また、画像に何が写っているかを尋ねたり、画像内の特定のオブジェクトに関する情報を取得したりすることもできる。
Copilot Visionの仕組みとプライバシー
Copilot Visionは、ユーザーが見ている画面を認識することで動作する。ただし、プライバシー保護のためセッションは完全にオプトインで一時的なものとなっており、セッション終了後はデータは保存されない。
また、Copilot Visionがアクセスできるウェブサイトは、最初は限られた人気ウェブサイトのリストのみに制限される。
Copilot Visionを使用するには、ブラウザに表示される画面に似たアイコンを選択する。
すると、「Copilot Visionでブラウジングしようとしています」というポップアップが表示され、
「Copilotはあなたが見ているものを見て、あなたが声に出して尋ねることに答えます。あなたの会話はプライベートに保たれます。画面の共有を停止するには、Copilot Visionを終了してください。」
というメッセージが表示される。
ユーザーは、プライバシーに関する声明を確認し、「続行」または「今はしない」を選択できる。
MicrosoftはCopilot Visionの一般公開を予告しているが、具体的な時期は未定だ。
