Cursor Computer Use、エージェントがデスクトップアプリを操作可能に

Cursorのコーディングエージェントが、開発者自身のコンピューター上でデスクトップアプリを操作できるようになりました。同社が2026年10月23日に発表しました。AlphaSignalによると、新しいComputer Useツールを使うと、エージェントはAppleのiOS Simulatorを含むあらゆるアプリで、クリック、入力、スクリーンショットの撮影ができます。つまりエージェントは、コードを書くだけでなく、自分が作った機能をテストすることもできます。

Computer Useでできること

コンピューターユースとは、AIモデルが人と同じようにコンピューターを操作することを指す用語です。画面を見て、ポインターを動かし、キーを押します。これまでCursorのエージェントは、主にファイル、ターミナル、内蔵ブラウザーを扱ってきました。

Cursorの目玉のデモはiPhoneアプリです。AlphaSignalによると、エージェントは機能を作り、iOS Simulatorを開き、新しい画面をタップして確かめ、見た内容をもとにコードを修正します。Byteiotaは、AppleのUIフレームワークであるSwiftUIのコードで同じ流れを説明しており、最後にエージェントが作業をコミットします。デモでは、人がキーボードに触れることはありません。

RuntimeWireとAlphaSignalによると、起動する方法は2つあります。

• 指示して起動： エージェントへのプロンプトに@Computer Useと入力します。
• 自動で起動： タスクに視覚的なインターフェースが必要なとき、エージェントが自らこのツールを選ぶことができます。

AlphaSignalによると、この機能はCursorのデスクトップアプリのアップデートで提供され、料金の変更は発表されていません。

Macでの動作の仕組み

Byteiotaによると、macOSでは、Computer UseはCursorのコマンドラインツールが管理する別のヘルパーアプリを通じて動作します。このヘルパーには、macOSの2つの権限が必要です。ほかのアプリを操作するための「アクセシビリティ」と、画面を見るための「画面収録」です。

10月24日にセットアップガイドを公開したFlavio Copes氏は、よくあるつまずきを指摘しています。権限を与える相手は、ターミナルやCursor本体ではなく、「Cursor Computer Use」ヘルパーです。Cursorのドキュメントも、同じヘルパーの名前を挙げています。

以前からあった機能

デスクトップの操作は、これまでも2つの限られた形で利用できました。AlphaSignalによると、Cursorのクラウドエージェントは、分離された仮想マシンの中でこれを実行していました。チームは、セルフホスト型ワーカーでも有効にできました。セルフホスト型ワーカーとは、チームが自ら管理し、Cursorのエージェントを実行するマシンのことです。

Cursorのドキュメントは、この2つ目の構成について説明しています。ワーカーがコンピューターユースを使えるのは、フラグを付けて起動したときだけです。

agent worker --computer-use start

ドキュメントは、これらの設定を「明示的なオプトインであり、サーバーによって有効にされることは決してない」と説明しています。対応するのは、macOSとLinuxのワーカーです。Linuxでは、「Cursorはシステムパッケージをインストールしない」ため、ユーザーがxdotoolやffmpegなどのツールをインストールします。Enterpriseの管理者は、チーム設定のMCP ConfigurationでComputer Useをオフにできます。ドキュメントによると、このスイッチは初期設定でオンになっています。

この分野にいるのはCursorだけではありません。Byteiotaによると、GitHub Copilotのコマンドラインツールは、パブリックプレビューとしてコンピューターユースを追加しました。OpenAIも開発者プラットフォームに同様の機能を追加しました。詳しくはOpenAI Agents API、ホスト型ブラウザーでのコンピューター操作に対応で取り上げています。Byteiotaによると、Cursorは自社のリリースを、プレビューではなく本番環境で使える段階だとしています。ほかの情報源は、この主張を繰り返していません。

セキュリティ上のトレードオフ

Byteiotaは、Macの2つの権限が1つのプロジェクトフォルダーをはるかに超える範囲に及ぶと警告しています。画面にアクセスできるエージェントは、メールからパスワードマネージャーまで、ほかに開いているものを何でも見ることができます。画面上のテキストが、エージェントを操ることもあります。Webページや文書に含まれる指示を、エージェントがあなたの指示と取り違えるおそれがあります。これはプロンプトインジェクションと呼ばれる攻撃です。

AlphaSignalは、「GUIへのアクセスを特権的な機能として扱う」よう助言しています。ByteiotaとAlphaSignalはどちらも、こうしたタスクを専用のテストアカウントか仮想マシンで実行することを勧めています。

開発者にとっての意味

Computer Useは、エージェントによるコーディングの欠けていた部分を埋めます。エージェントは、実際のアプリで自分の作業を確認できるようになりました。同時に、エージェントが壊しうるものの範囲も広がります。

• 画面操作の流れに使う。 手作業で画面をクリックして確かめるようなタスクに向いています。Copes氏は、通常のテストのほうが速い「純粋関数やAPIレスポンスの確認にはあまり役立たない」と指摘しています。
• 別のmacOSユーザーで実行する。 個人のメール、チャット、パスワードマネージャーにサインインしていないアカウントに、2つの権限を与えましょう。
• 使い捨てのデータでテストする。 Copes氏は、使い捨てのデータを入れた開発ビルドを使い、その後アプリを開き直して、保存が本当に反映されているかを確かめるよう勧めています。「保存を押した後のスクリーンショットは、その瞬間に何が表示されたかを証明するだけです」と同氏は書いています。
• チーム設定を確認する。 Enterpriseプランを管理している場合は、開発者が使い始める前に、Computer Useのスイッチをオンのままにするかどうかを決めましょう。
• 画面を必要としないテストを残す。 シミュレーターをクリックして回るエージェントは、動きが遅くなります。ユニットテストと統合テストを主なチェックとして残し、それらでは見えない部分にコンピューターユースを使いましょう。