Cursor Computer Use permet aux agents de piloter des apps de bureau

Les agents de code de Cursor peuvent désormais utiliser des applications de bureau sur l'ordinateur même d'un développeur, a annoncé l'entreprise le 23 octobre 2026. Le nouvel outil Computer Use permet à un agent de cliquer, taper et prendre des captures d'écran dans n'importe quelle application, y compris l'iOS Simulator d'Apple, a rapporté AlphaSignal. Un agent peut ainsi tester la fonctionnalité qu'il vient de créer, et pas seulement en écrire le code.

Ce que fait Computer Use

L'usage d'ordinateur (computer use) désigne un modèle d'IA qui se sert d'un ordinateur comme le fait une personne. Il regarde l'écran, déplace le pointeur et appuie sur des touches. Jusqu'ici, les agents de Cursor travaillaient surtout avec des fichiers, des terminaux et un navigateur intégré.

La démonstration phare de Cursor est une app iPhone. Selon AlphaSignal, l'agent crée une fonctionnalité, ouvre l'iOS Simulator, parcourt les nouveaux écrans et corrige son code d'après ce qu'il voit. Byteiota décrit le même déroulé avec du code SwiftUI, le framework d'interface d'Apple, qui se termine par le commit du travail de l'agent. Personne ne touche le clavier pendant la démonstration.

Il y a deux façons de le lancer, selon RuntimeWire et AlphaSignal :

• Sur demande : tapez @Computer Use dans une instruction pour l'agent.
• De lui-même : l'agent peut choisir l'outil quand une tâche nécessite une interface visuelle.

Selon AlphaSignal, la fonctionnalité arrive avec une mise à jour de l'application de bureau Cursor, et aucun changement de prix n'a été annoncé.

Comment il fonctionne sur Mac

Sur macOS, Computer Use passe par une application d'assistance distincte, gérée par l'outil en ligne de commande de Cursor, selon Byteiota. Cet assistant a besoin de deux autorisations macOS : Accessibilité, qui lui permet de contrôler d'autres apps, et Enregistrement de l'écran, qui lui permet de les voir.

Flavio Copes, qui a publié un guide d'installation le 24 octobre, signale un piège courant. Les autorisations doivent être accordées à l'assistant « Cursor Computer Use », pas au Terminal ni à Cursor lui-même. La documentation de Cursor cite le même assistant.

Ce qui existait avant

Le contrôle du bureau existait déjà sous deux formes plus limitées. Les agents cloud de Cursor l'exécutaient dans des machines virtuelles isolées, indique AlphaSignal. Les équipes pouvaient aussi l'activer sur des workers auto-hébergés, des machines qu'elles gèrent et qui exécutent des agents Cursor.

La documentation de Cursor couvre ce second cas. Un worker n'obtient l'usage d'ordinateur que s'il est lancé avec une option :

agent worker --computer-use start

La documentation qualifie ces réglages d'« opt-in explicites, jamais activés par le serveur ». Ils prennent en charge les workers macOS et Linux. Sous Linux, l'utilisateur installe des outils comme xdotool et ffmpeg, car « Cursor n'installe pas de paquets système à votre place ». Les administrateurs Enterprise peuvent désactiver Computer Use sous MCP Configuration, dans les paramètres d'équipe. Selon la documentation, cet interrupteur est activé par défaut.

Cursor n'est pas seul. Byteiota rapporte que l'outil en ligne de commande de GitHub Copilot a ajouté l'usage d'ordinateur en préversion publique. OpenAI en a aussi ajouté une version à sa plateforme pour développeurs, comme l'explique L'Agents API d'OpenAI ajoute l'usage d'ordinateur dans un navigateur hébergé. Selon Byteiota, Cursor qualifie sa propre version de prête pour la production plutôt que de préversion ; les autres sources ne reprennent pas cette affirmation.

Le compromis de sécurité

Les deux autorisations Mac vont bien au-delà d'un seul dossier de projet, avertit Byteiota. Un agent qui a accès à l'écran peut voir tout ce qui est ouvert par ailleurs, des e-mails aux gestionnaires de mots de passe. Le texte affiché à l'écran peut aussi l'orienter. Une page web ou un document pourrait contenir des instructions que l'agent prend pour les vôtres, une attaque appelée injection de prompt.

AlphaSignal conseille de « traiter l'accès à l'interface graphique comme une capacité privilégiée ». Byteiota et AlphaSignal suggèrent tous deux d'exécuter ces tâches sous un compte de test dédié ou dans une machine virtuelle.

Ce que cela signifie pour les développeurs

Computer Use comble une lacune du codage par agents : l'agent peut désormais vérifier son travail dans l'app réelle. Il élargit aussi ce qu'un agent peut casser.

• Utilisez-le pour les parcours d'interface. Il convient aux tâches où vous cliqueriez à la main d'écran en écran. Copes note qu'il « est moins utile pour vérifier une fonction pure ou une réponse d'API », où les tests classiques sont plus rapides.
• Exécutez-le sous un utilisateur macOS distinct. Accordez les deux autorisations à un compte où aucun e-mail personnel, aucune messagerie ni aucun gestionnaire de mots de passe n'est connecté.
• Testez avec des données jetables. Copes recommande une version de développement avec des données jetables, puis de rouvrir l'app pour voir si les enregistrements ont vraiment tenu. « Une capture d'écran après avoir appuyé sur Enregistrer prouve seulement ce qui s'est affiché à ce moment-là », écrit Copes.
• Vérifiez les paramètres de votre équipe. Si vous administrez une offre Enterprise, décidez si l'interrupteur Computer Use doit rester activé avant que les développeurs commencent à l'utiliser.
• Gardez les tests qui n'ont pas besoin d'écran. Un agent qui clique dans un simulateur est lent. Gardez les tests unitaires et d'intégration comme vérification principale, et réservez l'usage d'ordinateur à ce qu'ils ne peuvent pas voir.