Cursor Computer Use lässt Agenten Desktop-Apps bedienen

Die Coding-Agenten von Cursor können jetzt Desktop-Apps auf dem eigenen Computer eines Entwicklers bedienen. Das hat das Unternehmen am 23. Oktober 2026 angekündigt. Mit dem neuen Werkzeug Computer Use kann ein Agent in jeder App klicken, tippen und Screenshots machen, auch in Apples iOS Simulator, berichtete AlphaSignal. Ein Agent kann damit die Funktion testen, die er gerade gebaut hat, und nicht nur den Code dafür schreiben.

Was Computer Use macht

Computer Use ist der Begriff für ein KI-Modell, das einen Computer so bedient wie ein Mensch. Es schaut auf den Bildschirm, bewegt den Zeiger und drückt Tasten. Bisher arbeiteten die Agenten von Cursor vor allem mit Dateien, Terminals und einem eingebauten Browser.

Cursors wichtigste Demo ist eine iPhone-App. Laut AlphaSignal baut der Agent eine Funktion, öffnet den iOS Simulator, tippt sich durch die neuen Bildschirme und korrigiert seinen Code anhand dessen, was er sieht. Byteiota beschreibt denselben Ablauf mit SwiftUI-Code, Apples Framework für Benutzeroberflächen, bis der Agent zum Schluss seine Arbeit committet. In der Demo berührt kein Mensch die Tastatur.

Es gibt zwei Wege, das Werkzeug zu starten, berichten RuntimeWire und AlphaSignal:

• Auf Anfrage: @Computer Use in einen Agenten-Prompt eingeben.
• Von selbst: Der Agent kann das Werkzeug wählen, wenn eine Aufgabe eine grafische Oberfläche braucht.

Laut AlphaSignal kommt die Funktion mit einem Update der Cursor-Desktop-App, und eine Preisänderung wurde nicht angekündigt.

So läuft es auf dem Mac

Unter macOS läuft Computer Use über eine separate Hilfs-App, die das Kommandozeilen-Tool von Cursor verwaltet, so Byteiota. Diese Hilfs-App braucht zwei macOS-Berechtigungen: Bedienungshilfen, damit sie andere Apps steuern kann, und Bildschirmaufnahme, damit sie diese sehen kann.

Flavio Copes, der am 24. Oktober eine Einrichtungsanleitung veröffentlicht hat, weist auf einen häufigen Stolperstein hin. Die Berechtigungen gehen an die Hilfs-App „Cursor Computer Use“, nicht an das Terminal oder an Cursor selbst. Die Dokumentation von Cursor nennt dieselbe Hilfs-App.

Was es vorher schon gab

Desktop-Steuerung gab es bereits in zwei engeren Formen. Die Cloud-Agenten von Cursor führten sie in isolierten virtuellen Maschinen aus, sagt AlphaSignal. Teams konnten sie außerdem auf selbst gehosteten Workern aktivieren, also auf Maschinen, die sie selbst verwalten und auf denen Cursor-Agenten laufen.

Die Dokumentation von Cursor beschreibt diese zweite Variante. Ein Worker bekommt Computer Use nur, wenn er mit einem Flag gestartet wird:

agent worker --computer-use start

Die Dokumentation nennt diese Einstellungen „explizite Opt-ins, die nie vom Server aktiviert werden“. Sie unterstützen Worker unter macOS und Linux. Unter Linux installiert der Nutzer Werkzeuge wie xdotool und ffmpeg, denn „Cursor installiert keine Systempakete für Sie“. Enterprise-Admins können Computer Use in den Teameinstellungen unter MCP Configuration abschalten. Laut Dokumentation ist dieser Schalter standardmäßig eingeschaltet.

Cursor ist damit nicht allein. Byteiota berichtet, dass das Kommandozeilen-Tool von GitHub Copilot Computer Use als öffentliche Vorschau hinzugefügt hat. Auch OpenAI hat seiner Entwicklerplattform eine Version hinzugefügt, wie in OpenAI Agents API bekommt Computer Use in einem gehosteten Browser berichtet. Laut Byteiota bezeichnet Cursor seine eigene Veröffentlichung als produktionsreif und nicht als Vorschau; die anderen Quellen wiederholen diese Aussage nicht.

Der Kompromiss bei der Sicherheit

Die beiden Mac-Berechtigungen reichen weit über einen einzelnen Projektordner hinaus, warnt Byteiota. Ein Agent mit Bildschirmzugriff kann alles sehen, was sonst noch geöffnet ist, von E-Mails bis zu Passwortmanagern. Auch Text auf dem Bildschirm kann ihn lenken. Eine Webseite oder ein Dokument könnte Anweisungen enthalten, die der Agent für Ihre hält, ein Angriff namens Prompt Injection.

AlphaSignal rät, „GUI-Zugriff als privilegierte Fähigkeit zu behandeln“. Byteiota und AlphaSignal empfehlen beide, solche Aufgaben unter einem eigenen Testkonto oder in einer virtuellen Maschine auszuführen.

Was das für Entwickler bedeutet

Computer Use schließt eine Lücke beim Programmieren mit Agenten: Der Agent kann seine Arbeit jetzt in der echten App prüfen. Es vergrößert aber auch, was ein Agent kaputt machen kann.

• Nutzen Sie es für Abläufe in der Oberfläche. Es passt zu Aufgaben, bei denen Sie sich sonst von Hand durch Bildschirme klicken würden. Copes merkt an, es sei „weniger nützlich, um eine reine Funktion oder eine API-Antwort zu prüfen“, wo normale Tests schneller sind.
• Nutzen Sie einen separaten macOS-Benutzer. Erteilen Sie die beiden Berechtigungen einem Konto, in dem weder private E-Mails noch Chats noch ein Passwortmanager angemeldet sind.
• Testen Sie mit Wegwerfdaten. Copes empfiehlt einen Entwicklungs-Build mit Wegwerfdaten und danach das erneute Öffnen der App, um zu sehen, ob das Speichern wirklich gehalten hat. „Ein Screenshot nach dem Drücken auf Speichern beweist nur, was in diesem Moment angezeigt wurde“, schreibt Copes.
• Prüfen Sie Ihre Teameinstellungen. Wenn Sie einen Enterprise-Plan verwalten, entscheiden Sie, ob der Schalter für Computer Use eingeschaltet bleiben soll, bevor Entwickler die Funktion nutzen.
• Behalten Sie Tests, die keinen Bildschirm brauchen. Ein Agent, der sich durch einen Simulator klickt, ist langsam. Behalten Sie Unit- und Integrationstests als wichtigste Prüfung und nutzen Sie Computer Use für das, was diese nicht sehen können.