Codex Computer Use (Computersteuerung)
Computer Use ist eine von Codex bereitgestellte Funktion, mit der Codex die grafische Benutzeroberfläche (GUI) unter macOS oder Windows anzeigen und bedienen kann.
Wenn Kommandozeilen-Tools oder strukturierte Integrationen Ihre Anforderungen nicht erfüllen können, können Sie diese Funktion nutzen, um Aufgaben wie die Bedienung von Desktop-Anwendungen, Browser-Interaktionen und Anpassungen von Anwendungseinstellungen zu erledigen.
Computer Use verleiht Codex die Fähigkeit, Desktop-Anwendungen zu "sehen" und zu "bedienen". Im Gegensatz zu Kommandozeilentools kann Computer Use direkt mit der grafischen Oberfläche interagieren, einschließlich des Anklickens von Schaltflächen, der Texteingabe, der Navigation durch Menüs und anderer Vorgänge.
Die Funktion Computer Use eignet sich für Szenarien, die visuelle Überprüfung oder Interaktion mit der grafischen Oberfläche erfordern, z. B. zum Testen von Desktop-Anwendungen, zum Reproduzieren von Fehlern, die nur in der GUI auftreten, oder zum Bedienen von Datenquellen, die keine Plugins bereitstellen.
Computer Use kann Anwendungen und Systemzustände außerhalb des Projekt-Arbeitsbereichs beeinflussen. Es wird empfohlen, es nur für Aufgaben mit klar definiertem Umfang zu verwenden und während der Ausführung auf Berechtigungsaufforderungen zu achten.
Umgebungs-Setup
Bevor Sie Computer Use verwenden, müssen Sie die erforderliche Plugin-Installation und Berechtigungskonfiguration abschließen.
Computer Use Plugin installieren
Öffnen Sie die Codex-Einstellungen und suchen Sie die OptionComputer Use, klicken Sie aufInstallieren, um das Computer Use Plugin zu installieren.
Nach der Installation können Sie Codex dazu veranlassen, mit der Bedienung von Desktop-Anwendungen zu beginnen.

macOS-Berechtigungskonfiguration
Unter macOS müssen Sie die folgenden zwei Systemberechtigungen erteilen:
| Berechtigung | Zweck |
|---|---|
| Bildschirmaufnahme | Ermöglicht Codex, den Inhalt der Benutzeroberfläche der Zielanwendung anzuzeigen |
| Bedienungshilfen | Ermöglicht Codex interaktive Vorgänge wie Klicken, Tippen und Navigieren |
Das System zeigt bei der ersten Verwendung eine Berechtigungsanfrage an; autorisieren Sie sie einfach wie angefordert.
Windows-Nutzungsanleitung
Unter Windows muss Computer Use auf dem aktiven Desktop ausgeführt werden.
Während der Aufgabenausführung muss die Zielanwendung auf dem aktuell aktiven Desktop sichtbar bleiben. Codex übernimmt den Mauszeiger und die Tastatureingabe.
Unter Windows kann Computer Use nicht im Hintergrund ausgeführt werden. Wenn Sie den Desktop gleichzeitig weiterverwenden möchten, wird die Verwendung einer virtuellen Maschine oder eines zweiten Geräts empfohlen.
Als Nächstes müssen wir es im Chatfenster nur bitten, eine Website zu öffnen, und es wird Computer Use verwenden:

Anwendungsfälle
Wenn eine Aufgabe von der grafischen Benutzeroberfläche abhängt und nur schwer anhand von Dateien oder Befehlszeilenausgaben überprüft werden kann, sollte Computer Use gewählt werden.
Geeignete Szenarien für die Verwendung von Computer Use
| Szenario | Beschreibung |
|---|---|
| Testen von Desktop-Anwendungen | Testen Sie macOS-Apps, Windows-Apps, iOS-Simulator-Workflows oder andere Desktop-Anwendungen, die Codex entwickelt |
| Browser-Aktionen | Aufgaben ausführen, die über einen Webbrowser erledigt werden müssen |
| Fehlerreproduktion | Fehler reproduzieren, die nur in der grafischen Oberfläche auftreten. |
| Anpassungen der Anwendungseinstellungen. | Anwendungseinstellungen ändern, für deren Abschluss UI-Klicks erforderlich sind. |
| Nicht-Plugin-Datenquellen. | Informationen in Anwendungen oder Datenquellen anzeigen oder bearbeiten, die keine Plugins bereitstellen. |
| macOS-Hintergrundaufgaben. | Hintergrundaufgaben mit begrenztem Umfang unter macOS ausführen, während Sie an anderer Stelle weiterarbeiten. |
| Anwendungsübergreifende Workflows. | Automatisierte Workflows ausführen, die mehrere Anwendungen umfassen. |
Für lokal erstellte Webanwendungen den in Codex integrierten Browser (In-App-Browser) gegenüber Computer Use bevorzugen.
Windows-Vordergrundnutzung
Unter Windows läuft Computer Use auf dem aktuell aktiven Desktop.
Es kann nicht im Hintergrund ausgeführt werden, daher bewegt Codex während der Aufgabenausführung den Mauszeiger, gibt Text ein und übernimmt Vordergrundvorgänge.
Wenn Windows-Aufgaben weiterlaufen sollen, während du abwesend bist, gibt es zwei Optionen:
- Lass das Windows-Gerät entsperrt und mit dem Internet verbunden und nutze die Fernsteuerungsfunktion deines Telefons, um den Fortschritt einzusehen oder Folgeanweisungen zu senden.
- Führe Codex in einer Windows-Virtualmaschine aus, damit Computer Use die virtuelle Maschine statt deines Hauptdesktops übernimmt.
Eine Computer-Use-Aufgabe starten
Erwähne es im Prompt.@Computeroder@AppName, oder lasse Codex direkt Computer Use verwenden.
Du musst die spezifische Anwendung, das Fenster oder den Prozess, auf dem Codex arbeiten soll, klar beschreiben.

Du kannst Folgendes im Eingabefeld eingeben, um es aufzurufen:
使用 Computer Use 打开应用,复现登录流程中的 bug,并修复导致该 bug 的最简代码路径。 每次修改后,重新运行相同的 UI 流程进行验证。
Du kannst im Eingabefeld@Chromezum Aufrufen des Browsers verwenden:

Zum Beispiel:
打开 @Chrome 并验证最新改动后结账页面是否仍然正常工作。
Wenn die Zielanwendung ein dediziertes Plugin oder einen MCP-Server bereitstellt, priorisiere diese strukturierten Integrationen für Datenzugriff und wiederholbare Vorgänge. Wähle Computer Use nur, wenn eine visuelle Prüfung oder Manipulation der Anwendung erforderlich ist.
Berechtigungen und Genehmigung
Die Systemberechtigungen von Computer Use sind von den In-App-Genehmigungen von Codex getrennt.
Unter macOS ermöglichen Berechtigungen für Bildschirmaufnahme und Bedienungshilfen Codex, Anwendungen anzuzeigen und zu bedienen.
App-Genehmigungen hingegen bestimmen, welche Anwendungen du für Codex freigibst.
Dateilesevorgänge, Dateibearbeitungen und Shell-Befehle richten sich weiterhin nach den Sandbox- und Genehmigungseinstellungen des Threads.
Verwaltung von Anwendungsberechtigungen
Bei Verwendung von Computer Use kann Codex nur Anwendungen anzeigen und bedienen, die du erlaubt hast.
Während der Aufgabenausführung bittet Codex um deine Genehmigung, bevor eine Anwendung verwendet wird.
Du kannstImmer zulassenauswählen, damit Codex bei zukünftiger Verwendung dieser Anwendung nicht erneut fragen muss.
Entferne im AbschnittComputer Useder Codex-Einstellungen Apps aus der Liste "Immer zulassen".
Genehmigung für sensible Vorgänge
Für sensible oder destruktive Vorgänge kann Codex zusätzlich eine Berechtigung anfordern.
Fehlerbehebung
Wenn Codex eine Anwendung nicht anzeigen oder steuern kann, prüfen Sie die folgenden Schritte:
- Öffnen Sie unter macOSSystemeinstellungen > Datenschutz & Sicherheitund prüfen Sie, ob die Berechtigungen „Bildschirmaufnahme“ und „Bedienungshilfen“ für die Codex-App aktiviert sind.
- Stellen Sie unter Windows sicher, dass die Zielanwendung in der aktuell aktiven Desktop-Sitzung sichtbar ist.
Gesperrte Nutzung (macOS)
Die gesperrte Nutzung ist eine macOS-exklusive Funktion.
Sie ermöglicht Codex, Computer Use weiterhin zu verwenden, nachdem Ihr Mac gesperrt wurde, aber Sie müssen sie vorher manuell aktivieren.
Anwendbare Szenarien: Starten Sie eine Codex-Aufgabe von einem verbundenen Gerät; die Aufgabe muss eine Desktop-Anwendung verwenden, aber der Mac ist bereits gesperrt.
Funktionsweise
Nach dem Aktivieren der gesperrten Nutzung installiert Codex ein Apple-Autorisierungs-Plug-in, das am macOS-Entsperrvorgang teilnimmt.
Die gesperrte Nutzung hat einen sehr begrenzten vorgesehenen Umfang: Sie ist kein allgemeiner Pfad zur Fernentsperrung und erlaubt auch anderen Anwendungen oder lokalen Prozessen nicht, den Computer zu entsperren.
Aktivierungsschritte
- Öffnen SieCodex-Einstellungen > Computer Use。
- Aktivieren Sie „Gesperrte Computernutzung“.
- Starten Sie eine Aufgabe mit Computer Use von einem verbundenen Gerät aus (nachdem der Mac-Bildschirm gesperrt wurde).
Sicherheitsmechanismus
Wenn eine Codex-Aufgabe nach dem Sperren des Mac-Bildschirms über Computer Use auf Apps zugreift, entsperrt Codex den Mac vorübergehend, wobei er die lokale Nutzung blockiert und den Schutz des Sperrbildschirms beibehält.
Vor dem Entsperren überprüft Codex, ob die Entsperranforderung zu einer aktiven und vertrauenswürdigen Computer-Use-Sitzung gehört.
Außerhalb dieses kurzen Autorisierungsfensters verweigert Codex das Entsperren und fordert Sie auf, manuell zu entsperren.
Sicherheitsschutz bei gesperrter Nutzung
| Schutzmaßnahmen | Beschreibung |
|---|---|
| Kurzlebiges Autorisierungsfenster | Das Autorisierungsfenster ist nur für den aktuellen Entsperrversuch gültig und dauert nur sehr kurze Zeit. |
| Nur auf die automatische Entsperrung durch Codex beschränkt. | Die automatische Entsperrung ist nur für Codex in einer aktiven Computer-Use-Sitzung verfügbar. |
| Gilt für alle Monitore | Während der temporären Desktop-Entsperrung übernimmt Codex alle Displays. |
| Erkennung lokaler Eingaben | Wenn lokale Tastatur- oder Zeigereingaben erkannt werden, sperrt Codex den Mac sofort wieder und pausiert die automatische Entsperrung, bis Sie manuell entsperren. |
Sicherheitsleitfaden
Bei der Verwendung von Computer Use kann Codex Bildschirminhalte einsehen, Screenshots aufnehmen und mit Fenstern, Menüs, Tastatureingaben und dem Zwischenablage-Status in der Ziel-App interagieren.
App-Inhalte, Browserseiten, Screenshots und geöffnete Dateien, die in der Ziel-App sichtbar sind, können während der Aufgabenausführung alle von Codex als Kontext verarbeitet werden.
Empfehlungen für den sicheren Betrieb
| Vorschläge | Beschreibung |
|---|---|
| Immer nur ein Ziel auf einmal | Geben Sie Codex immer nur eine eindeutige Ziel-App oder einen eindeutigen Prozess auf einmal. |
| Jederzeit unterbrechbar | Sie können die Aufgabe jederzeit stoppen oder die Kontrolle über den Computer übernehmen. |
| Schließen Sie unnötige sensible Anwendungen. | Halten Sie sensible Apps geschlossen, sofern die Aufgabe sie nicht erfordert. |
| Achten Sie auf die Vordergrundnutzung unter Windows. | Unter Windows übernimmt Codex die Vordergrundeingabe; es wird empfohlen, ein zweites Gerät oder eine virtuelle Maschine zu verwenden oder die Aufgabe zu stoppen, bevor Sie den Desktop selbst benutzen. |
| Vermeiden Sie Aufgaben, die Schlüssel beinhalten. | Vermeiden Sie die Ausführung von Aufgaben, die Schlüssel erfordern, es sei denn, Sie sind anwesend und können jeden Schritt genehmigen. |
| Überprüfen Sie App-Berechtigungsaufforderungen. | Prüfen Sie Berechtigungsaufforderungen sorgfältig, bevor Sie Codex erlauben, eine App zu verwenden. |
| Verwenden Sie „Immer zulassen“ mit Vorsicht. | Wählen Sie „Immer zulassen“ nur für Apps, bei denen Sie darauf vertrauen, dass Codex sie in zukünftigen Aufgaben automatisch verwendet. |
| Kritische Einstellungen erfordern Anwesenheit | Wenn Einstellungen Konto-, Sicherheits-, Datenschutz-, Netzwerk-, Zahlungs- oder anmeldedatenbezogene Punkte betreffen, sollten Sie anwesend sein, um zu beaufsichtigen. |
| Achten Sie auf Fensterwechsel | Wenn Codex beginnt, mit dem falschen Fenster zu interagieren, brechen Sie die Aufgabe sofort ab. |
Vorsichtsmaßnahmen bei der Browsernutzung
Wenn Codex Ihren Browser verwendet, kann es mit Seiten interagieren, bei denen Sie bereits angemeldet sind.
Prüfen Sie das Verhalten von Websites, als würden Sie die Aktionen selbst ausführen: Webseiten können schädliche oder irreführende Inhalte enthalten, und Websites können genehmigte Klicks, Formularübermittlungen und im angemeldeten Zustand ausgeführte Vorgänge so behandeln, als stammten sie von Ihrem Konto.
Wenn Sie Ihren Browser weiterhin verwenden müssen, während Codex arbeitet, können Sie Codex einen anderen Browser verwenden lassen.
Funktionseinschränkungen
Computer Use kann Terminal-Apps oder Codex selbst nicht automatisieren, da deren Automatisierung die Sicherheitsrichtlinie von Codex umgehen könnte.
Es kann sich außerdem nicht als Administrator authentifizieren oder Aufforderungen zur Erteilung von Sicherheits- und Datenschutzberechtigungen auf dem Computer genehmigen.
Datenbeschreibung
Dateibearbeitungen und Shell-Befehle folgen weiterhin den Genehmigungs- und Sandbox-Einstellungen von Codex.
Änderungen, die über Desktop-Apps vorgenommen werden, erscheinen möglicherweise erst im Überprüfungsbereich, bis sie auf der Festplatte gespeichert und vom Projekt nachverfolgt werden.
Ihre ChatGPT-Datenkontrolleinstellungen gelten für Inhalte, die über Codex verarbeitet werden, einschließlich Screenshots, die von Computer Use erfasst werden.
Weitere Erweiterungen