Codex Computer Use (Computersteuerung)

Computer Use ist eine von Codex bereitgestellte Funktion, mit der Codex die grafische Benutzeroberfläche (GUI) unter macOS oder Windows anzeigen und bedienen kann.

Wenn Kommandozeilen-Tools oder strukturierte Integrationen Ihre Anforderungen nicht erfüllen können, können Sie diese Funktion nutzen, um Aufgaben wie die Bedienung von Desktop-Anwendungen, Browser-Interaktionen und Anpassungen von Anwendungseinstellungen zu erledigen.

Computer Use verleiht Codex die Fähigkeit, Desktop-Anwendungen zu "sehen" und zu "bedienen". Im Gegensatz zu Kommandozeilentools kann Computer Use direkt mit der grafischen Oberfläche interagieren, einschließlich des Anklickens von Schaltflächen, der Texteingabe, der Navigation durch Menüs und anderer Vorgänge.

Die Funktion Computer Use eignet sich für Szenarien, die visuelle Überprüfung oder Interaktion mit der grafischen Oberfläche erfordern, z. B. zum Testen von Desktop-Anwendungen, zum Reproduzieren von Fehlern, die nur in der GUI auftreten, oder zum Bedienen von Datenquellen, die keine Plugins bereitstellen.

Computer Use kann Anwendungen und Systemzustände außerhalb des Projekt-Arbeitsbereichs beeinflussen. Es wird empfohlen, es nur für Aufgaben mit klar definiertem Umfang zu verwenden und während der Ausführung auf Berechtigungsaufforderungen zu achten.


Umgebungs-Setup

Bevor Sie Computer Use verwenden, müssen Sie die erforderliche Plugin-Installation und Berechtigungskonfiguration abschließen.

Computer Use Plugin installieren

Öffnen Sie die Codex-Einstellungen und suchen Sie die OptionComputer Use, klicken Sie aufInstallieren, um das Computer Use Plugin zu installieren.

Nach der Installation können Sie Codex dazu veranlassen, mit der Bedienung von Desktop-Anwendungen zu beginnen.

macOS-Berechtigungskonfiguration

Unter macOS müssen Sie die folgenden zwei Systemberechtigungen erteilen:

BerechtigungZweck
BildschirmaufnahmeErmöglicht Codex, den Inhalt der Benutzeroberfläche der Zielanwendung anzuzeigen
BedienungshilfenErmöglicht Codex interaktive Vorgänge wie Klicken, Tippen und Navigieren

Das System zeigt bei der ersten Verwendung eine Berechtigungsanfrage an; autorisieren Sie sie einfach wie angefordert.

Windows-Nutzungsanleitung

Unter Windows muss Computer Use auf dem aktiven Desktop ausgeführt werden.

Während der Aufgabenausführung muss die Zielanwendung auf dem aktuell aktiven Desktop sichtbar bleiben. Codex übernimmt den Mauszeiger und die Tastatureingabe.

Unter Windows kann Computer Use nicht im Hintergrund ausgeführt werden. Wenn Sie den Desktop gleichzeitig weiterverwenden möchten, wird die Verwendung einer virtuellen Maschine oder eines zweiten Geräts empfohlen.

Als Nächstes müssen wir es im Chatfenster nur bitten, eine Website zu öffnen, und es wird Computer Use verwenden:


Anwendungsfälle

Wenn eine Aufgabe von der grafischen Benutzeroberfläche abhängt und nur schwer anhand von Dateien oder Befehlszeilenausgaben überprüft werden kann, sollte Computer Use gewählt werden.

Geeignete Szenarien für die Verwendung von Computer Use

SzenarioBeschreibung
Testen von Desktop-AnwendungenTesten Sie macOS-Apps, Windows-Apps, iOS-Simulator-Workflows oder andere Desktop-Anwendungen, die Codex entwickelt
Browser-AktionenAufgaben ausführen, die über einen Webbrowser erledigt werden müssen
FehlerreproduktionFehler reproduzieren, die nur in der grafischen Oberfläche auftreten.
Anpassungen der Anwendungseinstellungen.Anwendungseinstellungen ändern, für deren Abschluss UI-Klicks erforderlich sind.
Nicht-Plugin-Datenquellen.Informationen in Anwendungen oder Datenquellen anzeigen oder bearbeiten, die keine Plugins bereitstellen.
macOS-Hintergrundaufgaben.Hintergrundaufgaben mit begrenztem Umfang unter macOS ausführen, während Sie an anderer Stelle weiterarbeiten.
Anwendungsübergreifende Workflows.Automatisierte Workflows ausführen, die mehrere Anwendungen umfassen.

Für lokal erstellte Webanwendungen den in Codex integrierten Browser (In-App-Browser) gegenüber Computer Use bevorzugen.

Windows-Vordergrundnutzung

Unter Windows läuft Computer Use auf dem aktuell aktiven Desktop.

Es kann nicht im Hintergrund ausgeführt werden, daher bewegt Codex während der Aufgabenausführung den Mauszeiger, gibt Text ein und übernimmt Vordergrundvorgänge.

Wenn Windows-Aufgaben weiterlaufen sollen, während du abwesend bist, gibt es zwei Optionen:

  • Lass das Windows-Gerät entsperrt und mit dem Internet verbunden und nutze die Fernsteuerungsfunktion deines Telefons, um den Fortschritt einzusehen oder Folgeanweisungen zu senden.
  • Führe Codex in einer Windows-Virtualmaschine aus, damit Computer Use die virtuelle Maschine statt deines Hauptdesktops übernimmt.

Eine Computer-Use-Aufgabe starten

Erwähne es im Prompt.@Computeroder@AppName, oder lasse Codex direkt Computer Use verwenden.

Du musst die spezifische Anwendung, das Fenster oder den Prozess, auf dem Codex arbeiten soll, klar beschreiben.

Du kannst Folgendes im Eingabefeld eingeben, um es aufzurufen:

使用 Computer Use 打开应用,复现登录流程中的 bug,并修复导致该 bug 的最简代码路径。
每次修改后,重新运行相同的 UI 流程进行验证。

Du kannst im Eingabefeld@Chromezum Aufrufen des Browsers verwenden:

Zum Beispiel:

打开 @Chrome 并验证最新改动后结账页面是否仍然正常工作。

Wenn die Zielanwendung ein dediziertes Plugin oder einen MCP-Server bereitstellt, priorisiere diese strukturierten Integrationen für Datenzugriff und wiederholbare Vorgänge. Wähle Computer Use nur, wenn eine visuelle Prüfung oder Manipulation der Anwendung erforderlich ist.


Berechtigungen und Genehmigung

Die Systemberechtigungen von Computer Use sind von den In-App-Genehmigungen von Codex getrennt.

Unter macOS ermöglichen Berechtigungen für Bildschirmaufnahme und Bedienungshilfen Codex, Anwendungen anzuzeigen und zu bedienen.

App-Genehmigungen hingegen bestimmen, welche Anwendungen du für Codex freigibst.

Dateilesevorgänge, Dateibearbeitungen und Shell-Befehle richten sich weiterhin nach den Sandbox- und Genehmigungseinstellungen des Threads.

Verwaltung von Anwendungsberechtigungen

Bei Verwendung von Computer Use kann Codex nur Anwendungen anzeigen und bedienen, die du erlaubt hast.

Während der Aufgabenausführung bittet Codex um deine Genehmigung, bevor eine Anwendung verwendet wird.

Du kannstImmer zulassenauswählen, damit Codex bei zukünftiger Verwendung dieser Anwendung nicht erneut fragen muss.

Entferne im AbschnittComputer Useder Codex-Einstellungen Apps aus der Liste "Immer zulassen".

Genehmigung für sensible Vorgänge

Für sensible oder destruktive Vorgänge kann Codex zusätzlich eine Berechtigung anfordern.

Fehlerbehebung

Wenn Codex eine Anwendung nicht anzeigen oder steuern kann, prüfen Sie die folgenden Schritte:

  • Öffnen Sie unter macOSSystemeinstellungen > Datenschutz & Sicherheitund prüfen Sie, ob die Berechtigungen „Bildschirmaufnahme“ und „Bedienungshilfen“ für die Codex-App aktiviert sind.
  • Stellen Sie unter Windows sicher, dass die Zielanwendung in der aktuell aktiven Desktop-Sitzung sichtbar ist.

Gesperrte Nutzung (macOS)

Die gesperrte Nutzung ist eine macOS-exklusive Funktion.

Sie ermöglicht Codex, Computer Use weiterhin zu verwenden, nachdem Ihr Mac gesperrt wurde, aber Sie müssen sie vorher manuell aktivieren.

Anwendbare Szenarien: Starten Sie eine Codex-Aufgabe von einem verbundenen Gerät; die Aufgabe muss eine Desktop-Anwendung verwenden, aber der Mac ist bereits gesperrt.

Funktionsweise

Nach dem Aktivieren der gesperrten Nutzung installiert Codex ein Apple-Autorisierungs-Plug-in, das am macOS-Entsperrvorgang teilnimmt.

Die gesperrte Nutzung hat einen sehr begrenzten vorgesehenen Umfang: Sie ist kein allgemeiner Pfad zur Fernentsperrung und erlaubt auch anderen Anwendungen oder lokalen Prozessen nicht, den Computer zu entsperren.

Aktivierungsschritte

  1. Öffnen SieCodex-Einstellungen > Computer Use。
  2. Aktivieren Sie „Gesperrte Computernutzung“.
  3. Starten Sie eine Aufgabe mit Computer Use von einem verbundenen Gerät aus (nachdem der Mac-Bildschirm gesperrt wurde).

Sicherheitsmechanismus

Wenn eine Codex-Aufgabe nach dem Sperren des Mac-Bildschirms über Computer Use auf Apps zugreift, entsperrt Codex den Mac vorübergehend, wobei er die lokale Nutzung blockiert und den Schutz des Sperrbildschirms beibehält.

Vor dem Entsperren überprüft Codex, ob die Entsperranforderung zu einer aktiven und vertrauenswürdigen Computer-Use-Sitzung gehört.

Außerhalb dieses kurzen Autorisierungsfensters verweigert Codex das Entsperren und fordert Sie auf, manuell zu entsperren.

Sicherheitsschutz bei gesperrter Nutzung

SchutzmaßnahmenBeschreibung
Kurzlebiges AutorisierungsfensterDas Autorisierungsfenster ist nur für den aktuellen Entsperrversuch gültig und dauert nur sehr kurze Zeit.
Nur auf die automatische Entsperrung durch Codex beschränkt.Die automatische Entsperrung ist nur für Codex in einer aktiven Computer-Use-Sitzung verfügbar.
Gilt für alle MonitoreWährend der temporären Desktop-Entsperrung übernimmt Codex alle Displays.
Erkennung lokaler EingabenWenn lokale Tastatur- oder Zeigereingaben erkannt werden, sperrt Codex den Mac sofort wieder und pausiert die automatische Entsperrung, bis Sie manuell entsperren.

Sicherheitsleitfaden

Bei der Verwendung von Computer Use kann Codex Bildschirminhalte einsehen, Screenshots aufnehmen und mit Fenstern, Menüs, Tastatureingaben und dem Zwischenablage-Status in der Ziel-App interagieren.

App-Inhalte, Browserseiten, Screenshots und geöffnete Dateien, die in der Ziel-App sichtbar sind, können während der Aufgabenausführung alle von Codex als Kontext verarbeitet werden.

Empfehlungen für den sicheren Betrieb

VorschlägeBeschreibung
Immer nur ein Ziel auf einmalGeben Sie Codex immer nur eine eindeutige Ziel-App oder einen eindeutigen Prozess auf einmal.
Jederzeit unterbrechbarSie können die Aufgabe jederzeit stoppen oder die Kontrolle über den Computer übernehmen.
Schließen Sie unnötige sensible Anwendungen.Halten Sie sensible Apps geschlossen, sofern die Aufgabe sie nicht erfordert.
Achten Sie auf die Vordergrundnutzung unter Windows.Unter Windows übernimmt Codex die Vordergrundeingabe; es wird empfohlen, ein zweites Gerät oder eine virtuelle Maschine zu verwenden oder die Aufgabe zu stoppen, bevor Sie den Desktop selbst benutzen.
Vermeiden Sie Aufgaben, die Schlüssel beinhalten.Vermeiden Sie die Ausführung von Aufgaben, die Schlüssel erfordern, es sei denn, Sie sind anwesend und können jeden Schritt genehmigen.
Überprüfen Sie App-Berechtigungsaufforderungen.Prüfen Sie Berechtigungsaufforderungen sorgfältig, bevor Sie Codex erlauben, eine App zu verwenden.
Verwenden Sie „Immer zulassen“ mit Vorsicht.Wählen Sie „Immer zulassen“ nur für Apps, bei denen Sie darauf vertrauen, dass Codex sie in zukünftigen Aufgaben automatisch verwendet.
Kritische Einstellungen erfordern AnwesenheitWenn Einstellungen Konto-, Sicherheits-, Datenschutz-, Netzwerk-, Zahlungs- oder anmeldedatenbezogene Punkte betreffen, sollten Sie anwesend sein, um zu beaufsichtigen.
Achten Sie auf FensterwechselWenn Codex beginnt, mit dem falschen Fenster zu interagieren, brechen Sie die Aufgabe sofort ab.

Vorsichtsmaßnahmen bei der Browsernutzung

Wenn Codex Ihren Browser verwendet, kann es mit Seiten interagieren, bei denen Sie bereits angemeldet sind.

Prüfen Sie das Verhalten von Websites, als würden Sie die Aktionen selbst ausführen: Webseiten können schädliche oder irreführende Inhalte enthalten, und Websites können genehmigte Klicks, Formularübermittlungen und im angemeldeten Zustand ausgeführte Vorgänge so behandeln, als stammten sie von Ihrem Konto.

Wenn Sie Ihren Browser weiterhin verwenden müssen, während Codex arbeitet, können Sie Codex einen anderen Browser verwenden lassen.

Funktionseinschränkungen

Computer Use kann Terminal-Apps oder Codex selbst nicht automatisieren, da deren Automatisierung die Sicherheitsrichtlinie von Codex umgehen könnte.

Es kann sich außerdem nicht als Administrator authentifizieren oder Aufforderungen zur Erteilung von Sicherheits- und Datenschutzberechtigungen auf dem Computer genehmigen.

Datenbeschreibung

Dateibearbeitungen und Shell-Befehle folgen weiterhin den Genehmigungs- und Sandbox-Einstellungen von Codex.

Änderungen, die über Desktop-Apps vorgenommen werden, erscheinen möglicherweise erst im Überprüfungsbereich, bis sie auf der Festplatte gespeichert und vom Projekt nachverfolgt werden.

Ihre ChatGPT-Datenkontrolleinstellungen gelten für Inhalte, die über Codex verarbeitet werden, einschließlich Screenshots, die von Computer Use erfasst werden.


Weitere Erweiterungen