Codex Computer Use (Contrôle de l'ordinateur)
Computer Use est une fonctionnalité fournie par Codex qui permet à Codex de visualiser et d'utiliser l'interface utilisateur graphique (GUI) sur macOS ou Windows.
Lorsque les outils en ligne de commande ou les intégrations structurées ne répondent pas à vos besoins, vous pouvez utiliser cette fonctionnalité pour accomplir des tâches telles que des opérations sur des applications de bureau, des interactions avec le navigateur et des ajustements des paramètres d'application.
Computer Use donne à Codex la capacité de « voir » et de « piloter » les applications de bureau. Contrairement aux outils en ligne de commande, Computer Use peut interagir directement avec l'interface graphique, notamment en cliquant sur des boutons, en saisissant du texte, en parcourant des menus et en effectuant d'autres opérations.
La fonctionnalité Computer Use convient aux scénarios qui nécessitent une vérification visuelle ou une interaction avec l'interface graphique, comme tester des applications de bureau, reproduire des bugs qui n'apparaissent que dans l'interface graphique, ou exploiter des sources de données qui ne fournissent pas de plugin.
Computer Use peut affecter des applications et des états du système en dehors de l'espace de travail du projet. Il est recommandé de l'utiliser uniquement pour des tâches dont la portée est claire et de faire attention aux demandes d'autorisation pendant l'exécution.
Configuration de l'environnement
Avant d'utiliser Computer Use, vous devez procéder à l'installation du plugin nécessaire et à la configuration des autorisations.
Installer le plugin Computer Use
Ouvrez les paramètres de Codex et trouvez l'optionComputer Use, cliquez surInstallerpour installer le plugin Computer Use.
Après l'installation, vous pouvez laisser Codex commencer à piloter des applications de bureau.

Configuration des autorisations macOS
Sur macOS, vous devez accorder les deux autorisations système suivantes :
| Autorisation | Objectif |
|---|---|
| Enregistrement de l'écran | Permet à Codex de voir le contenu de l'interface de l'application cible |
| Accessibilité | Permet à Codex d'effectuer des opérations interactives telles que cliquer, saisir du texte et naviguer |
Le système affichera une demande d'autorisation lors de la première utilisation ; il suffit de l'autoriser comme demandé.
Instructions d'utilisation de Windows
Sous Windows, Computer Use doit s'exécuter sur le bureau actif.
Pendant l'exécution de la tâche, l'application cible doit rester visible sur le bureau actif actuel. Codex prendra le contrôle du pointeur de souris et de la saisie au clavier.
Sous Windows, Computer Use ne peut pas s'exécuter en arrière-plan. Si vous devez continuer à utiliser le bureau en même temps, il est recommandé d'utiliser une machine virtuelle ou un second appareil.
Ensuite, il nous suffit de lui demander, dans la fenêtre de discussion, d'ouvrir un site web, et il utilisera Computer Use :

Cas d'utilisation
Lorsqu'une tâche dépend de l'interface utilisateur graphique et qu'il est difficile de la vérifier uniquement à partir de fichiers ou de la sortie en ligne de commande, il convient de choisir Computer Use.
Scénarios adaptés à l'utilisation de Computer Use
| Scénario | Description |
|---|---|
| Tests d'applications de bureau | Tester des applications macOS, des applications Windows, des flux de travail du simulateur iOS ou d'autres applications de bureau que Codex développe |
| Opérations dans le navigateur | Exécuter des tâches qui doivent être accomplies via un navigateur Web |
| Reproduction de bugs | Reproduire des bugs qui n'apparaissent que dans l'interface graphique. |
| Ajustements des paramètres de l'application. | Modifier les paramètres de l'application qui nécessitent des clics dans l'interface utilisateur pour être complétés. |
| Sources de données sans plugin. | Visualiser ou manipuler des informations dans des applications ou des sources de données qui ne fournissent pas de plugins. |
| Tâches en arrière-plan macOS. | Exécuter des tâches en arrière-plan à portée limitée sur macOS tout en continuant à travailler ailleurs. |
| Flux de travail inter-applications. | Exécuter des flux de travail automatisés impliquant plusieurs applications. |
Pour les applications web développées localement, préférez le navigateur intégré de Codex (navigateur in-app) à Computer Use.
Utilisation au premier plan sous Windows
Sous Windows, Computer Use s'exécute sur le bureau actuellement actif.
Il ne peut pas s'exécuter en arrière-plan, donc pendant l'exécution de la tâche, Codex déplace le pointeur de la souris, saisit du texte et prend le contrôle des opérations au premier plan.
Si vous avez besoin que les tâches Windows continuent de s'exécuter lorsque vous êtes absent, il y a deux options :
- Gardez l'appareil Windows déverrouillé et connecté à Internet, et utilisez la fonction de contrôle à distance de votre téléphone pour consulter la progression ou envoyer des instructions de suivi.
- Exécutez Codex dans une machine virtuelle Windows, afin que Computer Use prenne le contrôle de la machine virtuelle plutôt que de votre bureau principal.
Démarrer une tâche Computer Use
Mentionnez-le dans le prompt.@Computerou@AppName, ou laissez directement Codex utiliser Computer Use.
Vous devez décrire clairement l'application, la fenêtre ou le processus spécifique sur lequel Codex doit opérer.

Vous pouvez saisir ce qui suit dans la zone de saisie pour l'invoquer :
使用 Computer Use 打开应用,复现登录流程中的 bug,并修复导致该 bug 的最简代码路径。 每次修改后,重新运行相同的 UI 流程进行验证。
Vous pouvez utiliser dans la zone de saisie@Chromepour invoquer le navigateur :

Par exemple :
打开 @Chrome 并验证最新改动后结账页面是否仍然正常工作。
Si l'application cible fournit un plugin dédié ou un serveur MCP, privilégiez ces intégrations structurées pour l'accès aux données et les opérations répétables. Ne choisissez Computer Use que lorsque l'inspection visuelle ou la manipulation de l'application est nécessaire.
Autorisations et approbation
Les autorisations système de Computer Use sont distinctes des approbations intégrées à Codex.
Sur macOS, les autorisations d'enregistrement de l'écran et d'accessibilité permettent à Codex de visualiser et d'utiliser des applications.
Les approbations d'applications, quant à elles, déterminent quelles applications vous autorisez Codex à utiliser.
Les lectures de fichiers, les modifications de fichiers et les commandes shell suivent toujours les paramètres de sandbox et d'approbation du fil.
Gestion des autorisations d'application
Lorsque vous utilisez Computer Use, Codex peut uniquement visualiser et utiliser les applications que vous avez autorisées.
Pendant l'exécution d'une tâche, Codex vous demandera l'autorisation avant d'utiliser une application.
Vous pouvez choisirToujours autoriser, afin que Codex n'ait plus besoin de demander lorsqu'il utilisera cette application à l'avenir.
Dans la sectionComputer Usedes paramètres de Codex, supprimez les applications de la liste "Toujours autoriser".
Approbation des opérations sensibles
Pour les opérations sensibles ou destructrices, Codex peut également demander une autorisation supplémentaire.
Dépannage
Si Codex ne peut pas voir ou contrôler une application, vérifiez les étapes suivantes :
- Sur macOS, ouvrezRéglages Système > Confidentialité et sécurité, vérifiez si les autorisations "Enregistrement de l'écran" et "Accessibilité" pour l'application Codex sont activées.
- Sur Windows, assurez-vous que l'application cible est visible dans la session de bureau active actuelle.
Utilisation verrouillée (macOS)
Utilisation verrouillée est une fonctionnalité exclusive à macOS.
Il permet à Codex de continuer à utiliser Computer Use après le verrouillage de votre Mac, mais vous devez l'activer manuellement au préalable.
Scénarios applicables : Démarrez une tâche Codex à partir d'un appareil connecté, la tâche doit utiliser une application de bureau, mais le Mac est déjà verrouillé.
Comment ça marche
Après avoir activé Utilisation verrouillée, Codex installe un plug-in d'autorisation Apple qui participe au processus de déverrouillage de macOS.
Utilisation verrouillée a une portée de conception très limitée : il ne s'agit pas d'un chemin de déverrouillage à distance général, et il ne permet pas à d'autres applications ou processus locaux de déverrouiller l'ordinateur.
Étapes d'activation
- OuvrezParamètres Codex > Computer Use。
- Activez "Utilisation verrouillée de l'ordinateur".
- Démarrer une tâche à l’aide de Computer Use depuis un appareil connecté (après le verrouillage de l’écran du Mac).
Mécanisme de sécurité
Lorsqu’une tâche Codex accède à des applications via Computer Use après le verrouillage de l’écran du Mac, Codex déverrouille temporairement le Mac tout en bloquant l’utilisation locale et en conservant la protection de l’écran de verrouillage.
Avant le déverrouillage, Codex vérifie que la demande de déverrouillage appartient à une session Computer Use active et de confiance.
En dehors de cette brève fenêtre d’autorisation, Codex refusera de déverrouiller et vous invitera à déverrouiller manuellement.
Protection de sécurité pour l’utilisation en mode verrouillé
| Mesures de protection | Description |
|---|---|
| Fenêtre d’autorisation de courte durée | La fenêtre d’autorisation n’est valable que pour la tentative de déverrouillage en cours et ne dure que très peu de temps. |
| Limité uniquement au déverrouillage automatique de Codex. | Le déverrouillage automatique n’est disponible que pour Codex dans une session Computer Use active. |
| Couvre tous les écrans | Pendant le déverrouillage temporaire du bureau, Codex prend le contrôle de tous les écrans. |
| Détection des entrées locales | Si une entrée locale au clavier ou au pointeur est détectée, Codex reverrouille immédiatement le Mac et met en pause le déverrouillage automatique jusqu’à ce que vous déverrouilliez manuellement. |
Guide de sécurité
Lorsque vous utilisez Computer Use, Codex peut voir le contenu de l’écran, prendre des captures d’écran et interagir avec les fenêtres, les menus, la saisie au clavier et l’état du presse-papiers dans l’application cible.
Le contenu de l’application, les pages de navigateur, les captures d’écran et les fichiers ouverts visibles dans l’application cible peuvent tous être traités par Codex comme contexte pendant l’exécution de la tâche.
Recommandations pour une utilisation sûre
| Suggestions | Description |
|---|---|
| Une cible à la fois | Ne donnez à Codex qu’une seule application ou qu’un seul processus cible clairement défini à la fois. |
| Interruptible à tout moment | Vous pouvez arrêter la tâche ou prendre le contrôle de l’ordinateur à tout moment. |
| Fermez les applications sensibles non nécessaires. | Gardez les applications sensibles fermées, sauf si la tâche les exige. |
| Soyez conscient de l’utilisation du premier plan sur Windows. | Sous Windows, Codex prend le contrôle de la saisie au premier plan ; il est recommandé d’utiliser un second appareil, une machine virtuelle, ou d’arrêter la tâche avant d’utiliser vous-même le bureau. |
| Évitez les tâches impliquant des clés. | Évitez d’exécuter des tâches qui nécessitent des clés, sauf si vous êtes présent et pouvez approuver chaque étape. |
| Examinez les invites d’autorisation des applications. | Examinez attentivement les invites d’autorisation avant d’autoriser Codex à utiliser une application. |
| Utilisez "Always Allow" avec prudence. | Ne choisissez "Always Allow" que pour les applications pour lesquelles vous faites confiance à Codex pour les utiliser automatiquement lors de futures tâches. |
| Les paramètres critiques nécessitent votre présence | Lorsque les paramètres concernent des éléments liés au compte, à la sécurité, à la confidentialité, au réseau, au paiement ou aux identifiants, soyez présent pour superviser. |
| Soyez attentif au changement de fenêtre | Si Codex commence à interagir avec la mauvaise fenêtre, annulez la tâche immédiatement. |
Précautions d'utilisation du navigateur
Si Codex utilise votre navigateur, il peut interagir avec des pages où vous êtes déjà connecté.
Passez en revue le comportement des sites web comme si vous effectuiez vous-même les actions : les pages web peuvent contenir du contenu malveillant ou trompeur, et les sites web peuvent considérer les clics approuvés, les soumissions de formulaires et les opérations effectuées en étant connecté comme provenant de votre compte.
Si vous devez continuer à utiliser votre navigateur pendant que Codex travaille, vous pouvez demander à Codex d'utiliser un autre navigateur.
Limitations des fonctionnalités
Computer Use ne peut pas automatiser les applications de terminal ni Codex lui-même, car les automatiser pourrait contourner la politique de sécurité de Codex.
Il ne peut pas non plus s'authentifier en tant qu'administrateur ni approuver les demandes d'autorisation de sécurité et de confidentialité sur l'ordinateur.
Description des données
Les modifications de fichiers et les commandes shell suivent toujours les paramètres d'approbation et de bac à sable de Codex.
Les modifications effectuées via des applications de bureau peuvent ne pas apparaître dans le panneau de révision tant qu'elles ne sont pas enregistrées sur le disque et suivies par le projet.
Vos paramètres de contrôle des données ChatGPT s'appliquent au contenu traité via Codex, y compris les captures d'écran réalisées par Computer Use.
autres extensions