Использование компьютера в Codex (управление компьютером)
Использование компьютера — это функция, предоставляемая Codex, которая позволяет Codex просматривать и управлять графическим пользовательским интерфейсом (GUI) на macOS или Windows.
Когда инструменты командной строки или структурированные интеграции не могут удовлетворить ваши потребности, вы можете использовать эту функцию для выполнения таких задач, как операции с настольными приложениями, взаимодействие с браузером и корректировка настроек приложений.
Computer Use даёт Codex возможность «видеть» и «управлять» настольными приложениями. В отличие от инструментов командной строки, Computer Use может напрямую взаимодействовать с графическим интерфейсом, включая нажатие кнопок, ввод текста, навигацию по меню и другие операции.
Функция Computer Use подходит для сценариев, требующих визуальной проверки или взаимодействия с графическим интерфейсом, например для тестирования настольных приложений, воспроизведения ошибок, проявляющихся только в графическом интерфейсе, или работы с источниками данных, не предоставляющими плагины.
Computer Use может влиять на приложения и состояние системы за пределами рабочей области проекта. Рекомендуется использовать его только для задач с чётко определённой областью и обращать внимание на запросы разрешений во время выполнения.
Настройка окружения
Перед использованием Computer Use необходимо завершить установку необходимого плагина и настройку разрешений.
Установка плагина Computer Use
Откройте настройки Codex и найдите опциюComputer Use, нажмитеInstall, чтобы установить плагин Computer Use.
После установки вы можете позволить Codex начать управлять настольными приложениями.

Настройка разрешений macOS
В macOS необходимо предоставить следующие два системных разрешения:
| Разрешение | Назначение |
|---|---|
| Запись экрана | Позволяет Codex просматривать содержимое интерфейса целевого приложения |
| Универсальный доступ | Позволяет Codex выполнять интерактивные операции, такие как щелчки, ввод текста и навигация |
При первом использовании система покажет запрос на разрешение; просто предоставьте его, как будет предложено.
Инструкции по использованию Windows
В Windows Computer Use должен запускаться на активном рабочем столе.
Во время выполнения задачи целевое приложение должно оставаться видимым на текущем активном рабочем столе. Codex перехватит указатель мыши и ввод с клавиатуры.
В Windows Computer Use не может работать в фоновом режиме. Если вам нужно одновременно продолжать использовать рабочий стол, рекомендуется использовать виртуальную машину или второе устройство.
Далее нам просто нужно попросить его в окне чата открыть веб-сайт, и он задействует Computer Use:

Сценарии использования
Когда задача зависит от графического пользовательского интерфейса и её трудно проверить только через файлы или вывод командной строки, следует выбирать Computer Use.
Сценарии, подходящие для использования Computer Use
| Сценарий | Описание |
|---|---|
| Тестирование десктопных приложений | Тестируйте приложения macOS, приложения Windows, рабочие процессы симулятора iOS или другие десктопные приложения, которые создаёт Codex |
| Операции в браузере | Выполнять задачи, которые необходимо завершить через веб-браузер |
| Воспроизведение ошибок | Воспроизводить ошибки, которые появляются только в графическом интерфейсе. |
| Корректировка настроек приложения. | Изменять настройки приложения, требующие щелчков в UI. |
| Источники данных без плагинов. | Просматривать информацию или выполнять операции с ней в приложениях или источниках данных, не предоставляющих плагины. |
| Фоновые задачи macOS. | Запускать фоновые задачи ограниченного масштаба в macOS, продолжая работать в другом месте. |
| Рабочие процессы между приложениями. | Выполнять автоматизированные рабочие процессы с участием нескольких приложений. |
Для локально собранных веб-приложений предпочитайте встроенный браузер Codex (браузер в приложении) вместо Computer Use.
Использование переднего плана Windows
В Windows Computer Use работает на текущем активном рабочем столе.
Он не может работать в фоновом режиме, поэтому во время выполнения задачи Codex перемещает указатель мыши, вводит текст и перехватывает операции переднего плана.
Если вам нужно, чтобы задачи Windows продолжали выполняться, пока вас нет, есть два варианта:
- Оставляйте устройство Windows разблокированным и подключенным к интернету, а с помощью функции удаленного управления на телефоне просматривайте прогресс или отправляйте дополнительные инструкции.
- Запустите Codex в виртуальной машине Windows, чтобы Computer Use перехватывал управление виртуальной машиной, а не вашим основным рабочим столом.
Запуск задачи Computer Use
Упомяните это в запросе.@Computerили@AppName, или напрямую позвольте Codex использовать Computer Use.
Нужно четко описать конкретное приложение, окно или процесс, с которыми должен работать Codex.

Вы можете ввести следующее в поле ввода, чтобы вызвать его:
使用 Computer Use 打开应用,复现登录流程中的 bug,并修复导致该 bug 的最简代码路径。 每次修改后,重新运行相同的 UI 流程进行验证。
Вы можете использовать в поле ввода@Chromeдля вызова браузера browser:

Например:
打开 @Chrome 并验证最新改动后结账页面是否仍然正常工作。
Если целевое приложение предоставляет специальный плагин или сервер MCP, отдавайте приоритет этим структурированным интеграциям для доступа к данным и повторяемых операций. Выбирайте Computer Use только тогда, когда требуется визуальный осмотр или управление приложением.
Разрешения и одобрение
Системные разрешения Computer Use отделены от одобрений Codex в приложении.
В macOS разрешения на запись экрана и универсальный доступ позволяют Codex просматривать приложения и управлять ими.
Одобрения приложений, в свою очередь, определяют, какие приложения вы разрешаете использовать Codex.
Чтение файлов, редактирование файлов и команды оболочки по-прежнему подчиняются настройкам песочницы и одобрений потока.
Управление разрешениями приложений
При использовании Computer Use Codex может просматривать и использовать только те приложения, которые вы разрешили.
Во время выполнения задачи Codex запросит ваше разрешение перед использованием приложения.
Вы можете выбратьВсегда разрешать, чтобы Codex больше не спрашивал разрешение при использовании этого приложения в будущем.
В настройках Codex в разделеComputer Useудалите приложения из списка «Всегда разрешать».
Одобрение чувствительных операций
Для чувствительных или деструктивных операций Codex также может запросить дополнительное разрешение.
Устранение неполадок
Если Codex не может просматривать приложение или управлять им, проверьте следующие шаги:
- В macOS откройтеSystem Settings > Privacy & Securityи проверьте, включены ли разрешения «Screen Recording» и «Accessibility» для приложения Codex.
- В Windows убедитесь, что целевое приложение видно в текущем активном сеансе рабочего стола.
Locked Use (macOS)
Locked Use — функция, доступная только в macOS.
Она позволяет Codex продолжать использовать Computer Use после блокировки Mac, но её нужно включить вручную заранее.
Применимые сценарии: запустить задачу Codex с подключённого устройства, задача должна использовать настольное приложение, но Mac уже заблокирован.
Как это работает
После включения Locked Use Codex устанавливает плагин авторизации Apple, участвующий в процессе разблокировки macOS.
Locked Use имеет очень ограниченную область применения: это не универсальный путь удалённой разблокировки, и он не позволяет другим приложениям или локальным процессам разблокировать компьютер.
Шаги включения
- ОткройтеCodex Settings > Computer Use。
- Включите «Locked computer use».
- Запустите задачу с использованием Computer Use с подключённого устройства (после блокировки экрана Mac).
Механизм безопасности
Когда задача Codex получает доступ к приложениям через Computer Use после блокировки экрана Mac, Codex временно разблокирует Mac, блокируя локальное использование и сохраняя защиту экрана блокировки.
Перед разблокировкой Codex проверяет, что запрос на разблокировку принадлежит активному и доверенному сеансу Computer Use.
Вне этого краткого окна авторизации Codex откажется разблокировать и предложит вам разблокировать вручную.
Защита безопасности при использовании в заблокированном состоянии
| Меры защиты | Описание |
|---|---|
| Кратковременное окно авторизации | Окно авторизации действительно только для текущей попытки разблокировки и длится очень недолго. |
| Ограничено только автоматической разблокировкой Codex. | Автоматическая разблокировка доступна только Codex в активном сеансе Computer Use. |
| Охватывает все мониторы | Во время временной разблокировки рабочего стола Codex получает контроль над всеми дисплеями. |
| Обнаружение локального ввода | Если обнаружен ввод с локальной клавиатуры или указателя, Codex немедленно снова блокирует Mac и приостанавливает автоматическую разблокировку, пока вы не разблокируете вручную. |
Руководство по безопасности
При использовании Computer Use Codex может просматривать содержимое экрана, делать снимки экрана и взаимодействовать с окнами, меню, вводом с клавиатуры и состоянием буфера обмена в целевом приложении.
Содержимое приложения, страницы браузера, снимки экрана и открытые файлы, видимые в целевом приложении, могут обрабатываться Codex как контекст во время выполнения задачи.
Рекомендации по безопасной работе
| Советы | Описание |
|---|---|
| Одна цель за раз | Давайте Codex только одно чёткое целевое приложение или процесс за раз. |
| Прерывание в любой момент | Вы можете остановить задачу или взять управление компьютером в любой момент. |
| Закройте ненужные конфиденциальные приложения. | Держите конфиденциальные приложения закрытыми, если они не требуются для задачи. |
| Учитывайте использование переднего плана в Windows. | В Windows Codex перехватывает ввод переднего плана; рекомендуется использовать второе устройство, виртуальную машину или остановить задачу, прежде чем самостоятельно использовать рабочий стол. |
| Избегайте задач, связанных с ключами. | Избегайте запуска задач, требующих ключей, если вы не присутствуете и не можете одобрить каждый шаг. |
| Просматривайте запросы разрешений приложений. | Внимательно проверяйте запросы разрешений, прежде чем разрешать Codex использовать приложение. |
| Используйте «Always Allow» с осторожностью. | Выбирайте «Always Allow» только для приложений, которым вы доверяете автоматическое использование Codex в будущих задачах. |
| Критические настройки требуют присутствия | Когда настройки касаются учетной записи, безопасности, конфиденциальности, сети, платежей или учетных данных, присутствуйте, чтобы контролировать процесс. |
| Учитывайте переключение окон | Если Codex начнёт взаимодействовать не с тем окном, немедленно отмените задачу. |
Меры предосторожности при использовании браузера
Если Codex использует ваш браузер, он может взаимодействовать со страницами, где вы уже вошли в систему.
Проверяйте поведение веб-сайтов так, как если бы вы выполняли эти действия сами: веб-страницы могут содержать вредоносный или вводящий в заблуждение контент, а веб-сайты могут воспринимать одобренные клики, отправку форм и операции, выполненные после входа в систему, как исходящие от вашей учётной записи.
Если вам нужно продолжать пользоваться своим браузером, пока работает Codex, можно сделать так, чтобы Codex использовал другой браузер.
Ограничения возможностей
Computer Use не может автоматизировать терминальные приложения или сам Codex, поскольку автоматизация этого может обойти политику безопасности Codex.
Он также не может аутентифицироваться как администратор или одобрять запросы разрешений безопасности и конфиденциальности на компьютере.
Описание данных
Изменения файлов и команды оболочки по-прежнему подчиняются настройкам подтверждения и песочницы Codex.
Изменения, внесённые через настольные приложения, могут не появляться на панели проверки до тех пор, пока они не будут сохранены на диск и не станут отслеживаться проектом.
Ваши настройки контроля данных ChatGPT применяются к контенту, обрабатываемому через Codex, включая снимки экрана, сделанные с помощью Computer Use.
Другие расширения