Silas 的知识库

Appearance

Codex App 使用小技巧3️⃣ - 使用 Computer Use 自动化操作 ​

使用 Computer Use 功能去操作电脑上的应用/浏览器等工具完成自动化操作 在一些集成测试或者重复工作(需要配置录制功能形成 skill)有出色的效果

插件安装 ​

  1. Codex -> Plugins(插件) 进入

image-20260723175234282

  1. 搜索 computer ，点击安装，我这里已经安装了，只有立即试用了

    image-20260723175837415

插件的权限配置 ​

  1. Codex -> Settings(设置) -> Computer Use(电脑操控)

    这里建议打开 Any App(任意应用), Google Chrome, Locked use(锁屏下操作) 任意应用用可使用顾名思义，所有应用都可以由 Codex App 操纵，会要求你打开 隐私与安全 中的 Codex App 操作其他应用的权限，打开就行了，如果担心 Codex App 的可控性，那就不开启

    image-20260723181057075

    image-20260723194450672

    锁屏下操作 比较重要，因为可以在你电脑锁屏的时候仍然进行自动化操作

  2. Google Chrome 配置网站的权限

    我建议默认都是 始终询问，然后在一些特定的网站的时候才配置都是允许，比如 pornhub.com github.com

    image-20260723181204662

    image-20260723181305451

插件使用测试 ​

  1. 一个小测试，打开网易云音乐，搜索你想要的歌曲

    image-20260723175922734

    image-20260723180000277

  • 这里 Codex 一开始去是 chrome 浏览器打开了，更正他之后就正常打开 app 了

    image-20260723180123521

  • 这里的这个画中画的效果可以在权限配置 1 中的 始终隐藏画中画 中关闭，其实不关闭更好观察，不过就是在 macOS 26.x 上会经常拉满 GPU 的占用

    image-20260723180248506

  • 完成效果

    image-20260723180456447

  1. 使用 google chrome 搜索查看 x 的新闻

    image-20260723180918118

  2. 记一条备忘录内容

    image-20260723191959893

    image-20260723195619231

Computer Use 的使用特性 ​

使用的是屏幕录制的能力+鼠标指针的能力， 结合一起就是完整的 Computer Use 了，所以在系统设置的辅助功能里面开启 Codex 的辅助功能开关

image-20260723180320196

image-20260723200314700

总结 ​

  1. 安装插件
  2. 配置插件权限
  3. 开启系统设置中的 App 权限&辅助功能权限