项目介绍
Gemini Computer Use Preview 是 Google 提供的浏览器操作示例。程序把页面截图交给模型分析,再把模型返回的点击、输入、滚动等动作交给浏览器执行,完成后继续截图,直到任务结束。
它适合研究“看页面再操作”的自动化流程。运行环境包括 Python 程序、Playwright 浏览器和 Gemini 模型连接,三者中任何一个没有准备好,任务都无法正常运行。
核心功能
| 功能 | 说明 |
|---|---|
| 页面截图反馈 | 把当前页面画面提供给模型,作为下一步决策依据。 |
| 浏览器动作 | 把模型给出的点击、输入和滚动转为实际浏览器操作。 |
| 多轮任务 | 操作后再次截图,继续判断任务是否完成。 |
| 模型连接路线 | 按配置选择 Gemini Developer API 或 Vertex AI。 |
功能示意

图 1:自制功能示意图,概括本文的使用要点。
项目信息
| 项目 | 说明 |
|---|---|
| 类型 | 项目指南 |
| 分类 | AI 与开发 |
| 项目仓库 | google-gemini/computer-use-preview |
| 整理日期 | 2026-11-14 |
安装与运行
在 Linux、macOS 或 WSL 准备 Python、浏览器运行依赖和自己的 Gemini API Key。它控制电脑浏览器,运行在开发电脑或有桌面环境的虚拟机。
1. 安装和初始化
git clone https://github.com/google-gemini/computer-use-preview.git
cd computer-use-preview
python3 -m venv .venv
source .venv/bin/activate
python -m pip install -r requirements.txt
python -m playwright install chromium
read -r -s -p '输入自己的 Gemini API Key: ' GEMINI_API_KEY
printf '
'
export GEMINI_API_KEY
python main.py --query "Go to Google and type 'Hello World' into the search bar"
2. 第一次使用
先用独立浏览器环境完成上面的公开网页任务,检查截图、动作和最终页面是否一致。Linux 提示缺少系统浏览器依赖时,用 python -m playwright install --with-deps chromium 在对应环境安装依赖;不要在生产账号里直接测试购买、发送或删除任务。
常见问题
- 命令不存在:确认依赖已安装,关闭并重新打开终端,再检查实际使用的环境。Python 虚拟环境与系统 Python、Windows 与 WSL 的工具路径各自独立。
- 下载依赖失败:先查看具体失败的仓库和包名,检查该终端的网络;浏览器能访问不代表命令行已使用同一代理。
- 配置后仍报错:从当前项目目录启动,检查配置文件名、变量名和日志。真实账号与 API Key 放在本机私有配置中,不复制到公开教程或截图。
更新与备份
更新前保存项目配置、输入资料和输出结果。源码项目记录当前提交与依赖锁文件,比较新版本说明后再更新;安装包项目保留可回退的版本号。服务账号的授权与模型账单在对应平台管理,删除本地目录不会自动撤销授权。