AI 与开发

Gemini Computer Use Preview:安装与浏览器任务示例

  • 0 次阅读
  • 0 条评论
文章摘要

Gemini Computer Use Preview 是 Google 提供的浏览器操作示例。程序把页面截图交给模型分析,再把模型返回的点击、输入、滚动等动作交给浏览器执行,完成后继续截图,直到任务结束。

项目介绍

Gemini Computer Use Preview 是 Google 提供的浏览器操作示例。程序把页面截图交给模型分析,再把模型返回的点击、输入、滚动等动作交给浏览器执行,完成后继续截图,直到任务结束。

它适合研究“看页面再操作”的自动化流程。运行环境包括 Python 程序、Playwright 浏览器和 Gemini 模型连接,三者中任何一个没有准备好,任务都无法正常运行。

核心功能

功能 说明
页面截图反馈 把当前页面画面提供给模型,作为下一步决策依据。
浏览器动作 把模型给出的点击、输入和滚动转为实际浏览器操作。
多轮任务 操作后再次截图,继续判断任务是否完成。
模型连接路线 按配置选择 Gemini Developer API 或 Vertex AI。

功能示意

Gemini Computer Use 示例 功能示意图

图 1:自制功能示意图,概括本文的使用要点。

项目信息

项目 说明
类型 项目指南
分类 AI 与开发
项目仓库 google-gemini/computer-use-preview
整理日期 2026-11-14

安装与运行

在 Linux、macOS 或 WSL 准备 Python、浏览器运行依赖和自己的 Gemini API Key。它控制电脑浏览器,运行在开发电脑或有桌面环境的虚拟机。

1. 安装和初始化

git clone https://github.com/google-gemini/computer-use-preview.git
cd computer-use-preview
python3 -m venv .venv
source .venv/bin/activate
python -m pip install -r requirements.txt
python -m playwright install chromium
read -r -s -p '输入自己的 Gemini API Key: ' GEMINI_API_KEY
printf '
'
export GEMINI_API_KEY
python main.py --query "Go to Google and type 'Hello World' into the search bar"

2. 第一次使用

先用独立浏览器环境完成上面的公开网页任务,检查截图、动作和最终页面是否一致。Linux 提示缺少系统浏览器依赖时,用 python -m playwright install --with-deps chromium 在对应环境安装依赖;不要在生产账号里直接测试购买、发送或删除任务。

常见问题

  • 命令不存在:确认依赖已安装,关闭并重新打开终端,再检查实际使用的环境。Python 虚拟环境与系统 Python、Windows 与 WSL 的工具路径各自独立。
  • 下载依赖失败:先查看具体失败的仓库和包名,检查该终端的网络;浏览器能访问不代表命令行已使用同一代理。
  • 配置后仍报错:从当前项目目录启动,检查配置文件名、变量名和日志。真实账号与 API Key 放在本机私有配置中,不复制到公开教程或截图。

更新与备份

更新前保存项目配置、输入资料和输出结果。源码项目记录当前提交与依赖锁文件,比较新版本说明后再更新;安装包项目保留可回退的版本号。服务账号的授权与模型账单在对应平台管理,删除本地目录不会自动撤销授权。

官方资料