AI 与开发

TuriX CUA:桌面自动化环境配置与任务测试

  • 0 次阅读
  • 0 条评论
文章摘要

TuriX CUA 是通过屏幕图像操作桌面的智能代理。程序读取当前画面,让模型判断下一步动作,再执行鼠标和键盘输入,适合研究跨应用的桌面任务。

项目介绍

TuriX CUA 是通过屏幕图像操作桌面的智能代理。程序读取当前画面,让模型判断下一步动作,再执行鼠标和键盘输入,适合研究跨应用的桌面任务。

运行时需要桌面会话、屏幕读取与输入权限,以及能够处理任务的模型连接。不同系统分支和版本的支持范围不同,应先选择与当前操作系统对应的安装路线。

核心功能

功能 说明
屏幕观察 用当前桌面截图作为模型输入。
任务规划 把目标拆成下一步可执行的操作。
输入执行 将动作转为鼠标和键盘事件。
循环反馈 动作后重新查看桌面并判断是否完成。

界面展示

TuriX CUA 官方项目配图

图 1:官方仓库提供的项目示意图,用于说明功能与布局。

TuriX CUA 官方界面示例
项目官方界面示例,展示上游演示数据。

项目信息

项目 说明
类型 项目指南
分类 AI 与开发
项目仓库 TurixAI/TuriX-CUA
整理日期 2026-11-14

安装与运行

在有桌面环境的 Linux 电脑准备 Git、Conda。不同平台使用上游对应分支;无桌面 DSM 容器不能直接执行鼠标键盘任务。

1. 安装和初始化

git clone https://github.com/TurixAI/TuriX-CUA.git
cd TuriX-CUA
git checkout multi-agent-linux
conda create -n turix_env python=3.12
conda activate turix_env
pip install -r requirements.txt

2. 第一次使用

按所选分支 README 编辑配置,分别填写 planner、brain、actor 等角色的供应商、模型名与自己的 API Key。完成桌面截图和输入权限配置后运行:

python examples/main.py

第一项任务只打开一个公开页面或切换主题,检查每步截图和动作是否对应。

Windows 使用上游 multi-agent-windows 分支,macOS 旧版使用 mac_legacy;配置文件格式随分支变化,不把其他平台示例直接复制覆盖。

常见问题

  • 命令不存在:确认依赖已安装,关闭并重新打开终端,再检查实际使用的环境。Python 虚拟环境与系统 Python、Windows 与 WSL 的工具路径各自独立。
  • 下载依赖失败:先查看具体失败的仓库和包名,检查该终端的网络;浏览器能访问不代表命令行已使用同一代理。
  • 配置后仍报错:从当前项目目录启动,检查配置文件名、变量名和日志。真实账号与 API Key 放在本机私有配置中,不复制到公开教程或截图。

更新与备份

更新前保存项目配置、输入资料和输出结果。源码项目记录当前提交与依赖锁文件,比较新版本说明后再更新;安装包项目保留可回退的版本号。服务账号的授权与模型账单在对应平台管理,删除本地目录不会自动撤销授权。

官方资料