AI 与开发

MAI-UI:手机界面代理部署与评估

  • 0 次阅读
  • 0 条评论
文章摘要

MAI-UI 是面向图形界面操作的模型与配套项目,评估时应同时考虑模型推理服务、设备连接和执行反馈,不能把它当成普通聊天客户端。 界面代理读取当前屏幕并输出操作,由设备控制层执行,再根据新画面决定下一步。推理服务、截图和动作反馈缺一不可,模型权重本身不是完整控制程序。 适合研究手机自动化与界面任务评估。需要准备测试设备和可复现的页面状态,并记录每一步,以判断错误来自识别、动作还是结束条件。

项目介绍

MAI-UI 是面向图形界面操作的模型与配套项目,评估时应同时考虑模型推理服务、设备连接和执行反馈,不能把它当成普通聊天客户端。

界面代理读取当前屏幕并输出操作,由设备控制层执行,再根据新画面决定下一步。推理服务、截图和动作反馈缺一不可,模型权重本身不是完整控制程序。

适合研究手机自动化与界面任务评估。需要准备测试设备和可复现的页面状态,并记录每一步,以判断错误来自识别、动作还是结束条件。

核心功能

功能 作用与使用方式
界面理解 分析屏幕中的目标与状态
动作生成 选择点击输入等操作
设备反馈 执行后取得新画面
模型规格 按硬件选择可运行版本
轨迹评估 记录成功率与失败步骤

功能示意

MAI-UI 功能示意图

图 1:自制功能示意图,概括本文的使用要点。

MAI-UI 官方效果示例
官方效果示例。

项目信息

项目 说明
类型 项目指南
分类 AI 与开发
项目仓库 Tongyi-MAI/MAI-UI
整理日期 2026-11-14

安装与运行

在受支持的 NVIDIA GPU Linux 电脑准备驱动与 Python 虚拟环境。当前仓库同时包含后续 Qwen-UI-Agent,旧 MAI-UI 代码已移到 MAI-UI 子目录,下方明确使用原 MAI-UI 8B 模型。

1. 安装和初始化

git clone https://github.com/Tongyi-MAI/MAI-UI.git
cd MAI-UI/MAI-UI
python3 -m venv .venv
source .venv/bin/activate
python -m pip install vllm==0.11.0
python -m pip install -r requirements.txt
python -m vllm.entrypoints.openai.api_server --model Tongyi-MAI/MAI-UI-8B --served-model-name MAI-UI-8B --host 127.0.0.1 --port 8000 --tensor-parallel-size 1 --trust-remote-code

2. 第一次使用

等待模型下载并加载后,在同一台电脑检查 8000 的模型 API,再按原 MAI-UI README 配置设备控制与任务脚本。手机需要 ADB 授权,先用 adb devices 确认可连接。模型 API 仅负责推理,不能单靠启动它就声称已经完成手机自动操作。

模型加载的显存需求与上下文长度有关,先用短任务验证。本文绑定原 MAI-UI 路线,Qwen-UI-Agent 的模型、依赖和任务接口另按其子目录准备,不混用两个版本的配置。

常见问题

  • 命令不存在:确认依赖已安装,关闭并重新打开终端,再检查实际使用的环境。Python 虚拟环境与系统 Python、Windows 与 WSL 的工具路径各自独立。
  • 下载依赖失败:先查看具体失败的仓库和包名,检查该终端的网络;浏览器能访问不代表命令行已使用同一代理。
  • 配置后仍报错:从当前项目目录启动,检查配置文件名、变量名和日志。真实账号与 API Key 放在本机私有配置中,不复制到公开教程或截图。

更新与备份

更新前保存项目配置、输入资料和输出结果。源码项目记录当前提交与依赖锁文件,比较新版本说明后再更新;安装包项目保留可回退的版本号。服务账号的授权与模型账单在对应平台管理,删除本地目录不会自动撤销授权。

官方资料