从零到一：手把手教你用Open-AutoGLM打造个人手机自动化助手

最新推荐文章于 2026-02-10 00:44:13 发布

原创最新推荐文章于 2026-02-10 00:44:13 发布 · 166 阅读

本内容遵循CC 4.0 BY-SA版权协议

从零到一：手把手教你用Open-AutoGLM打造个人手机自动化助手

在移动设备几乎成为人体延伸的今天，我们每天在手机上花费数小时处理各种任务：点外卖、购物、社交、查询信息……如果能有一个智能助手，只需用自然语言描述需求，就能自动完成这些操作，那该多好？Open-AutoGLM正是这样一个革命性的框架，它将大型语言模型的多模态理解能力与手机自动化控制相结合，让"动口不动手"的操作体验成为现实。

本文将带你从零开始，一步步搭建属于自己的手机自动化助手。无论你是技术爱好者还是想要提升效率的普通用户，都能通过本指南实现手机操作的自动化转型。我们将重点关注实际部署中的细节问题，特别是针对不同品牌安卓设备的适配技巧，帮助你避开常见陷阱，顺利踏上智能自动化之旅。

1. 环境准备与基础配置

在开始之前，我们需要确保开发环境和手机设备都准备就绪。这个过程虽然有些技术性，但只要按步骤操作，即使没有深厚技术背景的用户也能顺利完成。

1.1 开发环境搭建

首先需要在电脑上配置Python开发环境。Open-AutoGLM推荐使用Python 3.10或更高版本，这是确保所有依赖库兼容性的关键。如果你已经安装了其他版本的Python，建议使用虚拟环境来隔离项目依赖。

# 创建并激活虚拟环境（Windows系统）
python -m venv autoenv
autoenv\Scripts\activate

# 创建并激活虚拟环境（macOS/Linux系统）
python3 -m venv autoenv
source autoenv/bin/activate

接下来克隆项目仓库并安装依赖：

git clone https://github.com/zai-org/Open-AutoGLM.git
cd Open-AutoGLM
pip install -r requirements.txt
pip install -e .

提示：安装过程中如果遇到依赖冲突或版本问题，可以尝试先升级pip工具：pip install --upgrade pip，然后再重新执行安装命令。

1.2 ADB工具配置

ADB（Android Debug Bridge）是连接电脑和手机的关键桥梁。你需要从Android开发者官网下载平台工具包：

Windows用户：下载后解压到任意目录，然后将platform-tools文件夹的路径添加到系统环境变量PATH中
macOS用户：可以使用Homebrew直接安装：brew install android-platform-tools

验证ADB安装是否成功：

adb --version

如果显示版本信息，说明ADB已正确安装。接下来用USB数据线连接手机和电脑，确保数据线支持文件传输（不仅仅是充电）。在手机上启用USB调试模式：

进入「设置」→「关于手机」，连续点击「版本号」7次开启开发者模式
返回设置菜单，进入「系统」→「开发者选项」
开启「USB调试」和「USB调试（安全设置）」

连接后验证设备是否被识别：

adb devices

应该能看到类似这样的输出：

List of devices attached
ABCDEFG1234567890    device

1.3 输入法配置

为了让AI助手能够自动输入文字，需要安装特殊的输入法工具ADB Keyboard。这是一个通过ADB接收文本输入的系统输入法。

下载ADB Keyboard APK文件：

wget https://github.com/senzhk/ADBKeyBoard/raw/master/ADBKeyboard.apk
adb install ADBKeyboard.apk

安装后在手机上启用该输入法：

进入「设置」→「系统」→「语言和输入法」→「虚拟键盘」
启用「ADB Keyboard」并设置为默认输入法

也可以通过命令启用：

adb shell ime enable com.android.adbkeyboard/.AdbIME
adb shell ime set com.android.adbkeyboard/.AdbIME

2. 模型服务部署策略

Open-AutoGLM的核心是一个多模态视觉语言模型，它需要接收手机屏幕截图并输出操作指令。你有几种不同的部署选择，各有利弊。

2.1 使用第三方模型服务（推荐新手）

对于大多数用户，特别是初次接触的用户，建议使用已经部署好的模型服务。这样无需担心硬件要求和复杂的模型部署过程。

目前支持的两个主要第三方服务：

智谱AI BigModel服务：

python main.py --base-url https://open.bigmodel.cn/api/paas/v4 \
               --model "autoglm-phone" \
               --apikey "你的API密钥" \
               "打开美团搜索附近的火锅店"

ModelScope魔搭社区服务：

python main.py --base-url https://api-inference.modelscope.cn/v1 \
               --model "ZhipuAI/AutoGLM-Phone-9B" \
               --apikey "你的ModelScope API密钥" \
               "打开淘宝搜索无线耳机"

注意：使用第三方服务需要先注册相应平台的账号并获取API密钥。智谱AI和ModelScope都提供一定额度的免费使用，适合个人体验和小规模测试。

2.2 本地模型部署（高级用户）

如果你有足够的硬件资源（推荐NVIDIA GPU with 24GB+显存），可以考虑本地部署模型，这样可以获得更好的响应速度和数据隐私性。

使用vLLM推理引擎部署：

python3 -m vllm.entrypoints.openai.api_server \
    --served-model-name autoglm-phone-9b \
    --allowed-local-media-path / \
    --mm-encoder-tp-mode data \
    --mm_processor_cache-type shm \
    --mm_processor_kwargs '{"max_pixels":5000000}' \
    --max-model-len 25480 \
    --chat-template-content-format string \
    --limit-mm-per-prompt '{"image":10}' \
    --model zai-org/AutoGLM-Phone-9B \
    --port 8000

部署成功后，可以使用本地服务地址：

python main.py --base-url http://localhost:8000/v1 \
               --model "autoglm-phone-9b" \
               "打开微信给文件传输助手发送测试消息"

2.3 模型部署验证

无论选择哪种部署方式，都建议运行验证脚本来确认模型服务正常工作：

python scripts/check_deployment_cn.py \
    --base-url http://你的服务地址/v1 \
    --model 你的模型名称

如果看到模型能够正确解析测试任务并输出合理的操作步骤，说明部署成功。

3. 设备连接与调试技巧

稳定的设备连接是自动化操作的基础。除了传统的有线连接，Open-AutoGLM还支持无线连接，让操作更加灵活。

3.1 无线ADB连接配置

无线连接让你摆脱数据线的束缚，特别适合需要长时间运行自动化任务的场景。

对于Android 11及以上设备：

确保手机和电脑在同一WiFi网络
在手机上进入「开发者选项」→「无线调试」
选择「使用配对码配对设备」，记下显示的IP地址、端口号和配对码
在电脑上执行：
```
adb pair IP地址:端口号
```
输入配对码完成配对
配对成功后使用：
```
adb connect IP地址:调试端口
```

对于旧版Android设备：

# 先用USB线连接
adb devices
adb tcpip 5555
# 断开USB线后使用无线连接
adb connect 手机IP地址:5555

验证无线连接：

adb devices

应该能看到无线连接的设备信息。

3.2 多设备管理

如果你有多个设备需要管理，可以通过指定设备ID来操作特定设备：

# 列出所有连接设备
adb devices -l

# 指定设备执行任务
python main.py --device-id 设备ID \
               --base-url 模型服务地址 \
               --model 模型名称 \
               "任务描述"

这对于同时测试多台设备或者区分开发机和测试机非常有用。

3.3 常见连接问题排查

设备连接过程中可能会遇到各种问题，以下是几个常见情况的解决方法：

问题现象	可能原因	解决方案
`adb devices`无输出	USB调试未开启或数据线问题	检查开发者选项，更换数据线
设备显示`unauthorized`	手机未授权电脑调试	在手机上点击「允许USB调试」
能打开应用但无法点击	缺少安全调试权限	开启「USB调试(安全设置)」
文本输入乱码	ADB Keyboard未启用	在系统设置中启用ADB Keyboard

如果遇到其他问题，可以尝试重启ADB服务：

adb kill-server
adb start-server

4. 实战应用与任务设计

现在来到最有趣的部分——让AI助手实际帮你完成任务。Open-AutoGLM支持50多款主流应用，覆盖社交、购物、娱乐、生活服务等各个领域。

4.1 基本任务执行

最简单的使用方式是通过命令行直接指定任务：

python main.py --base-url 你的模型服务地址 \
               --model 你的模型名称 \
               "打开美团外卖，订购一份披萨送到北京市海淀区xxx地址"

AI助手会自动执行以下步骤：

解锁手机（如果设置了锁屏密码需要先处理）
找到并启动美团外卖应用
搜索披萨店铺
选择商品并加入购物车
填写送餐地址并完成支付

整个过程完全自动化，你只需要在需要确认或输入密码时介入。

4.2 交互式任务模式

对于复杂的多步骤任务，可以使用交互模式：

python main.py --base-url 你的模型服务地址 --model 你的模型名称

进入交互模式后，你可以连续输入多个任务：

> 打开微信
> 找到张三的聊天窗口
> 发送消息"今晚7点老地方见"
> 打开美团查看餐厅预订情况

交互模式下每个任务执行后都会等待你的下一个指令，适合需要根据前序结果决定后续操作的场景。

4.3 复杂任务设计技巧

为了让AI助手更好地理解你的意图，任务描述应该尽可能明确和具体：

不推荐的描述："帮我处理一下邮件" 推荐的描述："打开Gmail应用，标记所有未读邮件为已读，然后将包含'会议'主题的邮件移动到工作文件夹"

对于包含多个条件的任务，可以这样描述： "打开京东APP，搜索机械键盘，筛选价格300-500元、青轴、有线连接的商品，按销量排序，查看第一个商品的详细评价"

4.4 支持的应用和操作

Open-AutoGLM支持丰富的操作类型，几乎覆盖所有常见的手机交互：

操作类型	描述	示例
`Launch`	启动应用	打开微信
`Tap`	点击屏幕坐标	点击搜索按钮
`Type`	输入文本	输入搜索关键词
`Swipe`	滑动屏幕	向下滚动页面
`Back`	返回上一页	返回上级菜单
`Home`	返回桌面	回到主屏幕

支持的主流应用包括：

社交：微信、QQ、微博、抖音
购物：淘宝、京东、拼多多、美团
工具：高德地图、百度地图、浏览器
娱乐：哔哩哔哩、爱奇艺、网易云音乐

可以通过以下命令查看完整支持的应用列表：

python main.py --list-apps

5. 高级功能与自定义开发

当你熟悉基本使用后，可以探索更多高级功能来提升自动化体验。

5.1 Python API集成

Open-AutoGLM提供了完整的Python API，可以集成到你自己的项目中：

from phone_agent import PhoneAgent
from phone_agent.model import ModelConfig

# 配置模型连接
model_config = ModelConfig(
    base_url="http://localhost:8000/v1",
    model_name="autoglm-phone-9b",
    api_key="你的API密钥"  # 如果需要
)

# 创建Agent实例
agent = PhoneAgent(model_config=model_config)

# 执行单个任务
result = agent.run("打开小红书搜索穿搭攻略")
print(f"任务执行结果: {result}")

# 执行多个连续任务
tasks = [
    "打开天气应用查看今天温度",
    "如果温度高于30度就打开美团买冷饮",
    "否则打开淘宝买热咖啡"
]

for task in tasks:
    result = agent.run(task)
    if not result.success:
        print(f"任务失败: {result.error}")
        break

5.2 自定义回调处理

对于一些需要人工干预的场景，可以设置自定义回调函数：

def confirmation_callback(message):
    """处理敏感操作确认"""
    print(f"请确认操作: {message}")
    response = input("确认执行? (y/n): ")
    return response.lower() == 'y'

def takeover_callback(message):
    """处理需要人工接管的场景"""
    print(f"请手动完成: {message}")
    input("完成后按回车继续...")

agent = PhoneAgent(
    model_config=model_config,
    confirmation_callback=confirmation_callback,
    takeover_callback=takeover_callback
)

这在处理支付、登录验证等敏感操作时特别有用。

5.3 远程监控与控制

结合无线ADB连接，你可以实现远程设备的监控和控制：

import time
from phone_agent.adb import ADBConnection

def monitor_device(device_id, check_interval=60):
    """监控设备状态并执行相应任务"""
    conn = ADBConnection()
    
    while True:
        # 检查设备是否在线
        devices = conn.list_devices()
        if device_id not in [d.device_id for d in devices]:
            print("设备离线，尝试重新连接...")
            conn.connect(device_id)
        
        # 执行定期任务
        agent.run("检查微信新消息并回复'稍后处理'")
        
        time.sleep(check_interval)

# 启动监控
monitor_device("你的设备ID")

5.4 性能优化技巧

随着使用时间的增长，你可能会注意到一些性能问题。以下是几个优化建议：

批量任务处理：对于多个相关任务，尽量一次性提交而不是分开执行，减少模型加载和连接开销。

连接池管理：如果需要频繁连接不同设备，可以维护一个ADB连接池：

from phone_agent.adb import ADBConnectionPool

class DeviceManager:
    def __init__(self, max_connections=5):
        self.pool = ADBConnectionPool(max_connections)
    
    def execute_on_device(self, device_id, task):
        with self.pool.get_connection(device_id) as conn:
            if conn.is_connected():
                agent = PhoneAgent(device_connection=conn)
                return agent.run(task)
        return None

结果缓存：对于频繁执行的相同任务，可以缓存结果避免重复计算：

from functools import lru_cache

@lru_cache(maxsize=100)
def cached_task_execution(task_description, device_id):
    """带缓存的任务执行"""
    agent = PhoneAgent(device_id=device_id)
    return agent.run(task_description)

在实际使用中，我发现最实用的场景是那些重复性高、操作路径固定的任务。比如每天早上自动打开新闻应用浏览头条，或者定时检查外卖平台的优惠信息。对于复杂多变的任务，建议先手动执行几次让AI学习你的操作习惯，再尝试自动化。

避免过度依赖自动化处理敏感操作，比如金融交易或重要通信。虽然Open-AutoGLM提供了确认机制，但在关键操作上保持人工监督是明智的选择。随着使用经验的积累，你会逐渐发现更多适合自动化的场景，让这个工具真正成为提升生活效率的智能助手。

标签