在人工智能代理（AI Agent）迅猛发展的当下，手机作为日常交互的核心入口，正迎来革命性变革。在过去几天，中国的广大网名被一款AI智能手机助手‑‑‑豆包智能手机助手刷频了，为此捅了马蜂窝，它遭到腾讯、阿里巴巴等的封杀，不得出降级使用。不过，刚刚，GitHub 上由 zai‑org 维护的 Open‑AutoGLM 项目（https://github.com/zai‑org/Open‑AutoGLM），是一个完全开源的手机 AI 代理模型与框架就开源了，旨在“为每个人解锁 AI 手机”。 该项目于 2025 年 12 月初正式发布，迅速吸引了开发者社区的关注。截至 2025 年 12 月 11 日，仓库已收获约 5700+ 星标，更新活跃度高，最近一次提交于 12 月 9 日。 作为 Z.ai（智谱 AI）旗下开源生态的一部分，Open‑AutoGLM 基于 AutoGLM 核心技术，专为 Android 设备设计，支持通过自然语言指令实现屏幕感知、多模态理解和自动化操作。它不仅仅是一个工具库，更是构建“自主手机代理”的完整解决方案，帮助用户从繁琐的手动操作中解放出来。本文将从项目背景、核心架构、功能特性、安装部署、实际应用示例、性能基准、社区生态到未来展望，全面剖析这个“手机大脑”的开源奇迹。
项目背景：从 GLM 家族到手机代理的开源跃进
Z.ai（原智谱 AI）作为中国领先的 AI 公司，源于清华大学的技术积累，以 GLM（General Language Model）系列大模型闻名全球。从 2022 年的 ChatGLM‑6B 开源双语对话模型，到 2025 年的 GLM‑4.5 和 GLM‑130B 等高级推理模型，Z.ai 始终强调“安全有益的通用人工智能”（AGI）。 Open‑AutoGLM 是其代理技术在移动端的延伸，灵感来源于 AutoGLM 项目——一个自主 GUI（图形用户界面）代理框架。 AutoGLM 最初针对桌面环境设计，能通过视觉‑语言模型（如 GLM‑4V）理解屏幕截图、规划动作序列，并在复杂任务中实现高自主性。Open‑AutoGLM 则将这一能力移植到手机，聚焦 Android 生态，解决“手机操作碎片化”的痛点。
项目发布时机恰逢 AI 代理热潮：2025 年，OpenAI 的 GPT‑4o 和 Anthropic 的 Claude 等模型已支持工具调用，但多局限于云端，且缺乏移动端优化。Z.ai 选择开源 AutoGLM‑Phone‑9B 模型（9B 参数规模），并提供完整框架，强调“本地部署、全控制”。 这不仅降低了门槛，还规避了隐私风险——用户数据无需上传云端。根据项目 README，Open‑AutoGLM 支持中英文主流应用，覆盖 50 多个高频场景，如社交、电商、地图导航等。 其目标是“让 AI 成为手机的隐形助手”，例如，用户只需说“打开小红书搜索美食”，代理即可自动解析意图、导航界面、输入查询并返回结果。
仓库采用 MIT 许可，鼓励全球开发者贡献。 维护者 zai‑org 是 Z.ai 的官方组织，旗下还有 ChatGLM3、CogVLM 等热门仓库，总星标超 50k。 近期更新包括模型权重上传到 Hugging Face 和 ModelScope，以及框架的 ADB 集成优化，体现了快速迭代的精神。
核心架构：多模态感知 + 智能规划的闭环系统
Open‑AutoGLM 的技术架构简洁而强大，分为感知层、规划层和执行层，形成“理解‑决策‑行动”的闭环。
首先，感知层 依赖视觉‑语言模型（VLM）实现屏幕理解。核心模型 AutoGLM‑Phone‑9B 基于 GLM‑4.1V‑9B‑Thinking 架构，融合了 9B 参数的 Transformer 结构，支持图像输入（如屏幕截图）和文本提示。 它能识别界面元素（如按钮、文本框）、理解上下文（如当前 APP 状态），并生成描述性输出。例如，输入一张微信聊天截图，模型可输出“当前在微信朋友圈，顶部有搜索栏和发布按钮”。这一层借鉴了 CogVLM 的多模态融合技术，确保高准确率的 OCR（光学字符识别）和对象检测。
其次，规划层 引入 AutoGLM 的“反思机制”（Reflection），使用大语言模型（LLM）生成动作序列。框架将用户意图分解为子任务，如“打开 APP → 切换 tab → 输入关键词 → 点击搜索”。规划算法结合 ReAct（Reasoning + Acting）范式，支持工具调用（如 ADB 命令生成）。 为提升鲁棒性，项目集成了错误恢复模块：若操作失败，代理会重新感知屏幕并调整计划。
最后，执行层 通过 Android Debug Bridge (ADB) 桥接硬件。ADB 允许框架从 PC 端远程控制手机，包括点击坐标、滑动、输入文本等。架构支持无线 ADB，适用于真实设备测试。 整体上，Open‑AutoGLM 兼容 Python 3.8+ 环境，依赖库包括 torch、transformers 和 opencv‑python，用于模型推理和图像处理。
相比闭源竞品如 Google 的 Project Astra，Open‑AutoGLM 的开源性是最大亮点：开发者可微调模型，适配自定义 APP 或 iOS 扩展（虽当前聚焦 Android）。
功能特性：从简单指令到复杂工作流的全面覆盖
Open‑AutoGLM 的亮点在于其实用性和扩展性。核心特性包括：
- 自然语言交互：用户以中文或英文描述需求，代理自动解析。支持嵌套指令，如“帮我订 Uber，去最近的超市买菜”。
- 多模态支持：集成 VLM 处理屏幕图像、音频（未来扩展）和文本，确保跨语言兼容。已验证 50+ APP，包括微信（发消息、转账）、淘宝（搜索下单）、抖音（刷视频点赞）、美团（点外卖）、Gmail（查邮件）和 Google Maps（导航）。
- 自动化工作流：生成可执行脚本，支持循环（如“连续刷 10 条新闻”）和条件分支（如“如果余额不足，切换支付方式”）。
- 本地部署优先：无云依赖，适合隐私敏感场景。模型权重开源，推理可在消费级 GPU（如 RTX 3060）上运行。
- 扩展接口：提供 API 钩子，便于集成第三方工具，如语音输入（Whisper）或外部数据库查询。
此外，框架内置安全机制：操作前需用户确认高风险动作（如支付），并记录日志以防滥用。
安装部署：零门槛上手指南
部署 Open‑AutoGLM 简单高效，README 提供一步步教程。 首先，克隆仓库：
git clone https://github.com/zai-org/Open-AutoGLM.git cd Open-AutoGLM
安装依赖（使用 conda 或 venv）：
pip install -r requirements.txt # 核心依赖：torch>=2.0, transformers, opencv-python, adbutils
配置 ADB：启用手机 USB 调试，连接 PC 并运行 adb devices 验证。无线模式下，使用 adb connect <IP:PORT>。
下载模型：从 Hugging Face 拉取 AutoGLM‑Phone‑9B：
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("zai-org/AutoGLM-Phone-9B")
tokenizer = AutoTokenizer.from_pretrained("zai-org/AutoGLM-Phone-9B")
启动代理服务器：运行 python main.py ‑‑device_id <ADB_DEVICE_ID>，即可进入交互模式。整个过程不到 10 分钟，适合初学者。
实际应用示例：从入门到高级任务
项目提供丰富示例，展示框架潜力。入门级：打开小红书搜索美食。
用户输入：“打开小红书搜索美食推荐。”
代理流程：
- 感知：截取主屏，识别“小红书”图标。
- 规划：点击图标 → 等待加载 → 点击搜索栏 → 输入“美食推荐”。
- 执行：ADB 发送 tap(坐标) 和 input_text 命令。
代码片段（简化）：
from autoglm_phone import PhoneAgent
agent = PhoneAgent(model_path="zai-org/AutoGLM-Phone-9B")
result = agent.run("Open Xiaohongshu and search for food")
print(result) # 输出：任务完成，搜索结果页面已加载
高级示例：电商下单工作流。“在淘宝买一件 iPhone 壳，红色，低于 50 元。”
代理会：打开淘宝 → 搜索“iPhone 壳红色” → 筛选价格 → 添加购物车 → 结算（需手动确认支付）。成功率达 85%以上，取决于网络和界面变化。
另一个亮点是多步任务，如“用微信转账 100 元给朋友小明，然后发消息确认”。框架的反思机制确保即使界面卡顿，也能自适应。
性能基准：高效且可靠的实证
基准测试显示，AutoGLM‑Phone‑9B 在 Android 设备上的端到端延迟为 2‑5 秒/步，优于类似框架如 AppAgent（延迟 7s+）。 在 50 个高频任务数据集上，成功率 78%（中文 APP 更高，达 82%），覆盖社交（90%）、电商（75%）和导航（85%）。与闭源模型比较，它在本地 GPU 上的能耗仅为云端代理的 30%。项目计划发布更多基准数据集，推动社区优化。
社区生态与贡献：开源协作的活力源泉
Open‑AutoGLM 的社区活跃于 GitHub Issues 和 Reddit（如 r/LocalLLaMA）。 贡献指南鼓励 PR：添加新 APP 支持、模型微调脚本或 bug 修复。目前有 1 个开放 Issue，焦点是 iOS 兼容。Z.ai 提供 SDK（如 Python 接口），便于集成到现有项目。未来，社区可扩展到语音代理或跨设备协作。
影响与未来展望：AI 手机的开源先锋
Open‑AutoGLM 的开源不仅 democratize 了 AI 代理技术，还为残障人士和效率工作者带来福祉。想象一下，老人用语音让手机自动预约医生，或开发者自动化测试 APP。挑战包括界面动态变化和隐私合规，但 Z.ai 的 AGI 愿景将驱动迭代。
展望 2026 年，项目或集成 GLM‑4.5‑Air 等轻量模型，支持边缘计算。无论你是开发者还是 AI 爱好者，Open‑AutoGLM 都是值得 Star 的宝藏。它证明：开源是通往智能未来的钥匙。
▶️ 喜欢这篇内容？创作真的很辛苦！
欢迎关注我们的 YouTube 频道
AI Rosetta
，你的点赞和订阅是对我们最大的支持！🙏