喺人工智能代理（AI Agent）迅速發展嘅當下，手機作為日常互動嘅核心入口，正迎嚟革命性變化。過去幾日，中國網絡上有款 AI 智能手機助手——豆包智能手機助手頻繁出現討論，為此惹起爭議，並遭到包括騰訊、阿里巴巴等平台限制。 不過，啱啱喺GitHub 上由 zai‑org 維護嘅 Open‑AutoGLM 項目（https://github.com/zai‑org/Open‑AutoGLM）已經開源，係一個完整嘅手機 AI 代理模型同框架，目標係「為每個人解鎖 AI 手機」。 該項目喺 2025 年 12 月初正式發布，迅速吸引開發者社群關注。截至 2025 年 12 月 11 日，倉庫已有約 5700+ 星標，更新活躍，最近一次提交喺 12 月 9 日。 作為 Z.ai（原名智譜 AI）旗下開源生態嘅一部分，Open‑AutoGLM 基於 AutoGLM 核心技術，專為 Android 裝置設計，支援透過自然語言指令實現屏幕感知、多模態理解同自動化操作。佢唔只係一個工具庫，更係構建「自主手機代理」嘅完整解決方案，幫用戶由繁複嘅手動操作中解放出嚟。本文會由項目背景、核心架構、功能特性、安裝部署、實際應用示例、性能基準、社群生態到未來展望，全方位剖析呢個「手機大腦」嘅開源奇蹟。
項目背景：從 GLM 家族到手機代理嘅開源跨越
Z.ai（原智譜 AI）作為中國領先嘅 AI 公司，源自清華大學嘅技術積累，以 GLM（General Language Model）系列大模型聞名全球。由 2022 年嘅 ChatGLM‑6B 開源雙語對話模型，到 2025 年嘅 GLM‑4.5 同 GLM‑130B 等高階推理模型，Z.ai 一直強調「安全有益嘅通用人工智能」（AGI）。 Open‑AutoGLM 係其代理技術喺移動端嘅延伸，靈感來源於 AutoGLM 項目——一個自主 GUI（圖形用戶界面）代理框架。 AutoGLM 最初針對桌面環境設計，可以透過視覺‑語言模型（例如 GLM‑4V）理解截圖、規劃動作序列，並喺複雜任務中實現高自主性。Open‑AutoGLM 就係將呢種能力移植到手機端，聚焦 Android 生態，解決「手機操作碎片化」嘅痛點。
項目發布時機正值 AI 代理熱潮：2025 年，OpenAI 嘅 GPT‑4o 同 Anthropic 嘅 Claude 等模型已支援工具調用，但多數局限於雲端，且欠缺移動端優化。Z.ai 選擇開源 AutoGLM‑Phone‑9B 模型（9B 參數規模），並提供完整框架，強調「本地部署、全控制」。 呢個做法唔單止降低技術門檻，仲可以避免私隱風險——用戶數據毋須上傳到雲端。根據項目 README，Open‑AutoGLM 支援中英文主流應用，覆蓋 50 多個高頻場景，例如社交、電商、地圖導航等。 其目標係「令 AI 成為手機嘅隱形助手」，例如用戶只需講「打開小紅書搜索美食」，代理就可以自動解析意圖、導航界面、輸入查詢並返回結果。
倉庫使用 MIT 許可，鼓勵全球開發者貢獻。 維護者 zai‑org 係 Z.ai 嘅官方組織，旗下仲有 ChatGLM3、CogVLM 等熱門倉庫，總星標超過 50k。 近期更新包括將模型權重上傳到 Hugging Face 同 ModelScope，同埋框架嘅 ADB 集成優化，反映出快速迭代嘅勢頭。
核心架構：多模態感知 + 智能規劃嘅閉環系統
Open‑AutoGLM 嘅技術架構簡潔而強大，分為感知層、規劃層同執行層，形成「理解‑決策‑行動」嘅閉環。
首先，感知層 依賴視覺‑語言模型（VLM）實現屏幕理解。核心模型 AutoGLM‑Phone‑9B 基於 GLM‑4.1V‑9B‑Thinking 架構，融合咗 9B 參數嘅 Transformer 結構，支援圖像輸入（例如屏幕截圖）同文本提示。佢可以識別界面元素（例如按鈕、文本框）、理解上下文（例如當前 APP 狀態），並生成描述性輸出。例如，輸入一張微信聊天截圖，模型可輸出「當前喺微信朋友圈，頂部有搜索欄同發佈按鈕」。呢一層借鑑咗 CogVLM 嘅多模態融合技術，確保高準確度嘅 OCR（光學字符識別）同物件檢測。
其次，規劃層 引入 AutoGLM 嘅「反思機制」（Reflection），使用大語言模型（LLM）生成動作序列。框架會將用戶意圖拆解成子任務，例如「打開 APP → 切換 tab → 輸入關鍵詞 → 點擊搜索」。規劃算法結合 ReAct（Reasoning + Acting）範式，支援工具調用（例如生成 ADB 命令）。 為咗提升魯棒性，項目整合咗錯誤恢復模塊：若操作失敗，代理會重新感知屏幕並調整計劃。
最後，執行層 透過 Android Debug Bridge (ADB) 橋接硬件。ADB 允許框架由 PC 端遠程控制手機，包括點擊坐標、滑動、輸入文本等等。架構支援無線 ADB，方便真實設備測試。 整體上，Open‑AutoGLM 相容於 Python 3.8+ 環境，依賴庫包括 torch、transformers 同 opencv‑python，用於模型推理同圖像處理。
相比閉源競品例如 Google 嘅 Project Astra，Open‑AutoGLM 嘅開源性係最大亮點：開發者可以微調模型，適配自定義 APP 或擴展到 iOS（雖然目前集中喺 Android）。
功能特性：由簡單指令到複雜工作流嘅全面覆蓋
Open‑AutoGLM 嘅亮點係佢嘅實用性同擴展性。核心特性包括：
- 自然語言交互：用戶以中文或英文描述需求，代理自動解析。支援嵌套指令，例如「幫我訂 Uber，去最近嘅超市買菜」。
- 多模態支援：整合 VLM 處理屏幕圖像、未來可擴充音頻同文本，確保跨語言兼容。已驗證 50+ 個 APP，包括微信（發消息、轉賬）、淘寶（搜索下單）、抖音（刷影片點贊）、美團（點外賣）、Gmail（查郵件）同 Google Maps（導航）。
- 自動化工作流：生成可執行腳本，支援循環（例如「連續刷 10 條新聞」）同條件分支（例如「如果餘額不足，切換支付方式」）。
- 本地部署優先：無雲端依賴，適合私隱敏感場景。模型權重開源，推理可以喺消費級 GPU（例如 RTX 3060）上運行。
- 擴展接口：提供 API 鉤子，方便整合第三方工具，例如語音輸入（Whisper）或外部資料庫查詢。
另外，框架內置安全機制：高風險操作（例如支付）前需用戶確認，並記錄日誌以防濫用。
安裝部署：零門檻上手指南
部署 Open‑AutoGLM 簡單高效，README 提供逐步教學。 首先，克隆倉庫：
git clone https://github.com/zai-org/Open-AutoGLM.git\ncd Open-AutoGLM\n
安裝依賴（用 conda 或 venv）：
pip install -r requirements.txt\n# 核心依賴：torch>=2.0, transformers, opencv-python, adbutils\n
配置 ADB：啟用手機 USB 偵錯，連接 PC 並運行 adb devices 驗證。無線模式下，使用 adb connect <IP:PORT>。
下載模型：從 Hugging Face 拉取 AutoGLM‑Phone‑9B：
from transformers import AutoModelForCausalLM, AutoTokenizer\nmodel = AutoModelForCausalLM.from_pretrained("zai-org/AutoGLM-Phone-9B")\ntokenizer = AutoTokenizer.from_pretrained("zai-org/AutoGLM-Phone-9B")\n啟動代理伺服器：運行 python main.py ‑‑device_id <ADB_DEVICE_ID>，即可以進入互動模式。整個過程唔到 10 分鐘，上手門檻低，適合初學者。
實際應用示例：由入門到高級任務
項目提供豐富示例，展示框架潛力。入門級：打開小紅書搜索美食。
用戶輸入：「打開小紅書搜索美食推薦。」
代理流程：
- 感知：截取主屏，識別「小紅書」圖示。
- 規劃：點擊圖示 → 等待加載 → 點擊搜索欄 → 輸入「美食推薦」。
- 執行：ADB 發送 tap(坐標) 同 input_text 命令。
代碼片段（簡化）：
from autoglm_phone import PhoneAgent\nagent = PhoneAgent(model_path="zai-org/AutoGLM-Phone-9B")\nresult = agent.run("Open Xiaohongshu and search for food")\nprint(result) # 輸出：任務完成，搜索結果頁面已加載\n高級示例：電商下單工作流。「喺淘寶買一件 iPhone 保護殼，紅色，低於 50 元。」
代理會：打開淘寶 → 搜索「iPhone 保護殼 紅色」→ 篩選價格 → 加入購物車 → 結算（需手動確認支付）。成功率超過 85%，視乎網絡同界面變化而定。
另一個亮點係多步任務，例如「用微信轉賬 100 元畀朋友小明，之後發消息確認」。框架嘅反思機制可以確保即使界面卡頓，都能自適應處理。
性能基準：高效且可靠嘅實證
基準測試顯示，AutoGLM‑Phone‑9B 喺 Android 裝置上嘅端到端延遲為 2‑5 秒/步，優於部分類似框架如 AppAgent（延遲 7s+）。 喺 50 個高頻任務數據集上，成功率 78%（中文 APP 更高，可達 82%），覆蓋社交（90%）、電商（75%）同導航（85%）。相比閉源模型，佢喺本地 GPU 上嘅能耗僅為雲端代理嘅 30%。項目計劃發布更多基準數據集，推動社群優化。
社群生態與貢獻：開源協作嘅活力來源
Open‑AutoGLM 嘅社群活躍喺 GitHub Issues 同 Reddit（例如 r/LocalLLaMA）。 貢獻指南鼓勵 PR：加入新 APP 支援、模型微調腳本或修復 bug。目前有 1 個開放 Issue，焦點係 iOS 相容性。Z.ai 提供 SDK（例如 Python 接口），方便整合到現有項目。未來，社群可擴展到語音代理或跨裝置協作。
影響與未來展望：AI 手機嘅開源先鋒
Open‑AutoGLM 嘅開源唔單止令 AI 代理技術更普及，仲為殘障人士同追求效率嘅工作者帶來實際福祉。想像一下，老人家用語音叫手機自動預約醫生，或者開發者自動化測試 APP。挑戰包括界面動態變化同私隱合規，但 Z.ai 嘅 AGI 願景有望推動持續迭代。
展望 2026 年，項目可能會整合 GLM‑4.5‑Air 等更輕量模型，支援邊緣計算。無論你係開發者定係 AI 愛好者，Open‑AutoGLM 都係值得 Star 嘅項目。佢證明咗：開源係通往智能未來嘅一把關鍵鑰匙。