AI Agent平臺：讓AI從“動口”到“動手”

ChatGPT 和 Claude 擅長寫文案、解題、編邏輯——但它們不會點鼠標、不會切窗口、不會打開 Excel 并標紅某幾行。AI Agent平臺 會。

它不生成建議，它直接執行。你讓它“把銷售表里 Q3 超過 80 萬的客戶名加粗并導出 PDF”，它就真去干：啟動 Excel、定位 Sheet、篩選數據、加粗、導出、發郵件給你。

AI Agent平臺 是什么

AI Agent平臺 是一個運行在本地的操作代理（operation agent）。它不是聊天界面背后的黑盒，而是一個能感知屏幕、操控輸入、調用 API、讀寫文件的終端進程。核心不是“更聰明的語言模型”，而是把語言理解、動作規劃、系統控制三者焊死在一起。

它怎么干活

AI Agent平臺 的操作引擎不依賴預設腳本或錄制回放。它靠兩件事落地：

• 視覺+語義對齊：用輕量 CV 模型實時解析屏幕內容（比如識別 Excel 窗口標題欄、按鈕位置、表格邊界），再和 NLU 解析出的指令意圖對齊；
• 原子動作庫：封裝了 click_at(x,y), type_text("xxx"), read_cell("B5"), call_api("weather", {"city": "shanghai"}) 這類確定性動作，所有復雜任務都拆成這些原子操作串。

舉幾個真實能跑的例子：

• 截取當前網頁頂部 600px 區域，保存為 /tmp/top.png
  → AI Agent平臺 識別瀏覽器窗口，計算視口坐標，調用截圖工具，寫文件。
• 打開 ~/data/invoices.xlsx，把“狀態”列里值為“pending”的整行背景設為黃色，另存為 invoices_pending_highlighted.xlsx
  → 啟動 Excel（或用 openpyxl 后端），定位列，遍歷匹配行，設樣式，保存。
• 查 Slack 中 #finance 頻道今天提到“budget”的最新 3 條消息，提取發送人和時間，匯總成 Markdown 表格發我郵箱
  → 調 Slack API 獲取消息，正則匹配，格式化，調 SMTP 發送。

典型工作流

1. 日常辦公提效
   “整理上周五所有會議的 Zoom 錄像鏈接，按時間排序，生成帶標題的 Notion 頁面”
   → AI Agent平臺 自動翻 Outlook 日歷、查 Zoom 郵件、提取鏈接、調 Notion API 創建頁面。
2. RPA 場景免編碼
   傳統 RPA 要拖拽組件、寫 XPath、處理彈窗異常。AI Agent平臺 接收自然語言后，自己做元素定位、容錯重試、狀態判斷。比如：“登錄 SAP GUI，進事務碼 VA03，輸訂單號 123456，截圖‘抬頭’和‘行項目’兩個標簽頁”。它真能完成。
3. 客服后臺輔助
   用戶在工單系統里寫：“客戶說收不到發票，查他郵箱是否在黑名單”。AI Agent平臺 直接連內部郵件網關 API 查記錄，再查 CRM 里的客戶郵箱字段，比對后返回結論。
4. 數據分析閉環
   “拉出上月 AWS 賬單里 EC2 成本最高的 5 個區域，畫柱狀圖，貼進周報 PPT 第 3 頁”
   → 調 AWS Cost Explorer API → pandas 處理 → matplotlib 畫圖 → python-pptx 插入幻燈片。

當前狀態（2026）

• 平臺支持：Windows/macOS/Linux 均提供原生二進制，無虛擬機或容器依賴；macOS 版通過 Accessibility API 控制 UI，Windows 版用 UI Automation，Linux 版基于 X11/Wayland + OCR 補位。
• 集成能力：內置連接器覆蓋 Google Workspace、Microsoft Graph、Slack、Notion、Jira、Salesforce、SAP GUI、MySQL/PostgreSQL、本地文件系統。API 調用全部走 OAuth2 或 token 管理，憑證不硬編碼。
• 真實部署：1000+ 企業用戶，集中在金融中后臺（自動生成監管報表）、醫療 IT（自動同步 HIS 系統數據）、制造業 ERP（工單狀態批量更新）等強流程場景。
• 國產生態協同：AutoClaw 在家庭 IoT 層做設備聯動（如“把客廳空調調到 26℃ 并關掉書房燈”），NanoClaw 專注 Android 自動化（無障礙服務 + ADB 指令），AI Agent平臺 提供跨平臺動作基座。三者共享同一套動作描述語言（ClawDSL），模塊可互換。

技術棧拆解

AI Agent平臺 架構分四層，全部開源（Apache 2.0）：

1. NLU 層：微調的 TinyBERT + 指令模板匹配器，輸出結構化動作意圖（{action: "find_in_excel", file: "~/data.xlsx", column: "status", value: "pending", style: "highlight_yellow"}）
2. Planner 層：基于 LLM 的輕量推理器（本地運行 Phi-3），把意圖轉為動作序列，并插入必要檢查點（如“確認 Excel 已打開”、“等待單元格加載完成”）
3. Executor 層：純 Rust 編寫，調系統 API、模擬輸入、驅動瀏覽器（Playwright）、調用 CLI 工具。失敗時自動降級（如 GUI 失敗則切 CLI 模式）
4. Feedback 層：操作完成后，截圖關鍵幀、記錄動作日志、生成自然語言摘要（“已標紅 12 行，保存至 /tmp/highlighted.xlsx”），支持 CLI 輸出或 Webhook 推送

它改變了什么

• 效率不是提升 20%，是消滅整類任務：財務每月初的對賬、HR 的入職材料歸檔、運營的日報截圖匯總——這些不再需要人盯流程。
• 自動化不再需要“懂技術”：業務人員直接寫中文指令，IT 不用寫腳本、不用維護 XPath、不用處理 UI 更新導致的 selector 失效。
• 協作方式變了：團隊共享的不是文檔，而是可復用的 .claw 動作包（比如 onboard_new_hire.claw），雙擊就能跑完整入職流程。
• 安全模型更可控：所有動作在本地執行，敏感數據不出內網；權限按動作粒度控制（如“只允許讀 Excel，禁止寫”），比給 AI 一個賬號密碼更細。

現在就能做什么

• 下載 ai-agent.dev 的最新 release，解壓即用（macOS/Windows 有圖形配置向導）
• 寫第一條指令：ai-agent run "截圖當前桌面，保存為 ~/Desktop/screenshot.png"
• 查看內置動作庫：ai-agent list-actions
• 改一個現有動作：ai-agent edit excel_highlight_rows（打開 YAML 配置，改字段名或閾值）
• 用 Python 擴展：pip install ai-agent-sdk，調 Agent().run("導出數據庫表 users")

國產 Claws 項目也值得盯：AutoClaw 的 Home Assistant 插件已支持語音觸發設備聯動，NanoClaw 的 Android 測試框架正在被大廠用于 UI 自動化回歸。它們和 AI Agent平臺 共享底層動作協議，未來一個指令能跨 PC、手機、家電執行。