AI Agent平臺(tái)本地AI代理工具:真正動(dòng)手操作電腦的開(kāi)源Agent,支持文件/瀏覽器/微信自動(dòng)化

AI Agent平臺(tái)|能真正幫你干活的AI助手,不是聊天,是動(dòng)手
AI助手總在“說(shuō)”,不在“做”
你用Claude寫過(guò)周報(bào),用Copilot補(bǔ)過(guò)代碼——但有沒(méi)有試過(guò)讓AI把上周會(huì)議錄音轉(zhuǎn)成文字、自動(dòng)整理進(jìn)Notion、再發(fā)郵件提醒老板?
大多數(shù)AI工具卡在“生成文本”這一步。它們能說(shuō),不能動(dòng)。
你的電腦里有文件、瀏覽器、微信、郵箱……但AI看不見(jiàn)、摸不著、動(dòng)不了。
AI Agent平臺(tái)——讓AI長(zhǎng)出手和腳
AI Agent平臺(tái)不是另一個(gè)聊天框。它是一個(gè)本地運(yùn)行的AI代理(Agent),能像真人一樣操作你的操作系統(tǒng):
? 點(diǎn)擊按鈕、滾動(dòng)網(wǎng)頁(yè)、拖拽文件
? 讀取截圖、識(shí)別窗口標(biāo)題、定位按鈕坐標(biāo)
? 調(diào)用系統(tǒng)命令、打開(kāi)App、粘貼文本、發(fā)送快捷鍵
它不依賴云端API,所有操作發(fā)生在你自己的Mac/Windows/Linux上——隱私可控,響應(yīng)快,離線可用。
?? 技術(shù)本質(zhì):AI Agent平臺(tái) = 視覺(jué)理解(OCR+目標(biāo)檢測(cè)) + 操作系統(tǒng)控制(Accessibility API / UI Automation) + LLM決策閉環(huán)。它把“你想做什么”翻譯成“鼠標(biāo)點(diǎn)哪、鍵盤按什么”。
3分鐘跑起來(lái),讓它幫你整理桌面
1. 安裝(僅需一條命令)
# Mac(推薦):
brew install ai-agent/tap/ai-agent
# Windows(PowerShell管理員模式):
winget install ai-agent.ai-agent
# Linux(Ubuntu/Debian):
curl -fsSL https://raw.githubusercontent.com/petersteinberger/AI Agent平臺(tái)/main/install.sh | bash為什么這樣裝?
AI Agent平臺(tái)自帶預(yù)編譯二進(jìn)制,不用配Python環(huán)境、不裝CUDA、不下載大模型——它用輕量級(jí)本地模型(如Phi-3-mini)做決策,視覺(jué)模塊用優(yōu)化過(guò)的ONNX推理,啟動(dòng)只要2秒。
2. 啟動(dòng)并給它一個(gè)任務(wù)
ai-agent --task "把桌面上所有PDF文件移到 ~/Documents/PDFs/ 文件夾"第一次運(yùn)行會(huì)自動(dòng)創(chuàng)建~/Documents/PDFs/(如果不存在),然后逐個(gè)識(shí)別桌面圖標(biāo)→判斷是否為PDF→拖入目標(biāo)文件夾→完成時(shí)彈出通知。
為什么能識(shí)別PDF?
它不靠文件后綴猜——而是截圖桌面,用內(nèi)置視覺(jué)模型分析圖標(biāo)樣式、右下角小標(biāo)簽、預(yù)覽縮略圖,再結(jié)合文件元數(shù)據(jù)交叉驗(yàn)證。哪怕你把report.pdf改成report.txt,它也能認(rèn)出來(lái)。
3. 讓它接管瀏覽器(實(shí)測(cè)場(chǎng)景)

ai-agent --task "登錄 https://notion.so,找到‘項(xiàng)目周報(bào)’頁(yè)面,把今天日期寫在第一行,保存"它會(huì):
① 打開(kāi)Safari/Chrome → ② 輸入網(wǎng)址 → ③ 等待頁(yè)面加載 → ④ 截圖找“項(xiàng)目周報(bào)”鏈接(OCR識(shí)別文字+點(diǎn)擊)→ ⑤ 定位編輯區(qū) → ⑥ 輸入2024-06-12 → ⑦ 按Ctrl+S(或Cmd+S)→ ⑧ 彈窗提示“已保存”。
關(guān)鍵點(diǎn):它不依賴網(wǎng)頁(yè)結(jié)構(gòu)。即使Notion改版、class名全換,只要人眼能看見(jiàn)“項(xiàng)目周報(bào)”四個(gè)字和編輯光標(biāo),AI Agent平臺(tái)就能操作。
親眼看到它干活
運(yùn)行后觀察三件事:
?? 終端輸出實(shí)時(shí)日志(如[INFO] Found '項(xiàng)目周報(bào)' at (x=320, y=187))
?? 屏幕角落出現(xiàn)半透明操作指示器(顯示正在點(diǎn)擊/輸入)
?? 任務(wù)完成后終端打印? Task completed in 14.3s
試試這個(gè)真需求:
ai-agent --task "從微信Mac版里找到張三,把最近3條消息截圖發(fā)到郵箱xxx@m.nhjb.com.cn"它會(huì)喚起微信→搜索聯(lián)系人→滾動(dòng)對(duì)話→截圖→喚起Mail→粘貼圖片→填收件人→發(fā)送。全程無(wú)需你碰鍵盤。
常見(jiàn)問(wèn)題
Q:需要聯(lián)網(wǎng)嗎?
A:不需要。所有模型、OCR、自動(dòng)化邏輯都打包在本地二進(jìn)制里。斷網(wǎng)也能整理文件、操作本地App。
Q:能控制微信/釘釘/企業(yè)微信嗎?
A:Mac和Windows版支持(調(diào)用系統(tǒng)輔助功能API)。Linux暫不支持GUI應(yīng)用控制(當(dāng)前僅支持終端命令)。
Q:安全嗎?
A:它沒(méi)有網(wǎng)絡(luò)權(quán)限,默認(rèn)不上傳任何數(shù)據(jù)。所有截圖、文件路徑、操作記錄只存在你本地內(nèi)存,退出即清空。
Q:比AutoHotkey/AppleScript強(qiáng)在哪?
A:后者要你寫死坐標(biāo)或元素ID;AI Agent平臺(tái)用視覺(jué)+語(yǔ)義理解——你告訴它“找紅色刪除按鈕”,它自己找,而不是靠click x=120 y=450。
下一步:讓它真正成為你的數(shù)字分身
現(xiàn)在你已經(jīng)能讓AI Agent平臺(tái)執(zhí)行單步任務(wù)。下一步可以:
?? 用YAML定義多步驟工作流(比如“每日晨會(huì)準(zhǔn)備”:抓郵件→導(dǎo)出日程→生成摘要→發(fā)Teams)
?? 接入本地大模型提升決策能力(替換默認(rèn)Phi-3為Qwen2-7B,處理復(fù)雜邏輯)
?? 配置MCP協(xié)議對(duì)接Dify,讓低代碼平臺(tái)調(diào)用它的操作能力
AI Agent平臺(tái)的價(jià)值不在“炫技”,而在把AI從嘴替變成手替。它不取代你思考,但把你從重復(fù)點(diǎn)擊中解放出來(lái)——省下的每分鐘,都該用來(lái)解決真正難的問(wèn)題。
?? 小提示:今天就試一個(gè)任務(wù)——ai-agent --task "把Downloads文件夾里今天下載的圖片,按拍攝日期建子文件夾歸類"。親眼看著AI替你整理,比看一百篇評(píng)測(cè)都有說(shuō)服力。