🖥️

AI Agent 自主代理三王實戰

CH18 | 用 LINE 遙控你的電腦

讓龍蝦走出聊天室,直接在你的電腦上幫你做事——瀏覽網頁、管理檔案、執行腳本,遠端遙控你的電腦

📋 本章學習目標

  • 認識 Desktop Agent 的概念和能力範圍
  • 了解瀏覽器操控(Browser Sandbox)的運作方式
  • 學會用龍蝦進行檔案管理自動化
  • 認識應用程式自動化的可能性
  • 理解安全注意事項
1 / 12

18.1 Desktop Agent 概念

到目前為止,龍蝦一直住在「聊天室」裡——你傳訊息,它回訊息。但如果龍蝦能走出聊天室,直接在你的電腦上幫你做事呢?

Agent 演進
世代類型能力
第一代Coding Agent寫程式、操作終端機
第二代Browser Agent瀏覽網頁、填表單
第三代Desktop Agent操控電腦上的應用程式
第四代Computer Agent完全自主操控整台電腦
💡 龍蝦的 Desktop Agent 能力介於第二代和第三代之間——它可以操控瀏覽器、管理檔案、執行腳本,但還不到「完全自主操控整台電腦」的程度。
2 / 12

Desktop Agent 能做什麼?

想像這些場景——全部都能實現

🌐 瀏覽網頁

打開網站、搜尋資訊、擷取內容

📁 檔案管理

建立、複製、移動、重新命名檔案和資料夾

⚙️ 執行程式

跑 Python 腳本、PowerShell 指令

📄 讀寫文件

讀取 PDF、Word、Excel,產生報告

📸 螢幕截圖

截取螢幕畫面分析

🖥️ 系統操作

查看系統資源、管理程序

⚠️ Desktop Agent 的限制:不能操作沒有 API 的圖形介面軟體(如直接點 PhotoShop 按鈕)。主要透過命令列和 API 操作,每次操作需要你的授權。
3 / 12

18.1.4 本章需要的技能

本章各項功能需要安裝對應的技能。安裝完記得 openclaw gateway restart

功能技能名稱安裝指令備註
瀏覽網頁browser-sandboxclawdhub install browser-sandbox需另裝 Playwright
檔案管理file-managerclawdhub install file-manager建議設定操作範圍
磁碟盤點disk-auditclawdhub install disk-audit掃描大檔案
系統監控system-monitorclawdhub install system-monitorCPU / 記憶體 / 磁碟
螢幕截圖screenshotclawdhub install screenshot截圖分析畫面
💡 以上技能都不需要 API Key,安裝後即可使用。各技能的詳細設定方式請參考附錄 E:Skills 設定速查表
⚠️ Playwright 首次下載npx playwright install chromium 會下載約 200MB 的瀏覽器引擎,依網路速度需要幾分鐘。看到進度條在跑就是正常的,請耐心等候。
4 / 12

18.2 瀏覽器操控(Browser Sandbox)

Browser Sandbox 讓龍蝦操控一個「沙盒瀏覽器」——在安全環境中運行的瀏覽器。不會動到你 Chrome 裡的書籤、密碼和瀏覽紀錄

Sandbox 架構圖

設定瀏覽器操控

# 安裝瀏覽器操控技能
clawdhub install browser-sandbox

# 安裝 Playwright 瀏覽器
npx playwright install chromium

TOOLS.md 裡加上:

## Browser Sandbox
- 瀏覽器: Chromium
- 無頭模式: 是(不會彈出瀏覽器視窗)
- 截圖: 每次操作後自動截圖回報
5 / 12

瀏覽器操控——三大場景

瀏覽器查詢

🔍 查資料

你:幫我查台北到花蓮
   的火車時刻
龍蝦:🚂 明天早上班次:
  06:30 太魯閣號 410 次
  07:00 自強號 208 次
  08:00 太魯閣號 412 次

📋 擷取資訊

你:幫我看 PTT 八卦版
   今天有什麼熱門
龍蝦:📋 今日熱門前 5 篇:
  1. [爆卦] xxx(推:587)
  2. [問卦] xxx(推:423)
  3. [新聞] xxx(推:356)

📝 填表單

你:幫我填 Google Forms
   第一題選A 第二題台北市
龍蝦:✅ 已完成填寫
  最後需要你確認送出
  要我幫你送出嗎?
💡 龍蝦操控的是獨立的沙盒瀏覽器,跟你平常用的瀏覽器完全隔離,安全無虞。
6 / 12

18.3 檔案管理自動化

檔案管理

基本檔案操作

你:桌面上有多少個 PDF 檔?
龍蝦:📁 桌面上有 12 個 PDF 檔案:
      - 會議記錄_0301.pdf (2.3MB)
      - 報價單.pdf (156KB)
      - 教案_CH5.pdf (890KB)
      ...(共 12 個)

你:把桌面上所有的 PDF 移到「文件/PDF」資料夾
龍蝦:即將移動 12 個 PDF 檔案。確認執行嗎?
你:確認
龍蝦:✅ 已移動 12 個檔案到 C:\Users\你的名稱\Documents\PDF\

智慧整理

你:幫我整理下載資料夾,把檔案分類
龍蝦:📂 掃描完成,共 47 個檔案。建議分類:
      📁 文件(PDF、Word、Excel)→ 18 個
      📁 圖片(JPG、PNG)→ 12 個
      📁 壓縮檔(ZIP、RAR)→ 8 個
      📁 安裝檔(EXE、MSI)→ 5 個
      📁 其他 → 4 個
      要執行嗎?
7 / 12

磁碟盤點與批次處理

CH15 提到的 disk-audit 技能就是檔案管理的好例子:

你:幫我掃描 D 槽,找出佔最多空間的前 10 個檔案
龍蝦:🔍 掃描中...
      📊 D 槽 Top 10 大檔案:
      1. 遊戲安裝檔.iso (4.7GB)
      2. 備份_202601.zip (2.1GB)
      3. 教學影片.mp4 (1.8GB)
      ...
      總共佔用 15.3GB。要處理哪一個?

批次重新命名

你:幫我把「照片」資料夾裡的檔案,
    全部改名成「旅遊_日期_序號」的格式
龍蝦:📁 找到 85 張照片。
      我會根據照片的拍攝日期(EXIF 資訊)重新命名。
      例如:IMG_0001.jpg → 旅遊_20260215_001.jpg
      確認執行嗎?
✅ 龍蝦不只能做簡單的搬移——它可以用 AI 理解檔案的內容來智慧分類!
8 / 12

18.4 應用程式自動化

龍蝦可以執行 PowerShell 和 Python 腳本,間接操控其他應用程式。

📄 自動產生 PDF

你:幫我把桌面上的
   report.md 轉成 PDF
龍蝦:正在轉換...
  ✅ 已產生 report.pdf
  放在同一個資料夾裡。

📊 Excel 資料處理

你:打開 sales.xlsx
   算出每月銷售總額
龍蝦:📊 銷售總額統計:
  1月:$125,000
  2月:$142,000
  3月:$168,000
  Q1 累計:$435,000

🖥️ 系統管理

系統監控
你:我的電腦最近很慢,幫我看看什麼佔最多記憶體
龍蝦:🖥️ 記憶體使用:16GB 中已用 13.2GB(82%)
      Top 5:
      1. Chrome(32 個分頁)→ 4.1GB
      2. VS Code → 1.2GB
      3. Discord → 800MB
      4. Teams → 650MB
      5. Node.js(龍蝦 Gateway)→ 180MB
      建議:Chrome 分頁太多了!
9 / 12

18.5 安全注意事項

Desktop Agent 的能力很強大,但能力越大責任越大。讓 AI 操控你的電腦有一些安全風險需要注意。

預設的四層安全防護

✅ 確認機制

涉及檔案刪除、移動、修改的操作,龍蝦會先問你確認

🔒 沙盒隔離

瀏覽器操作在沙盒裡進行,不影響你的正常瀏覽器

📂 範圍限制

龍蝦只能存取你授權的資料夾,不是整台電腦

📋 日誌記錄

所有操作都有 log,你可以回顧龍蝦做了什麼

設定安全邊界(AGENTS.md / SOUL.md)

區域權限範例
🟢 自由操作不需確認桌面、文件資料夾、下載資料夾
🟡 需要確認每次確認其他磁碟(D:、E:)、應用程式資料夾
🔴 絕對禁止禁止存取C:\Windows\、Program Files、密碼檔案
10 / 12

18.6 常見問題

Q1:需要額外安裝嗎?

需要安裝對應的技能。瀏覽器裝 browser-sandbox、檔案裝 file-manager、系統監控裝 system-monitor

Q2:不在電腦旁能操作嗎?

可以!只要電腦開著、Gateway 在跑。用手機 LINE 傳指令,龍蝦就會在你的電腦上執行——遠端遙控

Q3:會誤刪重要檔案嗎?

預設會先確認才執行,且刪除操作移到資源回收桶(trash > rm),不是永久刪除。

Q4:效能會被影響嗎?

Playwright 約佔 200-500MB 記憶體,但只在執行瀏覽器任務時才啟動。檔案管理基本不影響效能。

💡 Q5:Mac 和 Linux 也支援嗎?
支援!Desktop Agent 透過命令列和 API 操作,跨平台都能用。龍蝦會自動判斷你的作業系統。
⚠️ 不建議做的事:讓龍蝦自動登入銀行帳號、把整台電腦的管理員權限給龍蝦、讓龍蝦操作密碼管理器等含敏感資料的軟體。
11 / 12

18.7 小結與展望

🌐 Browser Sandbox

龍蝦能瀏覽網頁、查資料、填表單,在安全沙盒中操作。

📁 檔案管理

整理檔案、掃描磁碟、批次處理、智慧分類。

⚙️ 應用程式自動化

轉檔、處理資料、管理系統,透過腳本間接操控應用程式。

🔒 安全機制

確認機制 + 沙盒隔離 + 範圍限制 + 日誌記錄,四層防護。

📖 下一章預告:CH19 多台電腦,一起聽話
如果你有好幾台電腦——家裡、辦公室、雲端——想讓龍蝦同時管理所有的機器?多台電腦上的龍蝦串成一個網路,互相合作!

前往 CH19 ➡️
12 / 12