使用 Gemini 3.7 Flash 與 150 行 Python 實現 Android 裝置自動化操控

• 本文介紹如何利用全新推出的 Gemini 3.7 Flash 模型，結合僅 150 行的 Python 程式碼來實現 Android 手機的 Computer Use 自動化控制。 • 傳統的行動裝置自動化（如 Appium 或 Espresso）高度依賴無障礙樹狀結構與元素 ID，介面稍有改動腳本就會失效；而該方案透過 視覺截圖 直接辨識畫面，具備如人類般的適應能力。 • 運作的核心代理迴圈（Agent Loop）透過 ADB 擷取螢幕截圖並轉為 Base64，傳送給 Gemini 3.7 Flash 評估後輸出正規化座標，最後由 Python 腳本轉化為實體裝置的點擊與輸入指令。 • 作者以在 Android 模擬器上遊玩 Wordle 遊戲作為實際測試，模型成功開啟 Chrome、關閉彈出廣告、輸入單字並根據顏色回饋進行思考，僅用兩次猜測便通關。 • > 「Gemini 3.7 Flash 具備多模態推理能力與極快的互動延遲，非常適合用於 Computer Use，能精準檢視截圖並快速發出座標指令保持互動循環。」 • 這種基於原始截圖的技術不依賴 DOM 樹或元素 ID，可廣泛應用於原生 Android 應用程式、Webview 以及動態 Canvas 介面。 • 開發者可透過開源的 GitHub 專案（google-gemini/gemini-android-computer-use-quickstart）快速建立模擬器並運行命令列執行器，應用於 UI 測試與工作流程自動化。