Gemini 3.5 Flash「電腦用途」：智能控制 Android 設備自動化指南

Phil Schmid 介紹如何使用 Gemini 3.5 Flash 的電腦使用功能控制 Android 模擬器，是關於開發者工具的實戰教學。

本文深入探討如何運用 Gemini 3.5 Flash 內建的 「電腦用途」（Computer Use） 功能，實現對 Android 設備的智能遠端或自動化控制。此機制透過模型查看螢幕截圖、判斷所需操作並返回結構化指令（如 click(y=300, x=500)），然後透過 ADB 在設備上執行，並重複循環直到任務完成。 • 「電腦用途」 作為 Gemini 3.5 Flash 的原生工具，能依據螢幕截圖和指定目標，生成如輕觸、文字輸入、滑動或啟動應用程式等具體動作。 • 設定過程極為簡便，只需執行腳本即可在 Mac 上安裝 Android SDK 和模擬器，無需複雜的 Android Studio GUI。 • 除了支援 Android 模擬器，此功能亦能透過 ADB 連接實體 Android 裝置或遠端雲端模擬器，展現高度彈性。作者指出，Gemini API 的 mobile 環境具備平台無關性，意味著未來只需替換相容於 iOS 的工具，此技術便能延伸應用於 iPhone 或 iOS 模擬器。

在生產環境中，他強調應實作 robust 的錯誤重試邏輯、優雅處理 ADB 中斷，並在執行動作前審查模型可能發出的安全決策提示。