這項創新的應用被整合在Gemini的「+」選單中，操作邏輯與日常使用的螢幕擷取工具非常相似，用戶在開啟該功能後，即可隨手圈選當前分頁中的任意段落或影像資產，這些選定的區塊便會自動轉化為輸入提示的一環，免去用戶必須費心思向Gemini描述螢幕資訊的困擾。
目前這項便利的升級已經隨著最新發布的Chrome 149版本陸續對外推送，部分尚未看到的民眾可能需要透過重新啟動或將軟體升級至最新版來開啟。
除了前端介面的優化，背後的技術模型也迎來重大突破，新一代的Gemini 3.5 Flash同步宣告解鎖了Computer Us（電腦操作）能力，讓Gemini有直接檢視並操控瀏覽器、行動裝置App及桌面環境的權限，無需切換不同模型間，未來將可廣泛應用於軟體系統的測試、企業內部的行政流程優化，以及各類需要跨步驟執行的繁複任務中。
這波升級核心的關鍵價值，在於將過往的AI聊天機器人，逐步推向更具備情境感知能力的個人虛擬特助，藉由降低人類與機器溝通的門檻，Gemini不再只是被動接收純文字指令，而是真正能直接透過理解螢幕畫面，協助進行資料彙整與後續的AI 助理。
