18+

迎戰ChatGPT與Claude!傳Google秘密測試Mac版Gemini專屬應用程式、主打「桌面智慧」視覺感知

AI重點

文章重點整理:

  • 重點一:Google正在測試Mac版Gemini應用程式,主打桌面智慧功能。
  • 重點二:新功能可讓Gemini直接讀取螢幕內容,提升使用體驗。
  • 重點三:報導提到Gemini的技術將深植於未來Apple Intelligence中。

繼OpenAI與Anthropic相繼推出Mac 專屬AI應用程式後,Google似乎也準備好要搶攻蘋果使用者 的桌面。根據彭博新聞報導,Google目前正在外部測試macOS版本的Gemini 獨立應用程式,不僅將帶來完整的AI助理體驗,更預期導入一項名為「Desktop Intelligence」 (桌面智慧)的全新功能,讓Gemini能直接「看見」、讀取使用者螢幕 與開啟中應用程式的上下文資訊,實現更無縫、更個人化的AI協作體驗。

突破網頁限制:全新「桌面智慧」讓AI與你所見略同

長久以來,電腦端的使用者主要透過網頁瀏覽器來存取Gemini的服務。而獨立應用程式的推出,將使Gemini正式踏入作業系統 的底層領域,與早已推出Mac版的ChatGPT及Claude展開正面對決。

這款Mac版Gemini的最大亮點,莫過於被稱為「Desktop Intelligence」的螢幕感知功能。根據彭博新聞引述相關原始編碼的描述:「當您為應用程式啟用桌面智慧時,即代表您允許Gemini看見您所見的內容 (例如螢幕上下文),並且直接從這些應用程式中提取內容,以便在您使用Gemini時改善並個人化您的體驗」。

意味使用者不再需要繁瑣地複製貼上文字或截圖上傳,當正在閱讀一份長篇PDF或編寫程式碼時,Gemini能直接感知當下的工作視窗,並且針對畫面內容給出精準的總結或修改建議。

不僅是「看懂」,未來有望實現「代客操作」?

讀取螢幕內容的能力,目前在Claude與ChatGPT的macOS應用程式已經可以實現,而Gemini在行動裝置 (Android平台)上也早已具備類似的螢幕感知功能。

然而,業界更關注的是:Mac版Gemini是否具備「採取行動」的能力?雖然目前還不確定該版本是否能像Anthropic廣受歡迎的「Claude Cowork」,或是最新推出的「Dispatch」功能那樣,直接接管滑鼠與鍵盤來自動執行任務;但考量到Google已經在智慧型手機上提供有限度的代客操作體驗,未來將此類Agent (代理)功能下放至桌面作業系統,將是可預期的發展方向。

步入外部測試階段,與Apple Intelligence深度結盟

報導指出,這款Gemini應用程式目前已經開放給非Google員工進行外部測試,這通常是產品即將迎來正式公開發布的重要訊號。

有趣的是,無論這款獨立應用程式最終的市場反響如何,Gemini的技術基因都將無可避免地深植於未來的Mac電腦中。早在今年1月,Google與蘋果就已宣布,將以Google的Gemini模型作為驅動未來新版Apple Intelligence核心動力之一。

而據傳蘋果正在對Siri進行徹底的改造,使其更像一個具備深度對話能力的聊天機器人,而這背後的關鍵推手極有可能就是Gemini。

《原文刊登於合作媒體mashdigi,聯合新聞網獲授權轉載。》

精華 FAQ

  • Gemini應用程式的特色功能是「桌面智慧」,可以直接讀取使用者螢幕內容,提供更個人化的AI協作體驗,改善使用流程。

  • Gemini應用程式進入外部測試階段,通常預示著產品即將公開發布,顯示Google對Mac市場的重視和進一步的發展計畫。

  • Gemini透過螢幕感知功能與其他AI應用如ChatGPT和Claude展開正面對決,期望提升使用者的協作效率與體驗。

延伸閱讀

你的電腦變AI專屬工作崗位!Anthropic推「Dispatch」 用手機就能指揮家中Mac自動辦公

讓AI幫你顧門!Google Home推出Gemini驅動「Live Search」監視器問答功能

替Claude裝上「高精準度雙眼」!Anthropic收購Vercept 全面升級Computer Use自動化能力

基礎架構各自為政?傳蘋果私有雲算力多達90%處於閒置 新版Siri將高度仰賴Google Gemini救援

本日熱門 本周最熱 本月最熱