Google Research與DeepMind團隊近期發表一項新研究，提出名為「StreetViewAI 」的創新系統，嘗試解決長久以來街景 地圖 對視障 者「視覺依賴」的限制，讓他們也能透過AI對話形式，探索Google街景覆蓋全球100多國、超過2200億張影像的龐大資料庫。

傳統街景服務以沉浸式360度影像為核心，雖能為一般使用者 提供直覺的環境感知，但對於必須依靠聽覺或輔助工具的視障者卻相當不友善。

而StreetViewAI的設計用意，正是希望改變這種情況。透過整合Google Gemini Flash 2.0為基礎的多模態模型，研究團隊建立了三大子系統：「AI Describer」、「AI Chat Agent」與「AI Tour Guide」。

其中，AI Describer會即時將畫面中的物件、空間關係與導航線索，轉換為簡明的語音 說明。AI Chat Agent則讓使用者能自由提問，例如「這條人行道有遮蔭嗎？」、「咖啡廳入口是否能讓輪椅通行？」甚至「這條路線上有什麼驚喜的景點？」等，AI 都能根據過往視點與對話脈絡給予回答。

至於AI Tour Guide則進一步提供歷史、文化與建築背景 的導覽資訊，讓探索過程更具深度。

StreetViewAI功能整理表：

在實際測試中，研究團隊邀請11位經常使用白杖與螢幕報讀工具的視障者參與，並且設計目的地搜尋與自由探索兩種任務。過程中，參與者與AI Chat Agent的互動多達917次，占比遠高於AI Describer的136次，顯示對話式互動更符合需求。

數據統計顯示，AI對問題的正確回覆率達86.3%，誤答率僅為3.9%。其中，最常被詢問的主題為空間位置關係 (27%)、物體存在確認 (26.5%)，以及即時場景描述 (18.4%)。

參與者普遍以語音作為主要互動方式，佔比超過九成。有測試者表示，以往導航系統往往只能帶到目的地前方數公尺的位置，但StreetViewAI不僅能「領到門口」，甚至能描述門的外觀與可通行性，提供更精確的指引。

這項研究凸顯Google在多模態AI技術應用上的野心，同時也呈現AI不只是娛樂或效率工具，更能成為改善弱勢群體生活品質的重要橋樑。隨著未來持續優化準確率與支援範圍，StreetViewAI或許不只是能改變視障者的數位體驗，更可能拓展至教育、旅遊與智慧城市導覽等更廣泛的應用場景。

《原文刊登於合作媒體mashdigi，聯合新聞網獲授權轉載。》