ChatGPT有3％答案是編造！ 研究證實：AI的確有幻覺

最近第三方研究證實，ChatGPT 等AI 聊天機器人 會像人類一樣產生「幻覺」（hallucinations），且機率頗高。AI為什麼要憑空捏造虛假資訊？不是說已通過律師考，智商很高？研究揭露的真相大出意外。另外，AI出現幻覺的問題有辦法根治嗎？

AI會像人類一樣出現幻覺聽起來十分不可思議，可是這個問題確實已困擾AI領域學者、研究人員許久，且短期內似乎不容易找到解方。

所謂的「幻覺」，指的就是ChatGPT等生成式AI聊天機器人以錯誤、甚至是根本就不存在的資訊來回答使用者的問題，像是今年（2023）6月美國律師讓ChatGPT代寫訴狀、結果引用的判例均為憑空捏造的事件。

為了釐清導致AI產生幻覺的前因後果，新創公司「Vectara」研究團隊近期進行了一項研究，確切記錄並計算各大AI開發商推出的聊天機器人產生幻覺的機率，結果顯示ChatGPT出現幻覺的機率為3％、Meta旗下聊天機器人提供錯誤資訊的機率為5％、Google推出的生成式AI模型「PaLM」出現幻覺的機率則高達27％，是最常拋出虛假資訊的聊天機器人。

據《紐約時報》報導，Vectara執行長阿瓦達拉（Amr Awadallah）曾擔任Google雲端副總裁，公司另一名創辦人則是自2017年便開始在Google進行AI相關研究的工程師艾哈邁德（Amin Ahmad），兩人此次組建團隊專門研究AI幻覺的目的是希望「推動業界加速著手減少生成式AI出現幻覺的機率」，同時提醒民眾在「接收AI產出的資訊時，必須時刻保持警惕」。

Vectara團隊為聊天機器人提供新聞報導文本，並要求聊天機器人簡單摘錄內容重點，怎料各個聊天機器人的回答當中仍舊夾雜著錯誤、且根本沒有出現在文本當中的訊息。

「AI系統在這樣的情況下還是能夠犯錯，說明系統本質就有問題，」阿瓦達拉說。

專家：AI系統其實像四歲小孩

聊天機器人為何仍會在接獲明確指示的情況下發表不實言論？

對此，美國有線電視新聞網CNN早前也採訪了專門研究AI科技的布朗大學教授文卡達蘇巴馬尼安（Suresh Venkatasubramanian），發現AI技術背後的大型語言模型其實所接受的訓練十分簡單粗暴，它們的任務就是「針對使用者的問題，提供看似合理的答案」，卻並不需要事先確認資訊是否屬實。

文卡達蘇巴馬尼安認為，與其說AI謊話連篇、出現幻覺，這些聊天機器人產出的回答比較像四歲小孩隨意脫口而出的小故事，本質上並無惡意，也不是故意欺騙使用者，就是不懂得分辨事情真偽。

「大人往往只需要問一句『接下來呢？』，小朋友就會繼續說各種各樣的故事。他所說的故事可以無限展開，」文卡達蘇巴馬尼安說。

生成式AI雖然並非惡意提供虛假資訊，但AI幻覺所造成的影響依舊非常深遠。

《紐約時報》指出，對於貪新鮮、僅僅把聊天機器人當作消遣的使用者來說，AI幻覺或許根本不是問題，但對於「使用這項科技來獲取法律文件、醫療資訊、高度機密商業相關資訊的使用者來說，幻覺問題非同小可」。

文卡達蘇巴馬尼安進一步表示，以現階段發展來看，使用者如果在無法「立即親自確認資訊是否準確可信」的情況下過度依賴生成式AI，風險還是相當高。

ChatGPT等AI的幻覺如何根治？業界看法不一

業界雖然一致認同必須正視AI出現幻覺的問題，但對於問題可否根治一事仍存在分歧。

《紐約時報》指出，受訪學者普遍認為這個問題「沒那麼容易解決」。大型語言模式會蒐集、爬梳網路上現有的資訊，以此學習如何合理回答用戶問題，但「正是因為網路上不實資料氾濫，導致系統也跟著重複這些虛假資訊」。同時，大型語言模式也透過計算機率來產出看似合理的答案，但這樣的作業方式不可能百分之百準確無誤。

此外，文卡達蘇巴馬尼安強調，AI及大型語言模型都是極為複雜、「極為脆弱」的，看似極其細微的調整都有可能徹底改變這些系統的運作方式，因此眼下的情況仍舊充滿太多複雜的變數。

「況且，要準確列出所有可能出現的錯誤是很困難的事，畢竟要關注的細枝末節實在是太多了，」文卡達蘇巴馬尼安說。

但Vectara研究團隊認為找出問題癥結還是十分重要的第一步，因此決定公開發表研究方法、研究中所使用的測量工具，未來也會不斷更新相關研究數據，力求敦促業界積極尋找解決方案。而作為一般使用者，人們現階段能夠做的就是繼續對生成式AI抱持合理的懷疑。

（本文出自2023.11.14《遠見》網站，未經同意禁止轉載。）