OpenAI 在1日推出最新研發的輕量級人工智慧模型o3-mini,不過國外網友發現,在沒有使用者干預的情況下,竟大量地使用中文 進行推理,更有意思的是,即使用俄語去提問,o3-mini-high也會用中文去思考。不禁讓國外網友懷疑,是不是OpenAI在「偷師」大陸的DeepSeek 模型。
大陸財經媒體《華爾街見聞》報導,網友質問OpenAI執行長奧特曼和OpenAI,o3-mini到底為什麼要用中文進行推理?網友Annalisa Fernandez則表示,或許中文才是LLM(大型語言模型)的「靈魂語言」。
報導稱,這並不是OpenAI的模型首次發生這種現象,早在2024年2月,就有開發者在OpenAI開發者社區上發布過類似的問題,不過是混合了其他語言;在推理模型方面,OpenAI o1也存在類似的問題。事實上,這種「語言混雜」(language mixing)現象在其它AI模型中也有發現,例如谷歌的Gemini會混雜德語。
加拿大亞伯達大學助理教授、AI研究員古茲迪亞爾(Matthew Guzdial)指出,「模型並不知道什麼是語言,也不知道語言之間有什麼不同,因為對它來說這些都只是文本。」
實際上,模型眼中的語言,和一般人理解的完全不同。模型並不直接處理單詞,而是處理 tokens(符元)。以「fantastic」為例,它可以作為一個完整的token;可以拆成「fan」、「tas」、「tic」3個token;也可以完全拆散,每個字母都是一個token。
但這種拆分方式也會帶來一些誤會。許多分詞器看到空格就認為是新詞的開始,但實際上不是所有語言都用空格分詞,例如中文。DeepSeek在論文中對這一現象進行了分析。研究團隊發現,當強化學習提示詞涉及多種語言時,思維鏈常常出現語言混雜的現象。
目前,「語言混雜」還亟待解決。畢竟DeepSeek-R1也只是針對中文和英文進行優化,在處理其它語言的查詢時,也可能出現語言混雜問題。
訂閱《科技玩家》YouTube頻道!
💡 追新聞》》在Google News按下追蹤,科技玩家好文不漏接!
📢 最便宜蘋果AI手機來了!iPhone 16e定價破2萬、10大功能一次看 鏡頭升級4800萬畫素
📢 原價屋被爆RTX 5080顯卡「收錢再加價賣」引網怒!店家後續動作曝光
📢 蘋果Vision Pro開箱!沉浸式體驗畫面躍框而出 菜鳥DJ刷碟、眼動操作驚豔
📢 蘋果iPad mini 7開箱!實測配PS5手把變遊戲主機、寫筆記 8.3吋螢幕超剛好
📢 任天堂Switch 2台灣快開賣?網揪「這處有檔期」時間曝光:我先空出來了
📢 2月4G、5G便宜資費懶人包/4G不限速吃到飽免500!5G上網優惠只要399