史丹佛大學公布10款大型自然語言模型透明度指標：Llama 2排名最高，但仍不可信

2023-10-21 15:30

聯合新聞網／ 楊又肇

史丹佛大學人本人工智慧 學院 (Stanford University Human-Centered Artificial Intelligence,Stanford HAI)稍早公布10款被大量採用的大型自然語言模型透明度指標，其中獲得最高分的是Meta旗下Llama 2，而排名最低的則是亞馬遜旗下Titan Text，至於OpenAI 的GPT-4則在排名第四，Google的PaLM 2則位居第五，在Stability.ai排名之後。

不過，報告中也指出即便Llama 2在10款大型自然語言模型中的透明度排名第一，但實際上的透明度僅有54%，而Google的PaLM 2也僅有40%透明度，作為商用的亞馬遜Titan Text透明度更僅有12%。

此指標報告的透明度計算方式，包含業者是否對外公布模型運作模式、規模及架構等，另外也包是否提供相關監控機制及補救調整方式，而透明度高低更意味使用者能信賴大型自然語言模型的程度。而從負責使指標報告製作的史丹佛大學人本人工智慧學院基礎模型研究中心看法認為，當前列入計算的大型自然語言模型實際上都無法完全信賴，並不建議企業或政府機構運用此類模型打造服務。

史丹佛大學人本人工智慧學院總計制定100項用於評估大型自然語言模型透明度的指標，其中約三分之一用於評估模型如何被建立、訓練使用資料、建立模型時花費人力等，而其他三分之一則包含模型實際運作表現、可信度、風險程度，以及改善方式，剩餘三分之一則包含提供模型的業者採取政策、業者是否針對受影響情況提供協助等。