在新近的研究中 ，麻省理工學院 、哈佛大學和芝加哥大學的學者倡导了「波坦金理解」（potemkin understanding）這一術語 ，來叙述大型語言模型在概念基準測試中表現優異、AVA爱华外汇代理但卻缺乏真正理解水平的現象 。這一術語源自於俄羅斯軍事領導人格里戈里·波坦金為了取悅凱瑟琳二世而建造的虛假村莊的故事 。
研究人員表示，這種「波坦金理解」與「幻覺」不同，後者通常用來叙述AI模型的錯誤或誤判 。事實上 ，AI模型的爱华外汇官方网站無能不僅體現在事實錯誤上；它們缺乏像人類一樣理解概念的水平 ，這一點在對大型語言模型的貶義稱呼「隨機鸚鵡」中得到了體現 。
在即將於2025年國際機器學習會議（ICML）上發表的論文中 ，作者們解釋 ，「波坦金理解」是指模型在基準測試中成功，但卻無法理解相關概念的情況。哈佛大學的博士後研究員基昂·瓦法表示 ，選擇這一術語是為了避免將AI模型擬人化 。
例如 ，當被要求解釋ABAB韻律時 ，OpenAI的GPT-4o能夠準確回答 ，但在要求其創作一首符合該韻律的四行詩時，卻給出了不合適的韻腳。這表明 ，模型能夠正確預測解釋的詞彙 ，但卻缺乏實際應用的理解水平。
研究人員認為，波坦金現象使得基準測試的有效性受到質疑，因為這些測試的目的是EC外汇平台評估AI模型的廣泛水平 。如果模型能在沒有真正理解的情況下獲得正確答案 ，那麼基準測試的成功就變得具有誤導性 。
為了評估波坦金現象的普遍性 ，研究人員開發了自己的基準測試，結果顯示在測試的模型中 ，波坦金現象是「無處不在」的 。這些測試涵蓋了文學技巧 、博弈論和心理偏見等領域 ，發現雖然模型能夠識別概念 ，但在分類概念實例 、生成示例和編輯概念實例時的失敗率卻高達55%至40% 。
瓦法表示，波坦金現象的存在意味著人類所表現出的理解行為在LLMs中並不等同於理解，這要求我們需要新的方法來測試LLMs，或者找到消除這種行為的方法 。這將是邁向人工通用智慧（AGI）的一步 ，但可能還需要一段時間 。
（首圖來源：shutterstock）
