大模型明知道“你媽是你媽”，卻答不出“你是你媽的兒子”？？

這么一項新研究，剛一發(fā)表就引燃了全場討論。

來自范德堡大學、薩塞克斯大學、牛津大學等研究機構的研究人員驚訝地發(fā)現：

一個大語言模型在訓練時被喂進了“A是B”這種形式的數據，它并不會自動反推出“B是A”。大模型存在“反轉詛咒”現象。

甚至強如GPT-4，在反向問題實驗中，正確率也只有33%。

OpenAI創(chuàng)始成員Andrej Karpathy第一時間轉發(fā)了這篇論文，并評論說：

LLM知識比人們想象中“零散”得多，我對此仍然沒有很好的直覺。

這具體是怎么一回事？

大模型的“反轉詛咒”

研究人員主要進行了兩項實驗。

在第一項實驗中，研究人員在GPT-4的幫助下構建了以下形式的數據，來微調大模型。

<name> is <description> .（或者反過來）

所有這些名字都是虛構的，以避免大模型在訓練過程中見過他們。

在GPT-3-175B上的實驗結果顯示，當提示與數據集給出的描述順序匹配時，模型給出的答案很不錯。

但當順序反轉過來，模型的準確率甚至直接降到了0。

舉個例子，就是大模型吃到過“達芙妮是《時光之旅》的導演”這么一條數據，你問它“達芙妮是誰”時，它也答得好好的。但當你反過來問“誰是《時光之旅》的導演”時，模型就懵了。

在GPT-3-350M和Llama-7B上，研究人員也得到了相同的實驗結果。

再來看實驗2。在這項實驗中，研究人員在不進行任何微調的情況下，測試了大語言模型對真實名人信息的反向處理能力。

他們從IMDB（2023）收集了最受歡迎的1000位名人的名單，并通過OpenAI API來問GPT-4有關這些人父母的信息，最終得到了1573對名人孩子-父母對數據。

結果發(fā)現，如果問題像這樣——“湯姆·克魯斯的媽媽叫什么”，GPT-4回答準確率為79%。但當問題反轉，變成“Mary Lee Pfeiffer（阿湯哥的老媽）的兒子叫什么”，GPT-4回答準確率就降到了33%。

在Llama-1家族模型上，研究人員也進行了同樣的測試。實驗中，所有模型回答“父母是誰”問題的準確率，都要遠高于回答“孩子是誰”問題的準確率。

研究人員將這種現象命名為“反轉詛咒”。他們認為，這揭示了語言模型在推理和泛化方面的異類進本局限。

論文通訊作者、牛津大學研究員Owain Evans解釋說：

為什么反轉詛咒值得關注？

這說明大語言模型在訓練過程中存在推理能力缺失。

“A是B”和“B是A”的共現是預訓練集中的一種系統(tǒng)性模式。自回歸LLM完全無法對這一模式進行元學習，其對數概率沒有變化，并且即使參數量從350M擴增到175B，也未能改善這個問題。

One More Thing

不過話說回來，人類是不是也會受“反轉詛咒”影響呢？

有網友做了這么個測試。

面對“Mary Lee Pfeiffer South的兒子是誰”這個問題，GPT-4一開始直接舉旗投降了。

但當這位網友提示它“她的兒子很有名，你肯定認識”后，GPT-4當場開悟，給出了“湯姆·克魯斯”這個正確答案。

△X網友@TonyZador

那么，你能反應過來嗎？

參考鏈接：

[1]https://owainevans.github.io/reversal_curse.pdf

[2]https://twitter.com/owainevans_uk/status/1705285631520407821

[3]https://twitter.com/karpathy/status/1705322159588208782