<p>長(zhǎng)期以來(lái)，認(rèn)知科學(xué)家一直試圖理解是什么導(dǎo)致一些句子比另一些句子更難理解。研究人員認(rèn)為，任何語(yǔ)言理解的解釋都將受益于理解中的困難。</p> <p>&nbsp;</p> <p>近年來(lái)，研究人員成功地開(kāi)發(fā)了兩個(gè)模型，解釋了理解和制造句子的兩種重要困難類(lèi)型。雖然這些模型成功地預(yù)測(cè)了理解困難的特定模式，但它們的預(yù)測(cè)是有限的，并且與行為實(shí)驗(yàn)的結(jié)果不完全匹配。此外，直到最近，研究人員還無(wú)法將這兩個(gè)模型整合成一個(gè)連貫的解釋。</p> <p>&nbsp;</p> <p>麻省理工學(xué)院大腦與認(rèn)知科學(xué)系(BCS)的研究人員領(lǐng)導(dǎo)的一項(xiàng)新研究現(xiàn)在為語(yǔ)言理解困難提供了這樣一個(gè)統(tǒng)一的解釋。基于機(jī)器學(xué)習(xí)的最新進(jìn)展，研究人員開(kāi)發(fā)了一個(gè)模型，可以更好地預(yù)測(cè)個(gè)人生成和理解句子的難易程度。他們最近在《美國(guó)國(guó)家科學(xué)院院刊》上發(fā)表了他們的發(fā)現(xiàn)。</p> <p>&nbsp;</p> <p>這篇論文的資深作者是BCS教授羅杰&middot;列維(Roger Levy)和愛(ài)德華(泰德)&middot;吉布森(Edward (Ted) Gibson)。主要作者是列維和吉布森以前的訪問(wèn)學(xué)生邁克爾&middot;哈恩，他現(xiàn)在是薩爾大學(xué)的教授。第二作者是Richard Futrell，他以前也是Levy和Gibson的學(xué)生，現(xiàn)在是加州大學(xué)歐文分校的教授。</p> <p>&nbsp;</p> <p>吉布森說(shuō):&ldquo;這不僅是現(xiàn)有理解困難解釋的放大版;&ldquo;我們提供了一種新的潛在理論方法，可以更好地進(jìn)行預(yù)測(cè)。&rdquo;</p> <p>&nbsp;</p> <p>研究人員在這兩個(gè)現(xiàn)有模型的基礎(chǔ)上建立了一個(gè)統(tǒng)一的理解困難的理論解釋。這些老模型都指出了導(dǎo)致理解受挫的不同原因:</p> <p>&nbsp;</p> <p>預(yù)期困難和記憶檢索困難。當(dāng)一個(gè)句子不容易讓我們預(yù)料到它接下來(lái)要說(shuō)的單詞時(shí)，我們就會(huì)經(jīng)歷期待的困難。當(dāng)我們很難追蹤一個(gè)含有嵌套從句的復(fù)雜結(jié)構(gòu)的句子時(shí)，我們就會(huì)經(jīng)歷記憶檢索的困難，例如:&ldquo;律師不信任的醫(yī)生惹惱了病人這一事實(shí)令人驚訝。&rdquo;</p> <p>&nbsp;</p> <p>2020年，F(xiàn)utrell首先設(shè)計(jì)了一個(gè)統(tǒng)一這兩個(gè)模型的理論。他認(rèn)為，記憶的限制不僅影響含有嵌套從句的句子的檢索，而且困擾著所有的語(yǔ)言理解;我們記憶的局限性不允許我們?cè)谡Z(yǔ)言理解過(guò)程中完美地表現(xiàn)句子上下文。</p> <p>&nbsp;</p> <p>因此，根據(jù)這個(gè)統(tǒng)一的模型，記憶約束可以在預(yù)期中創(chuàng)造一個(gè)新的困難來(lái)源。我們可能很難預(yù)測(cè)一個(gè)句子中即將出現(xiàn)的單詞，即使這個(gè)單詞應(yīng)該很容易從上下文中預(yù)測(cè)出來(lái)&mdash;&mdash;以防句子上下文本身很難記住。例如，考慮一個(gè)以&ldquo;鮑勃扔了垃圾&hellip;&hellip;&rdquo;</p> <p>&nbsp;</p> <p>開(kāi)頭的句子，我們很容易想到最后一個(gè)詞&ldquo;出去&rdquo;。但如果最后一個(gè)詞之前的句子上下文更復(fù)雜，預(yù)期就會(huì)出現(xiàn)困難:&ldquo;鮑勃把在廚房里放了幾天的舊垃圾扔了出去。&rdquo;</p> <p>&nbsp;</p> <p>研究人員通過(guò)測(cè)量讀者對(duì)不同理解任務(wù)做出反應(yīng)所需的時(shí)間來(lái)量化理解難度。反應(yīng)時(shí)間越長(zhǎng)，對(duì)給定句子的理解就越有挑戰(zhàn)性。先前實(shí)驗(yàn)的結(jié)果表明，F(xiàn)utrell的統(tǒng)一描述比兩個(gè)舊模型更好地預(yù)測(cè)了讀者的理解困難。但他的模型并沒(méi)有識(shí)別出我們?nèi)菀淄浘渥拥哪男┎糠?amp;mdash;&mdash;以及記憶檢索的失敗是如何混淆理解的。</p> <p>&nbsp;</p> <p>哈恩的新研究填補(bǔ)了這些空白。在這篇新論文中，來(lái)自麻省理工學(xué)院的認(rèn)知科學(xué)家與Futrell一起提出了一個(gè)基于新的連貫理論框架的增強(qiáng)模型。新模型識(shí)別并修正了Futrell統(tǒng)一解釋中缺失的元素，并提供了新的微調(diào)預(yù)測(cè)，更好地匹配實(shí)證實(shí)驗(yàn)的結(jié)果。</p> <p>&nbsp;</p> <p>在Futrell最初的模型中，研究人員首先認(rèn)為，由于記憶的限制，我們的大腦不能完美地代表我們遇到的句子。但他們?cè)诖嘶A(chǔ)上增加了認(rèn)知效率的理論原則。他們提出，大腦傾向于部署其有限的記憶資源，以?xún)?yōu)化其準(zhǔn)確預(yù)測(cè)句子中新單詞輸入的能力。</p> <p>&nbsp;</p> <p>這一概念導(dǎo)致了一些經(jīng)驗(yàn)預(yù)測(cè)。根據(jù)一項(xiàng)重要的預(yù)測(cè)，讀者通過(guò)依靠他們對(duì)統(tǒng)計(jì)上的單詞共現(xiàn)的知識(shí)來(lái)彌補(bǔ)他們不完美的記憶表征，以便在腦海中隱式地重構(gòu)他們所讀到的句子。因此，包含稀有單詞和短語(yǔ)的句子很難完美地記住，也更難預(yù)測(cè)即將出現(xiàn)的單詞。因此，這樣的句子通常更難以理解。</p> <p>&nbsp;</p> <p>為了評(píng)估這一預(yù)測(cè)是否與我們的語(yǔ)言行為相匹配，研究人員使用了GPT-2，一種基于神經(jīng)網(wǎng)絡(luò)建模的AI自然語(yǔ)言工具。這種機(jī)器學(xué)習(xí)工具于2019年首次公開(kāi)，使研究人員能夠以一種以前不可能的方式在大規(guī)模文本數(shù)據(jù)上測(cè)試模型。但是GPT-2強(qiáng)大的語(yǔ)言建模能力也帶來(lái)了一個(gè)問(wèn)題:與人類(lèi)相比，GPT-2完美的記憶完美地代表了它處理的非常長(zhǎng)和復(fù)雜文本中的所有單詞。為了更準(zhǔn)確地描述人類(lèi)的語(yǔ)言理解能力，研究人員添加了一個(gè)組件，模擬人類(lèi)對(duì)記憶資源的限制&mdash;&mdash;就像Futrell的原始模型一樣&mdash;&mdash;并使用機(jī)器學(xué)習(xí)技術(shù)來(lái)優(yōu)化這些資源的使用方式&mdash;&mdash;就像他們提出的新模型一樣。最終的模型保留了GPT-2在大多數(shù)情況下準(zhǔn)確預(yù)測(cè)單詞的能力，但在單詞和短語(yǔ)罕見(jiàn)組合的句子中顯示出類(lèi)似人類(lèi)的故障。</p> <p>&nbsp;</p> <p>吉布森說(shuō):&ldquo;這是一個(gè)很好的例子，說(shuō)明了現(xiàn)代機(jī)器學(xué)習(xí)工具如何幫助發(fā)展認(rèn)知理論，以及我們對(duì)大腦如何工作的理解。&rdquo;&ldquo;即使在幾年前，我們也不可能在這里進(jìn)行這項(xiàng)研究。&rdquo;</p> <p>&nbsp;</p> <p>研究人員向機(jī)器學(xué)習(xí)模型輸入了一組含有復(fù)雜嵌入從句的句子，例如，&ldquo;律師不信任的醫(yī)生惹惱了病人的報(bào)告令人驚訝。&rdquo;然后，研究人員將這些句子的開(kāi)頭名詞&mdash;&mdash;如上面例子中的&ldquo;報(bào)告&rdquo;&mdash;&mdash;替換為其他名詞，每個(gè)名詞都有可能出現(xiàn)在后面的從句中。一些名詞使它們被插入的句子更容易被人工智能程序&ldquo;理解&rdquo;。例如，當(dāng)這些句子以常見(jiàn)的短語(yǔ)&ldquo;the fact that&rdquo;開(kāi)始時(shí)，該模型能夠更準(zhǔn)確地預(yù)測(cè)它們?nèi)绾谓Y(jié)束，而不是以罕見(jiàn)的短語(yǔ)&ldquo;the report that&rdquo;開(kāi)始時(shí)。</p> <p>&nbsp;</p> <p>然后，研究人員開(kāi)始通過(guò)對(duì)閱讀類(lèi)似句子的參與者進(jìn)行實(shí)驗(yàn)來(lái)證實(shí)基于人工智能的結(jié)果。他們對(duì)理解任務(wù)的反應(yīng)時(shí)間與模型預(yù)測(cè)的反應(yīng)時(shí)間相似。吉布森說(shuō):&ldquo;當(dāng)句子以&lsquo;報(bào)告那&rsquo;開(kāi)頭時(shí)，人們往往會(huì)以一種扭曲的方式記住這個(gè)句子。&rdquo;這種罕見(jiàn)的措辭進(jìn)一步限制了他們的記憶，從而限制了他們的理解。</p> <p>&nbsp;</p> <p>這些結(jié)果表明，新模型在預(yù)測(cè)人類(lèi)如何處理語(yǔ)言方面優(yōu)于現(xiàn)有模型。</p> <p>&nbsp;</p> <p>該模型展示的另一個(gè)優(yōu)勢(shì)是它能夠提供不同語(yǔ)言的不同預(yù)測(cè)。利維說(shuō):&ldquo;以前的模型知道為什么某些語(yǔ)言結(jié)構(gòu)，比如含有嵌入從句的句子，在記憶的限制下通常更難處理，但我們的新模型可以解釋為什么相同的約束在不同的語(yǔ)言中表現(xiàn)不同。&rdquo;&ldquo;例如，對(duì)于以德語(yǔ)為母語(yǔ)的人來(lái)說(shuō)，帶有中心從句的句子似乎比以英語(yǔ)為母語(yǔ)的人更容易理解，因?yàn)橐缘抡Z(yǔ)為母語(yǔ)的人習(xí)慣閱讀從句將動(dòng)詞推到句尾的句子。&rdquo;</p> <p>&nbsp;</p> <p>Levy認(rèn)為，除了嵌入從句之外，還需要對(duì)模型進(jìn)行進(jìn)一步的研究，以確定導(dǎo)致句子表示不準(zhǔn)確的原因。&ldquo;我們還需要測(cè)試其他類(lèi)型的&lsquo;困惑&rsquo;。&rdquo;與此同時(shí)，哈恩補(bǔ)充說(shuō)，&ldquo;這個(gè)模型可能會(huì)預(yù)測(cè)其他沒(méi)有人想過(guò)的&lsquo;混亂&rsquo;。我們現(xiàn)在正試圖找到這些因素，看看它們是否會(huì)像預(yù)測(cè)的那樣影響人類(lèi)的理解。&rdquo;</p> <p>&nbsp;</p> <p>未來(lái)研究的另一個(gè)問(wèn)題是，新模型是否會(huì)導(dǎo)致人們重新思考一長(zhǎng)串專(zhuān)注于句子整合困難的研究:&ldquo;許多研究人員強(qiáng)調(diào)了與我們?cè)谀X海中重建語(yǔ)言結(jié)構(gòu)的過(guò)程有關(guān)的困難，&rdquo;Levy說(shuō)。&ldquo;新的模型可能表明，困難不在于這些句子的心理重建過(guò)程，而在于一旦它們已經(jīng)被構(gòu)造出來(lái)，如何維持心理表征。一個(gè)很大的問(wèn)題是，這是否是兩件獨(dú)立的事情。&rdquo;</p> <p>&nbsp;</p> <p>吉布森補(bǔ)充說(shuō)，無(wú)論如何，&ldquo;這種工作標(biāo)志著這些問(wèn)題研究的未來(lái)。&rdquo;</p> <p>&nbsp;</p> <blockquote> <p>注：本文由院校官方新聞直譯，僅供參考，不代表指南者留學(xué)態(tài)度觀點(diǎn)。</p> </blockquote>