<p>電子健康記錄(EHRs)需要一位新的公共關(guān)系經(jīng)理。十年前，美國政府通過了一項法律，大力鼓勵采用電子健康記錄，旨在改善和簡化醫(yī)療服務(wù)。這些數(shù)字記錄中的大量信息可以用來回答臨床試驗范圍之外的非常具體的問題:對于這種身高和體重的患者，這種藥物的正確劑量是多少?有特定基因組的病人呢?</p> <p>&nbsp;</p> <p>不幸的是，大多數(shù)能夠回答這些問題的數(shù)據(jù)都被困在醫(yī)生的筆記里，充斥著行話和縮寫。使用目前的技術(shù)，計算機很難理解這些注釋&mdash;&mdash;提取信息需要訓(xùn)練多個機器學(xué)習(xí)模型。為一家醫(yī)院訓(xùn)練的模型在其他醫(yī)院也不能很好地工作，而且訓(xùn)練每個模型需要領(lǐng)域?qū)＜覙?biāo)記大量數(shù)據(jù)，這是一個耗時且昂貴的過程。</p> <p>&nbsp;</p> <p>一個理想的系統(tǒng)應(yīng)該使用一個單一的模型，它可以提取多種類型的信息，在多家醫(yī)院都能很好地工作，并從少量的標(biāo)記數(shù)據(jù)中學(xué)習(xí)。但如何?麻省理工學(xué)院計算機科學(xué)和人工智能實驗室(CSAIL)的研究人員由電氣工程和計算機科學(xué)博士候選人Monica Agrawal領(lǐng)導(dǎo)，他們認(rèn)為要理清這些數(shù)據(jù)，他們需要用到更大的東西:大型語言模型。為了獲取這些重要的醫(yī)學(xué)信息，他們使用了一個非常大的GPT-3風(fēng)格的模型來完成一些任務(wù)，比如擴展過多的術(shù)語和首字母縮略詞，提取藥物治療方案。</p> <p>例如，系統(tǒng)接受一個輸入(在本例中是一個臨床病歷)，用一個關(guān)于病歷的問題&ldquo;提示&rdquo;模型，例如&ldquo;展開這個縮寫，C-T-A&rdquo;。系統(tǒng)返回一個輸出，例如&ldquo;聽診清晰&rdquo;，而不是說，一個CT血管造影。該團隊表示，提取這些干凈數(shù)據(jù)的目的是最終實現(xiàn)更個性化的臨床建議。</p> <p>&nbsp;</p> <p>可以理解的是，醫(yī)療數(shù)據(jù)是一種很難自由導(dǎo)航的資源。由于數(shù)據(jù)使用的限制，在使用公共資源測試大型模型的性能方面存在大量的繁文縟節(jié)，因此該團隊決定收集自己的數(shù)據(jù)。</p> <p>&nbsp;</p> <p>&ldquo;開發(fā)一個單一的通用臨床自然語言處理系統(tǒng)是一項挑戰(zhàn)，它將解決每個人的需求，并對健康數(shù)據(jù)集的巨大變化具有健壯性。因此，直到今天，大多數(shù)臨床記錄還沒有用于下游分析或電子健康記錄中的實時決策支持。這些大型語言模型方法可能會潛在地改變臨床自然語言處理，&rdquo;David Sontag說，他是麻省理工學(xué)院電氣工程和計算機科學(xué)教授，CSAIL和醫(yī)學(xué)工程與科學(xué)研究所的首席研究員，也是一篇關(guān)于這項工作的論文的監(jiān)督作者，這篇論文將在自然語言處理的經(jīng)驗方法會議上發(fā)表。&ldquo;研究團隊在零鏡頭臨床信息提取方面的進(jìn)步使縮放成為可能。即使你有數(shù)百個不同的用例，也沒有問題&mdash;&mdash;你可以用幾分鐘的工作構(gòu)建每個模型，而不是為特定的任務(wù)標(biāo)記大量的數(shù)據(jù)。&rdquo;</p> <p>&nbsp;</p> <p>例如，在沒有任何標(biāo)簽的情況下，研究人員發(fā)現(xiàn)這些模型在擴展超負(fù)荷的首字母縮略詞時可以達(dá)到86%的準(zhǔn)確率，該團隊開發(fā)了額外的方法，在不需要任何標(biāo)簽的情況下將準(zhǔn)確率進(jìn)一步提高到90%。</p> <p>&nbsp;</p> <p><span class="h1"><strong>被關(guān)在電子病歷里</strong></span></p> <p>&nbsp;</p> <p>一段時間以來，專家們一直在穩(wěn)步建立大型語言模型(llm)，但隨著GPT-3完成句子的能力得到廣泛覆蓋，它們突然成為主流。這些llm接受來自互聯(lián)網(wǎng)的大量文本的訓(xùn)練，以完成句子并預(yù)測下一個最有可能出現(xiàn)的單詞。</p> <p>&nbsp;</p> <p>雖然以前的較小模型(如早期的GPT迭代或BERT)在提取醫(yī)療數(shù)據(jù)方面取得了良好的性能，但它們?nèi)匀恍枰罅康氖止?shù)據(jù)標(biāo)記工作。</p> <p>&nbsp;</p> <p>例如，一個注釋，&ldquo;pt will dc vanco due to n/v&rdquo;意味著該患者(pt)正在服用抗生素萬古霉素(vanco)，但出現(xiàn)惡心和嘔吐(n/v)嚴(yán)重到護理團隊停止(dc)藥物。該團隊的研究避免了為每個任務(wù)訓(xùn)練單獨的機器學(xué)習(xí)模型的現(xiàn)狀(從記錄中提取藥物、副作用、消除常見縮寫的歧義等)。除了擴展縮寫之外，他們還調(diào)查了其他四項任務(wù)，包括模型是否能夠分析臨床試驗并提取細(xì)節(jié)豐富的藥物方案。</p> <p>&nbsp;</p> <p>&ldquo;之前的研究表明，這些模型對提示語的精確措辭非常敏感。我們的部分技術(shù)貢獻(xiàn)是格式化提示，以便模型以正確的格式提供輸出，&rdquo;CSAIL博士生、論文作者Hunter Lang說。&ldquo;對于這些提取問題，有結(jié)構(gòu)化的輸出空間。輸出空間不僅僅是一個字符串。它可以是一個列表。它可以是原始輸入的引用。所以有更多的結(jié)構(gòu)，而不僅僅是免費的文本。我們的部分研究貢獻(xiàn)是鼓勵模型提供具有正確結(jié)構(gòu)的輸出。這大大縮短了后期處理時間。&rdquo;</p> <p>&nbsp;</p> <p>這種方法不能應(yīng)用于醫(yī)院的開箱即用的健康數(shù)據(jù):這需要通過開放的互聯(lián)網(wǎng)將患者的私人信息發(fā)送到像OpenAI這樣的LLM提供商。作者表明，通過將模型提煉成一個可以在現(xiàn)場使用的更小的模型，可以解決這個問題。</p> <p>&nbsp;</p> <p>模型&mdash;&mdash;有時就像人類一樣&mdash;&mdash;并不總是對真相感恩戴德。潛在的問題可能是這樣的:假設(shè)你在詢問某人服藥的原因。如果沒有適當(dāng)?shù)谋Ｗo和檢查，模型可能只輸出最常見的服藥原因，如果在注釋中沒有明確提到的話。這導(dǎo)致該團隊努力迫使模型從數(shù)據(jù)中提取更多的引用，減少自由文本。</p> <p>&nbsp;</p> <p>該團隊未來的工作包括擴展到英語以外的語言，創(chuàng)建更多的方法來量化模型中的不確定性，并在開源模型中獲得類似的結(jié)果。</p> <p>&nbsp;</p> <p>微軟人工智能主管、CVS health人工智能前執(zhí)行董事Sadid Hasan說:&ldquo;與一般領(lǐng)域文本相比，隱藏在非結(jié)構(gòu)化臨床筆記中的臨床信息面臨獨特的挑戰(zhàn)，這主要是由于大量使用首字母縮略詞，以及不同醫(yī)療機構(gòu)使用的不一致的文本模式。&rdquo;&ldquo;為此，這項工作提出了一個有趣的范式，即利用通用領(lǐng)域大型語言模型的力量來完成幾個重要的零次/少次臨床NLP任務(wù)。具體來說，提出的llm引導(dǎo)提示設(shè)計可以生成更結(jié)構(gòu)化的輸出，通過迭代利用模型生成的偽標(biāo)簽，可以進(jìn)一步開發(fā)更小的可部署模型。&rdquo;</p> <p>&nbsp;</p> <p>&ldquo;人工智能在過去五年中加速發(fā)展，這些大型模型可以預(yù)測情境化推薦，并在多個領(lǐng)域產(chǎn)生連鎖效應(yīng)，比如建議新的藥物配方、理解非結(jié)構(gòu)化文本、代碼推薦或創(chuàng)作受任何數(shù)量的人類藝術(shù)家或風(fēng)格啟發(fā)的藝術(shù)作品。&rdquo;帕敏德&middot;巴蒂亞說，他曾是AWS Health AI的機器學(xué)習(xí)主管，目前是AWS AI實驗室利用大型語言模型進(jìn)行低代碼應(yīng)用的ML主管。&ldquo;(該團隊)最近推出的這些大型模型的其中一個應(yīng)用是Amazon CodeWhisperer，這是一個由ml支持的編碼伙伴，可以幫助開發(fā)人員構(gòu)建應(yīng)用程序。&rdquo;</p> <p>&nbsp;</p> <p>作為MIT Abdul Latif Jameel健康機器學(xué)習(xí)診所的一部分，Agrawal、Sontag和Lang與MIT助理教授、CSAIL首席研究員Yoon Kim以及來自明斯特大學(xué)的訪問博士生Stefan Hegselmann共同撰寫了這篇論文。第一作者Agrawal的研究得到了武田獎學(xué)金、麻省理工德什潘德技術(shù)創(chuàng)新中心和MLA@CSAIL倡議的支持。</p> <p>&nbsp;</p> <blockquote> <p>注：本文由院校官方新聞直譯，僅供參考，不代表指南者留學(xué)態(tài)度觀點。</p> </blockquote>