?讓一只猴子在打字機上隨機地按鍵，只要給足夠長的時間，莎士比亞全集也能敲出來。

那要是一只懂語法和語義的猴子呢？答案是連科研都能幫你做！

語言模型的發展勢頭十分迅猛，幾年前還只能在輸入法上對下一個要輸入的詞進行自動補全，今天就已經可以幫助研究人員分析和撰寫科學論文、生成代碼了。

大型語言模型（LLM）的訓練一般需要海量的文本數據作支撐。

2020年，OpenAI發布了擁有1750億參數的GPT-3模型，寫詩、做數學題，幾乎生成模型能做的，GPT-3已然做到極致，即便到了今天，GPT-3仍然是很多語言模型要拿來對比和超越的基線。

GPT-3發布后，很快在Twitter和其他社交媒體上引發熱議，大量研究人員對這種詭異的「類人寫作」方式感到吃驚。

GPT-3發布在線服務后，用戶可以隨意輸入文本，并讓模型返回下文，每處理750個單詞的收費最低僅為0.0004美元，堪稱物美價廉。

最近Nature專欄科技專題上發布了一篇文章，沒想到除了幫忙寫小作文，這些語言模型還能幫你「做科研」！

讓機器幫你思考

冰島大學雷克雅未克分校的計算機科學家Hafsteinn Einarsson表示：我幾乎每天都會用到GPT-3，比如給論文摘要進行修改。

Einarsson在6月份的一次會議上準備文案時，雖然GPT-3提了很多無用的修改建議，但也有一些有幫助的，比如「使研究問題在摘要的開頭更加明確」，而這類問題你自己看手稿時根本不會意識到，除非你讓別人幫你看，而這個別人為什么不能是「GPT-3」呢？

語言模型甚至還可以幫助你改進實驗設計！

在另一個項目中，Einarsson想使用Pictionary游戲在參與者中收集語言數據。

在給出了游戲的描述后，GPT-3給出了一些游戲的修改建議。理論上講，研究人員也可以要求對實驗方案進行新的嘗試。

一些研究人員也會使用語言模型來生成論文標題或使文本更易讀。

斯坦福大學計算機科學教授的博士生Mina Lee的使用方法是，給GPT-3輸入「使用這些關鍵詞，生成一篇論文標題」等作為提示，模型就會幫你擬定幾個標題。

有部分章節如果需要重寫的話，她還會用到以色列特拉維夫AI21實驗室發布的人工智能寫作助手Wordtune，只需要點擊「Rewrite」，就能轉換出多個版本的重寫段落，然后進行仔細挑選即可。

Lee還會要求GPT-3為生活中的一些事提供建議，比如詢問「如何把男朋友介紹給她的父母」時，GPT-3建議去海邊的一家餐館。

位于紐約布魯克林的科技初創公司Scite的計算機科學家Domenic Rosati使用Generate語言模型對自己的思路進行重新組織。

鏈接：https://cohere.ai/generate

Generate由加拿大的一家NLP公司Cohere開發，模型的工作流程與GPT-3非常相似。

只需要輸入筆記，或者只是隨便說點idea，最后加上「總結一下」或是「把它變成一個抽象概念」，模型就會自動幫你整理思路。

何必親自寫代碼？

OpenAI 的研究人員對 GPT-3進行了大量的文本訓練，包括書籍、新聞故事、維基百科條目和軟件代碼。

后來，團隊注意到GPT-3可以像補全普通文本一樣對代碼進行補全。

研究人員創建了一個名為 Codex 的算法的微調版本，使用來自代碼共享平臺GitHub上超過150G 的文本上進行訓練；目前GitHub 現在已經將Codex 集成到 Copilot 的服務中，可以輔助用戶編寫代碼。

位于華盛頓州西雅圖的艾倫人工智能研究所AI2的計算機科學家Luca Soldaini說，他們辦公室里至少有一半 的人都在用Copilot

Soldaini表示，Copilot最適合重復性編程的場景。比如他有一個項目涉及到編寫處理PDF的模板代碼，Copilot直接就給補全了。

不過Copilot補全的內容也會經常出錯，最好在一些自己熟悉的語言上使用。

文獻檢索

語言模型最為成熟的應用場景可能就是搜索和總結文獻了。

AI2開發的Semantic Scholar搜索引擎使用了TLDR的語言模型對每篇論文給出了一個類似Twitter長度的描述。

該搜索引擎覆蓋了大約2億篇論文，其中大部分來自生物醫學和計算機科學。

TLDR的開發基于由Meta更早發布的BART模型，然后AI2的研究人員在人寫摘要的基礎上對模型進行了微調。

按照今天的標準，TLDR并不是一個大型語言模型，因為它只包含大約4億個參數，而GPT-3的最大版本包含1750億。

TLDR在AI2開發的擴充科學論文應用程序Semantic Reader中也有應用。

當用戶使用Semantic Reader中的文內引用時，會彈出一個包含TLDR摘要的信息框。

Semantic Scholar的首席科學家Dan Weld表示，我們的想法是利用語言模型來提升閱讀體驗。

當語言模型生成文本摘要時，模型有可能會生成一些文章中不存在的事實，研究人員將這種問題稱之為「幻覺」，但實際上語言模型純粹是在編造或撒謊。

TLDR 在真實性檢驗中表現較好，論文作者對TLDR的準確度評分為2.5分(滿分3分)。

Weld表示，TLDR更真實是因為摘要只有大約20個單詞的長度，也可能是因為算法不會將沒有出現在正文中的單詞放入摘要中。

在搜索工具方面，2021年在加利福尼亞州舊金山的機器學習非營利組織Ought推出了Elicit ，如果用戶問它「mindfulness對決策的影響是什么?」它會輸出一個包含十篇論文的表格。

用戶可以要求軟件在列中填寫諸如摘要和元數據等內容，以及關于研究參與者、方法和結果的信息，然后使用包括 GPT-3在內的工具從論文中提取或生成這些信息。

馬里蘭大學帕克分校的Joel Chan的研究方向為人機交互，每當他開始一個新項目的時候都會使用Elicit搜索相關論文。

斯德哥爾摩卡羅琳學院的神經系統科學家Gustav Nilsonne還利用Elicit找到了一些可以添加到匯總分析中的數據的論文，用這個工具可以找到在其他搜索中沒有發現的文件。

不斷進化的模型

AI2的原型為LLM提供了一種未來的感覺。

有時研究人員在閱讀科學論文的摘要后會有疑問，但還沒有時間閱讀全文。

AI2的一個團隊還開發了一個工具，可以在NLP領域回答這些問題。

模型首先要求研究人員閱讀NLP論文的摘要，然后詢問相關問題(比如「分析了哪五個對話屬性?」)

研究小組隨后要求其他研究人員在閱讀完全部論文后回答這些問題。

AI2訓練了另一個版本的Longformer語言模型，輸入為一篇完整的論文，然后利用收集的數據集生成關于其他論文不同問題的答案。

ACCoRD模型可以為150個與NLP相關的科學概念生成定義和類比。

MS2是一個包含470,000個醫學文檔和20,000個多文檔摘要的數據集，用MS2微調BART后，研究人員就能夠提出一個問題和一組文檔，并生成一個簡短的元分析摘要。

2019年，AI2對谷歌2018年創建的語言模型 BERT 進行了微調，在Semantic Scholar的論文上創建了擁有1.1億個參數的 SciBERT

Scite使用人工智能創建了一個科學搜索引擎，進一步對SciBERT進行了微調，以便當其搜索引擎列出引用目標論文的論文時，將這些論文歸類為支持、對比或以其他方式提到該論文。

Rosati表示這種細微差別有助于人們識別科技文獻中的局限性或差距。

AI2的SPECTER模型也是基于SciBERT，它將論文簡化為緊湊的數學表示。

Weld 說，會議組織者使用 SPECTER 將提交的論文與同行評審者匹配，Semantic Scholar使用它根據用戶的庫推薦論文。

在希伯來大學和AI2的計算機科學家Tom Hope說他們有研究項目通過微調語言模型來確定有效的藥物組合、基因和疾病之間的聯系，以及在COVID-19研究中的科學挑戰和方向。

但是，語言模型能否提供更深入的洞察力，甚至是發現能力呢？

今年5月，Hope 和 Weld 與微軟首席科學官Eric Horvitz共同撰寫了一篇評論，列出了實現這一目標的挑戰，包括教授模型以「(推斷)重組兩個概念的結果」。

Hope表示，這基本和 OpenAI 的 DALL · E 2圖像生成模型「生成一張貓飛入太空的圖片是一回事」，但是我們怎樣才能走向結合抽象的、高度復雜的科學概念呢?

這是個開放性問題。

時至今日，大型語言模型已經對研究產生了實實在在的影響，如果人們還沒有開始使用這些大型語言模型輔助工作，他們就會錯過這些機會。

參考資料：

https://www.nature.com/articles/d41586-022-03479-w