AI搜索引擎再度進化？！

給這個AI一個主題，分分鐘給你甩出一篇論文綜述，而且還會自己提供論文引文。

又或者輸入一個科學類的名詞，AI也能迅速生成這個名詞專屬的維基百科。

這個AI名叫Galactica （簡稱：GAL），是最新開源的一個科學語言大模型，把AI轉化為科學生產力。

并且還實現了學科“大一統”，數學、物理、計算機…這個AI都能用。

模型剛一放出，就迅速引發網友熱議，目前相關推文已有近15萬瀏覽，累計點贊、轉發、引用也已破五千。

Facebook前技術官也出來為它來站臺。

還有網友親自體驗了一把，寫出來的文獻綜述“看起來相當不錯”，甚至直呼：

下一步它是不是就能產生新想法了。

其實寫文獻綜述和生產維基百科還只是GAL功能的一部分，除去這些，它還能回答一些專業問題、編寫科學代碼、注釋分子和蛋白質……

具體效果如何，一起來看看吧～

可以作為科學生產的工具

提到科學生產力，就肯定離不開論文的查找，這不，GAL幫你解決了。

它涵蓋了五種科學學科：機器學習、數學、計算機科學、生物以及物理。

選擇好學科，然后在左邊框輸入想要找的論文主題，右邊GAL便會推薦最合適的論文以供閱讀。

除了推薦論文之外，GAL還有一個更加實用的功能：生成講稿。

比如說要做個關于密度泛函理論（DFT）的pre，又懶得寫講稿，直接GAL一下，分分鐘搞定（手動狗頭）。

GAL還能夠用來注釋分子和蛋白質，如下就是GAL生成的RDKit（可生成用于機器學習的分子描述符）操作手冊。

在一些細節問題上，GAL也狠狠拿捏了！

就比如說你看不懂一些復雜的數學公式和代碼，沒關系交給GAL來解決，它能直接給你翻譯成大白話。

不僅如此，它還能實現數學公式和代碼之間的相互轉換，或者不同類型代碼之間的轉換。

更重要的是，他還有簡化公式和查錯功能。

怎么做到的？

GAL能實現這么復雜的功能，就不得不提到它的訓練數據集。

據官方消息，GAL是在一個名為NatureBook的新型高質量科學數據集上進行訓練的，這使模型能夠使用科學術語、數學和化學公式以及源代碼。

其中包括超過4800萬篇論文、教科書和課堂講稿，還有數百萬計的化合物和蛋白質、科學網站以及百科全書等等。

除此之外，為了查找論文并規范化引用，GAL的數據集中包含超過3.6億條上下文引用和超過5000萬條跨不同來源規范化的獨特參考。

有了這么龐大的數據集之后，那接下來便面臨兩個問題。

第一個問題是如何管理這些高質量的數據集，實現這點，GAL用了兩步：

所有數據都以一種通用的標記格式進行處理，打通各種來源數據之間的壁壘。

預訓練中包含用于特定任務的數據集，這就能保證在處理特定任務時能夠更加專業。

還有一個問題是：如何設計界面交互？

首先就像上文提到的那樣，GAL能夠支持不同類型的任務。

因此在設計界面交互時便對各種任務進行分類，不同的分類會支持不同的類型的數據。

既然GAL擁有高度管理和高質量的科學數據集，那和其他模型相比效果如何？

直接上數據！

推理方面，GAL的優勢脫穎而出，在數學MMLU（大規模多任務語言理解）上，表現要優于Chinchilla，數學方面，表現也優于PalM 540B和GPT-3 175B。

盡管，GAL并沒有經過一般數據集的訓練，但它在BIG-bench上的表現仍舊優于BLOOM和OPT-175B。

看完之后是不是也心癢癢了，先碼住再說！

傳送門：https://galactica.org/

參考鏈接：[1]https://twitter.com/paperswithcode/status/1592546933679476736[2]https://github.com/paperswithcode/galai[3]https://galactica.org/static/paper.pdf