對于天天查找論文的小伙伴來說，有一個好用的搜索工具，那簡直不要太開心，效率妥妥的上升。

但現(xiàn)實結(jié)果卻是，要么搜索工具不給力，要么自己輸入的關(guān)鍵詞不起作用，反正，自己腦海里想找尋的論文和搜索出來的結(jié)果不能說毫無關(guān)系，簡直是天差地別。

下面我們將要介紹的這個網(wǎng)站，可以幫你搞定論文搜索遇到的難題，網(wǎng)站名為 arXiv Xplorer，專門用于對 arXiv 上的論文進(jìn)行語義搜索。根據(jù)項目作者介紹，該網(wǎng)站的內(nèi)部算法使用了 OpenAI 的最新嵌入模型，可以為用戶進(jìn)行搜索查詢，從而找到最相關(guān)的論文。

arXiv Xplorer地址：https://arxivxplorer.com/

項目作者表示：OpenAI 新的嵌入 API 給他留下了深刻的印象，因此他想看看該嵌入是如何在實踐中使用的。所以他花了幾天時間來構(gòu)建這個項目，到目前為止，它工作得非常好。除此以外，他還用 ChatGPT 編寫了 80% 的 UI，用 pinecone 來存儲向量數(shù)據(jù)庫，并用 googlecloud 函數(shù)來嵌入查詢并執(zhí)行查找。

想要了解嵌入模型更多內(nèi)容，可以前去網(wǎng)站查看。

嵌入模型：https://openai.com/blog/new-and-improved-embedding-model/

借助 arXiv Xplorer，你可以找到所需論文，即使是你的描述非常模糊，甚至只是輸入「有趣的 ML 論文」這種沒有信息含量的描述，該引擎也能幫你完成。如下所示，輸入幾個關(guān)鍵字后該網(wǎng)站展示的查詢結(jié)果。

在此過程中，相比谷歌或 arXiv 自己的搜索等傳統(tǒng)搜索工具來說，你還能發(fā)現(xiàn)以前從未見過的有趣論文，相比來說，似乎 arXiv Xplorer 效果更勝一籌。

你也可以通過粘貼 arxiv url 直接搜索類似的論文，舉例來說，下圖的輸入是論文《A Generalist Agent》的地址，搜索結(jié)果顯示（紅框），A Generalist Agent 相似度為 100%，其他的搜索結(jié)果按照得分依次展開。

除此以外，你還可以點擊上圖紅框中的小三角，之后界面變成下圖所示，顯示論文參與者和摘要，下面還有兩個功能：「More Like This」將會顯示更多相似論文；「View」會鏈接到論文在 arXiv 的主頁。

?

看到這個功能齊全的網(wǎng)站，網(wǎng)友的好奇心也是憋不住了，問道「你用到了 OpenAI 的嵌入技術(shù)，但是這項技術(shù)是收費的，那你為此交了多少錢？」。項目作者表示：「將所有論文嵌入 CS 類別（約 50 萬篇）需要 40 美元。」

?

還有網(wǎng)友對技術(shù)展開了一系列問題，例如：「這個網(wǎng)站是嵌入了所有 arXiv 的標(biāo)題嗎？」項目作者表示：「他把所有論文的標(biāo)題和摘要都嵌入了，最初手動做余弦相似度和排序，但 pinecone 使它超級簡單！」

還有網(wǎng)友建議到：「這個工具搜索功能做得很好！如果能夠按發(fā)布日期查看和排序，那就太酷了。」對于這一點，項目作者表示之后會不斷優(yōu)化，爭取實現(xiàn)更完美的功能。