目錄：

1. Faster sorting algorithms discovered using deep reinforcement learning
2. Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding
3. Patch-based 3D Natural Scene Generation from a Single Example
4. Spatio-temporal Diffusion Point Processes
5. SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression
6. UniControl: A Unified Diffusion Model for Controllable Visual Generation In the Wild
7. FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance

論文 1：Faster sorting algorithms discovered using deep reinforcement learning

• 作者：Daniel J. Mankowitz 等
• 論文地址：https://www.nature.com/articles/s41586-023-06004-9

摘要：「通過交換和復(fù)制移動，AlphaDev 跳過了一個步驟，以一種看似錯誤，但實際上是捷徑的方式連接項目。」這種前所未見、違反直覺的思想不禁讓人回憶起 2016 年那個春天。

七年前，AlphaGo 在圍棋上擊敗人類世界冠軍，如今 AI 又在編程上給我們上了一課。Google DeepMind CEO 哈薩比斯的兩句話引爆計算機領(lǐng)域：「AlphaDev 發(fā)現(xiàn)了一種全新且更快的排序算法，我們已將其開源到主要 C++ 庫中供開發(fā)人員使用。這只是 AI 提升代碼效率進(jìn)步的開始。」

推薦：AI 重寫排序算法，速度快 70%：DeepMind AlphaDev 革新計算基礎(chǔ)，每天調(diào)用萬億次的庫更新了

論文 2：Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding

• 作者：Hang Zhang 等
• 論文地址：https://arxiv.org/abs/2306.02858

摘要：近期，大語言模型展現(xiàn)出了令人矚目的能力。我們能否給大模型裝上 “眼睛” 和 “耳朵”，讓它能夠理解視頻，陪著用戶互動呢？

從這個問題出發(fā)，達(dá)摩院的研究人員提出了 Video-LLaMA，一個具有綜合視聽能力大模型。Video-LLaMA 能夠感知和理解視頻中的視頻和音頻信號， 并能理解用戶輸入的指令，完成一系列基于音視頻的復(fù)雜任務(wù)，例如音 / 視頻描述，寫作，問答等。目前論文，代碼，交互 demo 都已開放。另外，在 Video-LLaMA 的項目主頁中，該研究團隊還提供了中文版本的模型，讓中文用戶的體驗更絲滑。

下面兩個例子展示了 Video-LLaMA 的視聽綜合感知能力，例子中的會話圍繞有聲視頻展開。

論文 3：Patch-based 3D Natural Scene Generation from a Single Example

• 作者：Weiyu Li 等
• 論文地址：https://arxiv.org/abs/2304.12670

摘要：北京大學(xué)陳寶權(quán)團隊聯(lián)合山東大學(xué)和騰訊 AI Lab 的研究人員，提出了首個基于單樣例場景無需訓(xùn)練便可生成多樣高質(zhì)量三維場景的方法。

推薦：CVPR 2023 | 三維場景生成：無需任何神經(jīng)網(wǎng)絡(luò)訓(xùn)練，從單個樣例生成多樣結(jié)果。

論文 4：Spatio-temporal Diffusion Point Processes

• 作者：Yuan Yuan 等
• 論文地址：https://arxiv.org/abs/2305.12403

摘要：清華電子工程系城市科學(xué)與計算研究中心最新提出時空擴散點過程，突破已有方法建模時空點過程的受限概率形式和高采樣成本等缺陷，實現(xiàn)了靈活、高效且易于計算的時空點過程模型，可廣泛用于城市自然災(zāi)害、突發(fā)事故和居民活動等時空事件的建模與預(yù)測，促進(jìn)城市規(guī)劃和管理的智能化發(fā)展。下表展示 DSTPP 相比已有點過程解決方案的優(yōu)勢。

推薦：擴散模型還能預(yù)測地震和犯罪？清華團隊最新研究提出時空擴散點過程。

論文 5：SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression

• 作者：Tim Dettmers 等
• 論文地址：https://arxiv.org/pdf/2306.03078.pdf

摘要：為了解決準(zhǔn)確性問題，來自華盛頓大學(xué)、蘇黎世聯(lián)邦理工學(xué)院等機構(gòu)的研究者提出了一種新的壓縮格式和量化技術(shù) SpQR（稀疏 - 量化表征），首次實現(xiàn)了 LLM 跨模型尺度的近無損壓縮，同時達(dá)到了與以前方法相似的壓縮水平。

SpQR 通過識別和隔離異常權(quán)重來工作，這些異常權(quán)重會導(dǎo)致特別大的量化誤差，研究者將它們以更高的精度存儲，同時將所有其他權(quán)重壓縮到 3-4 位，在 LLaMA 和 Falcon LLMs 中實現(xiàn)了不到 1% 的困惑度相對準(zhǔn)確率損失。在單個 24GB 的消費級 GPU 上運行 33B 參數(shù)的 LLM，而不會有任何性能下降，同時還能提高 15% 的速度。下圖 3 為 SpQR 的總體架構(gòu)。

推薦：將 330 億參數(shù)大模型「塞進(jìn)」單個消費級 GPU，加速 15%、性能不減。

論文 6：UniControl: A Unified Diffusion Model for Controllable Visual Generation In the Wild

• 作者：Can Qin 等
• 論文地址：https://arxiv.org/abs/2305.11147

摘要：本文中，Salesforce AI、東北大學(xué)、斯坦福大學(xué)的研究者提出了 MOE-style Adapter 和 Task-aware HyperNet 來實現(xiàn) UniControl 中的多模態(tài)條件生成能力。UniControl 在九個不同的 C2I 任務(wù)上進(jìn)行訓(xùn)練，展示了強大的視覺生成能力和 zero-shot 泛化能力。UniControl 模型由多個預(yù)訓(xùn)練任務(wù)和 zero-shot 任務(wù)組成。

推薦：多模態(tài)可控圖片生成統(tǒng)一模型來了，模型參數(shù)、推理代碼全部開源。

論文 7：FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance

• 作者：Lingjiao Chen 等
• 論文地址：https://arxiv.org/pdf/2305.05176.pdf

摘要：成本和準(zhǔn)確性之間的平衡是決策制定的關(guān)鍵因素，尤其是在采用新技術(shù)時。如何有效和高效地利用 LLM 是從業(yè)者面臨的關(guān)鍵挑戰(zhàn)：如果任務(wù)相對簡單，那么聚合來自 GPT-J （其規(guī)模比 GPT-3 小 30 倍）的多個響應(yīng)可以實現(xiàn)與 GPT-3 類似的性能，從而實現(xiàn)成本和環(huán)境上的權(quán)衡。然而，在較為困難任務(wù)上，GPT-J 的性能可能會大大下降。因此，如何經(jīng)濟高效地使用 LLM 需要采用新的方法。

最近的一項研究嘗試提出解決這一成本問題的方法，研究者通過實驗表明，F(xiàn)rugalGPT 可以與最佳個體 LLM（例如 GPT-4） 的性能相媲美，成本降低高達(dá) 98%，或者在相同成本下將最佳個體 LLM 的準(zhǔn)確性提高 4%。該研究討論了三種降低成本的策略，即 prompt 適應(yīng)、LLM 近似和 LLM 級聯(lián)。

推薦：GPT-4 API 平替？性能媲美同時成本降低 98%，斯坦福提出 FrugalGPT，研究卻惹爭議。