一塊GPU跑ChatGPT體量模型，AI繪圖又一神器ControlNet
目錄
- Transformer models: an introduction and catalog
- High-throughout Generative Inference of Large Language Models with a Single GPU
- Temporal Domain Generalization with Drift-Aware Dynamic Neural Networks
- Large-scale physically accurate modelling of real proton exchange membrane fuel cell with deep learning
- A Comprehensive Survey on Pretrained Foundation Models: A History from BERT to ChatGPT
- Adding Conditional Control to Text-to-Image Diffusion Models
- EVA3D: Compositional 3D Human Generation from 2D image Collections
- ArXiv Weekly Radiostation：NLP、CV、ML 更多精選論文（附音頻）
論文 1：Transformer models: an introduction and catalog
- 作者：Xavier Amatriain
- 論文地址：https://arxiv.org/pdf/2302.07730.pdf
摘要：自 2017 年提出至今，Transformer 模型已經在自然語言處理、計算機視覺等其他領域展現了前所未有的實力，并引發了 ChatGPT 這樣的技術突破，人們也提出了各種各樣基于原始模型的變體。
由于學界和業界不斷提出基于 Transformer 注意力機制的新模型，我們有時很難對這一方向進行歸納總結。近日，領英 AI 產品戰略負責人 Xavier Amatriain 的一篇綜述性文章或許可以幫助我們解決這一問題。
推薦：本文的目標是為最流行的 Transformer 模型提供一個比較全面但簡單的目錄和分類，還介紹了 Transformer 模型中最重要的方面和創新。
論文 2：High-throughout Generative Inference of Large Language Models with a Single GPU
- 作者：Ying Sheng 等
- 論文地址：https://github.com/FMInference/FlexGen/blob/main/docs/paper.pdf
摘要：傳統上，大語言模型（LLM）推理的高計算和內存要求使人們必須使用多個高端 AI 加速器進行訓練。本研究探索了如何將 LLM 推理的要求降低到一個消費級 GPU 并實現實用性能。、
近日，來自斯坦福大學、UC Berkeley、蘇黎世聯邦理工學院、Yandex、莫斯科國立高等經濟學院、Meta、卡耐基梅隆大學等機構的新研究提出了 FlexGen，這是一種用于運行有限 GPU 內存的 LLM 的高吞吐量生成引擎。下圖為 FlexGen 的設計思路， 利用塊調度來重用權重并將 I/O 與計算重疊，如下圖 (b) 所示，而其他基線系統使用低效的逐行調度，如下圖 (a) 所示。
推薦：跑 ChatGPT 體量模型，從此只需一塊 GPU：加速百倍的方法來了。
論文 3：Temporal Domain Generalization with Drift-Aware Dynamic Neural Networks
- 作者：Guangji Bai 等
- 論文地址：https://arxiv.org/pdf/2205.10664.pdf
摘要：在領域泛化 (Domain Generalization, DG) 任務中，當領域的分布隨環境連續變化時，如何準確地捕捉該變化以及其對模型的影響是非常重要但也極富挑戰的問題。
為此，來自 Emory 大學的趙亮教授團隊，提出了一種基于貝葉斯理論的時間域泛化框架 DRAIN，利用遞歸網絡學習時間維度領域分布的漂移，同時通過動態神經網絡以及圖生成技術的結合最大化模型的表達能力，實現對未來未知領域上的模型泛化及預測。
本工作已入選 ICLR 2023 Oral (Top 5% among accepted papers)。如下為 DRAIN 總體框架示意圖。
推薦：漂移感知動態神經網絡加持，時間域泛化新框架遠超領域泛化 & 適應方法。
論文 4：Large-scale physically accurate modelling of real proton exchange membrane fuel cell with deep learning
- 作者：Ying Da Wang 等
- 論文地址：https://www.nature.com/articles/s41467-023-35973-8
摘要：為了保障能源供應和應對氣候變化，人們的焦點從化石燃料轉向清潔和可再生能源，氫以其高能密度和清潔低碳的能源屬性可以在能源轉型變革中發揮重要作用。氫燃料電池，尤其是質子交換膜燃料電池 (PEMFC)，由于高能量轉換效率和零排放操作，成為這場綠色革命的關鍵。
PEMFC 通過電化學過程將氫轉化為電能，反應的唯一副產品是純水。然而，如果水不能正常流出電池，隨后「淹沒」系統，PEMFC 可能會變得低效。到目前為止，由于燃料電池體積非常小且結構非常復雜，工程師們很難理解燃料電池內部排水或積水的精確方式。
近日，悉尼新南威爾士大學的研究團隊開發了一種深度學習算法（DualEDSR），來提高對 PEMFC 內部情況的理解，可以從較低分辨率的 X 射線微計算機斷層掃描中生成高分辨率的建模圖像。該工藝已經在單個氫燃料電池上進行了測試，可以對其內部進行精確建模，并有可能提高其效率。下圖展示了本研究中生成的 PEMFC 域。
推薦：深度學習對燃料電池內部進行大規模物理精確建模，助力電池性能提升。
論文 5：A Comprehensive Survey on Pretrained Foundation Models: A History from BERT to ChatGPT
- 作者：Ce Zhou 等
- 論文地址：https://arxiv.org/pdf/2302.09419.pdf
摘要：這篇近百頁的綜述梳理了預訓練基礎模型的演變史，讓我們看到 ChatGPT 是怎么一步一步走向成功的。
推薦：從 BERT 到 ChatGPT，百頁綜述梳理預訓練大模型演變史。
論文 6：Adding Conditional Control to Text-to-Image Diffusion Models
- 作者：Lvmin Zhang 等
- 論文地址：https://arxiv.org/pdf/2302.05543.pdf
摘要：本文提出了一種端到端的神經網絡架構 ControlNet，該架構可以通過添加額外條件來控制擴散模型（如 Stable Diffusion），從而改善圖生圖效果，并能實現線稿生成全彩圖、生成具有同樣深度結構的圖、通過手部關鍵點還能優化手部的生成等。
推薦：AI 降維打擊人類畫家，文生圖引入 ControlNet，深度、邊緣信息全能復用。
論文 7：EVA3D: Compositional 3D Human Generation from 2D image Collections
- 作者：Fangzhou Hong 等
- 論文地址：https://arxiv.org/abs/2210.04888
摘要：在 ICLR 2023 上，南洋理工大學 - 商湯科技聯合研究中心 S-Lab 團隊提出了首個從二維圖像集合中學習高分辨率三維人體生成的方法 EVA3D。得益于 NeRF 提供的可微渲染，近期的三維生成模型已經在靜止物體上達到了很驚艷的效果。但是在人體這種更加復雜且可形變的類別上，三維生成依舊有很大的挑戰。
本文提出了一個高效的組合的人體 NeRF 表達，實現了高分辨率（512x256）的三維人體生成，并且沒有使用超分模型。EVA3D 在四個大型人體數據集上均大幅超越了已有方案，代碼已開源。
推薦：ICLR 2023 Spotlight | 2D 圖像腦補 3D 人體，衣服隨便搭，還能改動作。
ArXiv Weekly Radiostation
機器之心聯合由楚航、羅若天、梅洪源發起的ArXiv Weekly Radiostation，在 7 Papers 的基礎上，精選本周更多重要論文，包括NLP、CV、ML領域各10篇精選,并提供音頻形式的論文摘要簡介，詳情如下：
7 NLP Papers?
本周 10 篇 NLP 精選論文是：
1. Active Prompting with Chain-of-Thought for Large Language Models. (from Tong Zhang)
2. Prosodic features improve sentence segmentation and parsing. (from Mark Steedman)
3. ProsAudit, a prosodic benchmark for self-supervised speech models. (from Emmanuel Dupoux)
4. Exploring Social Media for Early Detection of Depression in COVID-19 Patients. (from Jie Yang)
5. Federated Nearest Neighbor Machine Translation. (from Enhong Chen)
6. SPINDLE: Spinning Raw Text into Lambda Terms with Graph Attention. (from Michael Moortgat)
7. A Neural Span-Based Continual Named Entity Recognition Model. (from Qingcai Chen)
10 CV Papers?
本周 10 篇 CV 精選論文是：
1. MERF: Memory-Efficient Radiance Fields for Real-time View Synthesis in Unbounded Scenes. (from Richard Szeliski, Andreas Geiger)
2. Designing an Encoder for Fast Personalization of Text-to-Image Models. (from Daniel Cohen-Or)
3. Teaching CLIP to Count to Ten. (from Michal Irani)
4. Evaluating the Efficacy of Skincare Product: A Realistic Short-Term Facial Pore Simulation. (from Weisi Lin)
5. Real-Time Damage Detection in Fiber Lifting Ropes Using Convolutional Neural Networks. (from Moncef Gabbouj)
6. Embedding Fourier for Ultra-High-Definition Low-Light Image Enhancement. (from Chen Change Loy)
7. Region-Aware Diffusion for Zero-shot Text-driven Image Editing. (from Changsheng Xu)
8. Side Adapter Network for Open-Vocabulary Semantic Segmentation. (from Xiang Bai)
9. VoxFormer: Sparse Voxel Transformer for Camera-based 3D Semantic Scene Completion. (from Sanja Fidler)
10. Object-Centric Video Prediction via Decoupling of Object Dynamics and Interactions. (from Sven Behnke)
10 ML Papers?
本周 10 篇 ML 精選論文是：
1. normflows: A PyTorch Package for Normalizing Flows. (from Bernhard Sch?lkopf)
2. Concept Learning for Interpretable Multi-Agent Reinforcement Learning. (from Katia Sycara)
3. Random Teachers are Good Teachers. (from Thomas Hofmann)
4. Aligning Text-to-Image Models using Human Feedback. (from Craig Boutilier, Pieter Abbeel)
5. Change is Hard: A Closer Look at Subpopulation Shift. (from Dina Katabi)
6. AlpaServe: Statistical Multiplexing with Model Parallelism for Deep Learning Serving. (from Zhifeng Chen)
7. Diverse Policy Optimization for Structured Action Space. (from Hongyuan Zha)
8. The Geometry of Mixability. (from Robert C. Williamson)
9. Does Deep Learning Learn to Abstract? A Systematic Probing Framework. (from Nanning Zheng)
10. Sequential Counterfactual Risk Minimization. (from Julien Mairal)
