一句話為視頻加特效；迄今為止最全昆蟲(chóng)大腦圖譜
目錄：
- Composer: Creative and Controllable Image Synthesis with Composable Conditions
- Structure and Content-Guided Video Synthesis with Diffusion Models
- The connectome of an insect brain
- Uncertainty-driven dynamics for active learning of interatomic potentials
- Combinatorial synthesis for AI-driven materials discovery
- Masked Images Are Counterfactual Samples for Robust Fine-tuning
- One Transformer Fits All Distributions in Multi-Modal Diffusion at Scale
- ArXiv Weekly Radiostation：NLP、CV、ML 更多精選論文（附音頻）
論文 1：Composer: Creative and Controllable Image Synthesis with Composable Conditions
- 作者：Lianghua Huang 等
- 論文地址：https://arxiv.org/pdf/2302.09778v2.pdf
摘要：在 AI 繪畫(huà)領(lǐng)域，很多研究者都在致力于提升 AI 繪畫(huà)模型的可控性，即讓模型生成的圖像更加符合人類(lèi)要求。前段時(shí)間，一個(gè)名為 ControlNet 的模型將這種可控性推上了新的高峰。大約在同一時(shí)間，來(lái)自阿里巴巴和螞蟻集團(tuán)的研究者也在同一領(lǐng)域做出了成果，本文是這一成果的詳細(xì)介紹。
推薦：AI 繪畫(huà)新思路：國(guó)產(chǎn)開(kāi)源 50 億參數(shù)新模型，合成可控性、質(zhì)量實(shí)現(xiàn)飛躍。
論文 2：Structure and Content-Guided Video Synthesis with Diffusion Models
- 作者：Patrick Esser 等
- 論文地址：https://arxiv.org/pdf/2302.03011.pdf
摘要：相信很多人已經(jīng)領(lǐng)會(huì)過(guò)生成式 AI 技術(shù)的魅力，特別是在經(jīng)歷了 2022 年的 AIGC 爆發(fā)之后。以 Stable Diffusion 為代表的文本到圖像生成技術(shù)一度風(fēng)靡全球，無(wú)數(shù)用戶(hù)涌入，借助 AI 之筆表達(dá)自己的藝術(shù)想象……
相比于圖像編輯，視頻編輯是一個(gè)更具有挑戰(zhàn)性的議題，它需要合成新的動(dòng)作，而不僅僅是修改視覺(jué)外觀，此外還需要保持時(shí)間上的一致性。在這條賽道上探索的公司也不少。前段時(shí)間，谷歌發(fā)布的 Dreamix 以將文本條件視頻擴(kuò)散模型（video diffusion model, VDM）應(yīng)用于視頻編輯。
近日，曾參與創(chuàng)建 Stable Diffusion 的 Runway 公司推出了一個(gè)新的人工智能模型「Gen-1」，該模型通過(guò)應(yīng)用文本 prompt 或參考圖像指定的任何風(fēng)格，可將現(xiàn)有視頻轉(zhuǎn)化為新視頻。比如將「街道上的人」變成「粘土木偶」，只需要一行 prompt。
推薦：加特技只需一句話 or 一張圖，Stable Diffusion 的公司把 AIGC 玩出了新花樣。
論文 3：The connectome of an insect brain
- 作者：MICHAEL WINDING 等
- 論文地址：https://www.science.org/doi/10.1126/science.add9330
摘要：研究人員完成了迄今為止最先進(jìn)的昆蟲(chóng)大腦圖譜，這是神經(jīng)科學(xué)領(lǐng)域的一項(xiàng)里程碑式成就，使科學(xué)家更接近對(duì)思維機(jī)制的真正理解。
由約翰斯?霍普金斯大學(xué)和劍橋大學(xué)領(lǐng)導(dǎo)的國(guó)際團(tuán)隊(duì)制作了一張?bào)@人的詳細(xì)圖譜，描繪了果蠅幼蟲(chóng)大腦中的每一個(gè)神經(jīng)連接，這是一個(gè)與人類(lèi)大腦相當(dāng)?shù)脑涂茖W(xué)模型。該研究可能會(huì)支持未來(lái)的大腦研究并激發(fā)新的機(jī)器學(xué)習(xí)架構(gòu)。
推薦：迄今為止最全昆蟲(chóng)大腦圖譜，可能激發(fā)新的機(jī)器學(xué)習(xí)架構(gòu)。
論文 4：Uncertainty-driven dynamics for active learning of interatomic potentials
- 作者：Maksim Kulichenko 等
- 論文地址：https://www.nature.com/articles/s43588-023-00406-5
摘要：機(jī)器學(xué)習(xí) (ML) 模型，如果針對(duì)高保真量子模擬的數(shù)據(jù)集進(jìn)行訓(xùn)練，可以產(chǎn)生準(zhǔn)確高效的原子間勢(shì)。主動(dòng)學(xué)習(xí) (AL) 是迭代生成不同數(shù)據(jù)集的強(qiáng)大工具。在這種方法中，ML 模型提供了不確定性估計(jì)及其對(duì)每個(gè)新原子構(gòu)型的預(yù)測(cè)。如果不確定性估計(jì)超過(guò)某個(gè)閾值，則該構(gòu)型將包含在數(shù)據(jù)集中。
近日，來(lái)自美國(guó)洛斯阿拉莫斯國(guó)家實(shí)驗(yàn)室的研究人員制定了一種策略：主動(dòng)學(xué)習(xí)的不確定性驅(qū)動(dòng)動(dòng)力學(xué) (UDD-AL)，以更快地發(fā)現(xiàn)有意義地?cái)U(kuò)充訓(xùn)練數(shù)據(jù)集的構(gòu)型。UDD-AL 修改了分子動(dòng)力學(xué)模擬中使用的勢(shì)能面，以支持存在較大模型不確定性的構(gòu)型空間區(qū)域。UDD-AL 的性能在兩個(gè) AL 任務(wù)中得到了證明。下圖為甘氨酸測(cè)試用例的 UDD-AL 和 MD-AL 方法比較。
推薦：Nature 子刊 | 不確定性驅(qū)動(dòng)、用于主動(dòng)學(xué)習(xí)的動(dòng)力學(xué)用于自動(dòng)采樣。
論文 5：Combinatorial synthesis for AI-driven materials discovery
- 作者：John M. Gregoire 等
- 論文地址：https://www.nature.com/articles/s44160-023-00251-4
摘要：合成是固態(tài)材料實(shí)驗(yàn)的基石，任何合成技術(shù)必然涉及改變一些合成參數(shù)，最常見(jiàn)的是成分和退火溫度?！附M合合成」通常是指自動(dòng)化 / 并行化材料合成，以創(chuàng)建具有一個(gè)或多個(gè)合成參數(shù)系統(tǒng)變化的材料集合。人工智能控制的實(shí)驗(yàn)工作流程對(duì)組合合成提出了新的要求。
在此，加州理工學(xué)院的研究人員概述了組合合成，設(shè)想了由組合合成和 AI 技術(shù)的共同開(kāi)發(fā)推動(dòng)的加速材料科學(xué)的未來(lái)。并建立了評(píng)估不同技術(shù)之間權(quán)衡的十個(gè)指標(biāo)，涵蓋速度、可擴(kuò)展性、范圍和質(zhì)量。這些指標(biāo)有助于評(píng)估一項(xiàng)技術(shù)對(duì)給定工作流程的適用性，并說(shuō)明組合合成的進(jìn)步將如何開(kāi)創(chuàng)加速材料科學(xué)的新時(shí)代。如下為組合合成平臺(tái)的合成指標(biāo)和各自評(píng)價(jià)。
推薦：Nature Synthesis 綜述：人工智能驅(qū)動(dòng)材料發(fā)現(xiàn)的組合合成。
論文 6：Masked Images Are Counterfactual Samples for Robust Fine-tuning
- 作者：Yao Xiao 等
- 論文地址：https://arxiv.org/abs/2303.03052
摘要：中山大學(xué)人機(jī)物智能融合實(shí)驗(yàn)室（HCP）在 AIGC 及多模態(tài)大模型方面成果豐碩，在近期的 AAAI 2023、CVPR 2023 先后入選了十余篇，位列全球研究機(jī)構(gòu)的第一梯隊(duì)。其中一個(gè)工作實(shí)現(xiàn)了用因果模型來(lái)顯著提升多模態(tài)大模型在調(diào)優(yōu)中的可控及泛化性 ——《Masked Images Are Counterfactual Samples for Robust Fine-tuning》。
推薦：中山大學(xué) HCP 實(shí)驗(yàn)室新突破：用因果范式再升級(jí)多模態(tài)大模型。
論文 7：One Transformer Fits All Distributions in Multi-Modal Diffusion at Scale
- 作者：Fan Bao 等
- 論文地址：https://ml.cs.tsinghua.edu.cn/diffusion/unidiffuser.pdf
摘要：該論文提出了一個(gè)為多模態(tài)設(shè)計(jì)的概率建?？蚣?UniDiffuser，并采用該團(tuán)隊(duì)提出的基于 transformer 的網(wǎng)絡(luò)架構(gòu) U-ViT，在開(kāi)源的大規(guī)模圖文數(shù)據(jù)集 LAION-5B 上訓(xùn)練了一個(gè)十億參數(shù)量的模型，使得一個(gè)底層模型能夠高質(zhì)量地完成多種生成任務(wù)（圖 1）。簡(jiǎn)單來(lái)講，除了單向的文生圖，還能實(shí)現(xiàn)圖生文、圖文聯(lián)合生成、無(wú)條件圖文生成、圖文改寫(xiě)等多種功能，大幅提升文圖內(nèi)容的生產(chǎn)效率，也進(jìn)一步提升了生成式模型的應(yīng)用想象力。
推薦：清華朱軍團(tuán)隊(duì)開(kāi)源首個(gè)基于 Transformer 的多模態(tài)擴(kuò)散大模型，文圖互生、改寫(xiě)全拿下。
ArXiv Weekly Radiostation
機(jī)器之心聯(lián)合由楚航、羅若天、梅洪源發(fā)起的ArXiv Weekly Radiostation，在 7 Papers 的基礎(chǔ)上，精選本周更多重要論文，包括NLP、CV、ML領(lǐng)域各10篇精選,并提供音頻形式的論文摘要簡(jiǎn)介。
本周 10 篇 NLP 精選論文是：
1. GLEN: General-Purpose Event Detection for Thousands of Types. (from Martha Palmer, Jiawei Han)
2. An Overview on Language Models: Recent Developments and Outlook. (from C.-C. Jay Kuo)
3. Learning Cross-lingual Visual Speech Representations. (from Maja Pantic)
4. Translating Radiology Reports into Plain Language using ChatGPT and GPT-4 with Prompt Learning: Promising Results, Limitations, and Potential. (from Ge Wang)
5. A Picture is Worth a Thousand Words: Language Models Plan from Pixels. (from Honglak Lee)
6. Do Transformers Parse while Predicting the Masked Word?. (from Sanjeev Arora)
7. The Learnability of In-Context Learning. (from Amnon Shashua)
8. Is In-hospital Meta-information Useful for Abstractive Discharge Summary Generation?. (from Yuji Matsumoto)
9. ChatGPT Participates in a Computer Science Exam. (from Ulrike von Luxburg)
10. Team SheffieldVeraAI at SemEval-2023 Task 3: Mono and multilingual approaches for news genre, topic and persuasion technique classification. (from Kalina Bontcheva)
本周 10 篇 CV 精選論文是：
1. From Local Binary Patterns to Pixel Difference Networks for Efficient Visual Representation Learning. (from Matti Pietik?inen, Li Liu)
2. Category-Level Multi-Part Multi-Joint 3D Shape Assembly. (from Wojciech Matusik, Leonidas Guibas)
3. PartNeRF: Generating Part-Aware Editable 3D Shapes without 3D Supervision. (from Leonidas Guibas)
4. Exploring Recurrent Long-term Temporal Fusion for Multi-view 3D Perception. (from Xiangyu Zhang)
5. Grab What You Need: Rethinking Complex Table Structure Recognition with Flexible Components Deliberation. (from Bing Liu)
6. Unified Visual Relationship Detection with Vision and Language Models. (from Ming-Hsuan Yang)
7. Contrastive Semi-supervised Learning for Underwater Image Restoration via Reliable Bank. (from Huan Liu)
8. InstMove: Instance Motion for Object-centric Video Segmentation. (from Xiang Bai, Alan Yuille)
9. ViTO: Vision Transformer-Operator. (from George Em Karniadakis)
10. A Simple Framework for Open-Vocabulary Segmentation and Detection. (from Jianfeng Gao, Lei Zhang)
本周 10 篇 ML 精選論文是：
1. Generalizing and Decoupling Neural Collapse via Hyperspherical Uniformity Gap. (from Bernhard Sch?lkopf)
2. AutoTransfer: AutoML with Knowledge Transfer -- An Application to Graph Neural Networks. (from Jure Leskovec)
3. Relational Multi-Task Learning: Modeling Relations between Data and Tasks. (from Jure Leskovec)
4. Interpretable Outlier Summarization. (from Samuel Madden)
5. Visual Prompt Based Personalized Federated Learning. (from Dacheng Tao)
6. Interpretable Joint Event-Particle Reconstruction for Neutrino Physics at NOvA with Sparse CNNs and Transformers. (from Pierre Baldi)
7. FedLP: Layer-wise Pruning Mechanism for Communication-Computation Efficient Federated Learning. (from Fei Wang, Khaled B. Letaief)
8. Traffic4cast at NeurIPS 2022 -- Predict Dynamics along Graph Edges from Sparse Node Data: Whole City Traffic and ETA from Stationary Vehicle Detectors. (from Sepp Hochreiter)
9. Achieving a Better Stability-Plasticity Trade-off via Auxiliary Networks in Continual Learning. (from Thomas Hofmann)
10. Steering Prototype with Prompt-tuning for Rehearsal-free Continual Learning. (from Dimitris N. Metaxas)
