最近更新的比較少，因為一直在打街霸6的天梯，我已經沖到鉆石了，離大師一步之遙。然而...今天又被人問了MOE和dense到底區別在哪，但是他說的很多理解是完全錯的。其實我以前講過，但是可能沒那么細，所以我今天仔細澄清一下大家理解的誤區。如果隨便答，其實什么推理省顯存，簡單的道理，因為activation少了么，原來要激活整個MLP，現在激活的幾個expert之類的云答案，這種很好找的。那么問題來了，激活experts（一般需要N）就...

今天本來就想更一期強化學習，但是突然看了Anthropic的personavector，所以又來寫這一篇，因為我覺得這個很有價值。以往我們玩LLM比較怕的事就是他亂說話作為概率模型，它能說對，它也能亂編，亂編輕癥就是所謂的幻覺，亂編的重癥就嚴重了，比如輸出一些有毒的內容，涉黃涉恐內容，雖然上線前都做過毒性測試，但是事實證明，幾乎任何模型都在一定條件下可以被jailbreak。還有一個就是可解釋性。神經網絡尤其LLM一直被詬病就是不...

圖片一般你們下AR模型的時候，都有這個，也就是tokenzier，tokenizer是干啥的，其實就是你的分詞字典不光有specal的token對應的還有實際的對應的分詞對應的代碼，比如：圖片也有tokenzier沒顯示的，比如，為什么呢？因為它不是文本模型，人家輸入是聲音，因為它是ASR扯遠了，回歸主題tokenizer之所以總是個獨立的model，因為它和transformer不是一個網絡，它也不參與transformer訓練時候的反向傳播（和embedding層兩回事，embed...

圖片清華，交大，普林斯頓和德州奧斯丁，港大等一堆學生聯合完成的一篇論文（全華班）文章雖然被冠以Distill，但是嚴格說和我們理解的Distill沒啥關系，最早的Distill要求有訓練任務和損失的交互，后來Deepseek把抽COT數據來FT也叫Distill直到這個文章，連LLM的參數都被凍結了，也算是老詞新用吧！AgentDistill實現知識蒸餾的機制與傳統的大語言模型（LLM）蒸餾方法不同。它通過以下關鍵方式實現知識轉移：訓練無關的代理蒸餾：...

排名是真的挺好，開源閉源現在都是第一了，這個事embeddiing的，rerank應該也是第一，甚至4B的基本也除了8B以外就是它第一。它和普通的比如原來的我們常用的BGE之類的有啥區別？傳統的embedding都是基于bert來弄模型，一般也就encoderonly，bert原來也就是干分類器的，給一句話到它，它給你進行embedding了，這里考慮到有些同學可以不理解整套流程，我就稍微說細點一般來講用3層法就很好理解：第一層：詞元嵌入（TokenEmbedding...

我覺得LLaMA4最值得看的技術就是iRoPE，他們自己沒出說說明，所以我試著解讀了一下：簡單來說，iRoPE技術是對標準RoPE位置編碼方式的升級，主要解決了在處理超長文本時出現的問題。交錯式應用(InterleavedApplication):標準RoPE在模型的每一層Q和K都用旋轉操作來編碼PI頁就是位置編碼。iRoPE的做法是“交替進行”——有些層用帶RoPE的注意力機制，有些層不用（或者用其他方法）。這樣做的目的是為了防止在處理很長的文本時，位...

最近看了一張畫Agent記憶分類的圖我覺得分類分的還可以，但是太淺了，于是就著它的邏輯，仔細得寫了一下在不同的記憶層，該如何設計和選型先從流程，作用，實力和持續時間的這4個維度來解釋一下這幾種記憶：1.短期記憶（ShortTermMemory,STM）流程：Input（輸入）→Encode（編碼）→Store（存儲）→Erase（清除）作用：在進行活動時保持臨時細節，類似于我們在對話中臨時記住的信息。示例：保存最近的交互信息，比如剛剛發送的...

那什么是粗暴的控制LLM的幻覺的方法呢？正常你們大家學到的應該是temperature0topk1topp0.1類似這種的但是這種是不是能解決幻覺呢？很顯然在做的各位試過，應該是沒什么效果的。為什么呢正常來講，我們不是把生成nexttoken的概率放到最大的那個token上了嗎？今天先回憶個概念LLM是靠什么來決定nexttoken生成的，就是Logit，就是softmax你的前向計算的最后一層（這么表達不精確，但是你可以認為就算最后一層了）過了output之后呢...

如果你玩過開源的Text2video，也就是文生視頻，也會感慨AI越來越能整活兒了，但是如果你好奇去各大平臺看一圈，基本上視頻最大就是在810秒左右，甚至有35秒的。（sora能到20秒）當然有兄弟說是算力的問題，這個確實是一個問題，生成視頻diffusion的算力確實要比純text多，但是這個如果有錢也不是問題（后文我們發現其實就算有錢也是問題），但是現在我們談論的是錢解決不了的問題，一致性。這個一致性指的是多幀一致性比如這個...

我見過的最省的GPT4o，Claude，Gemini2級別的模型，而且是國內唯一有機會上桌的，其實海外目前和這三家有資格掰手腕的也只有它自己，可以負責任的說其他的模型不配上桌吃菜（Gemini上個月都沒資格）。其實性能好就不說了，DeepseekR1就還不錯，國內講道理是第一家做inferencetimingscalinglaw的模型，阿里是第二家，其他的就不太值得談論了，其實國外也只有GPT和Google有資格，沒想到年底還能出個DeepseekV3，在傳統scalinglaw...

論文名稱KBLAM:KNOWLEDGEBASEAUGMENTEDLANGUAGEMODELICLR2025的論文，MS系的這篇論文介紹了一種名為KBLAM（KnowledgeBaseaugmentedLanguageModel，知識庫增強語言模型）的新方法，用于將外部知識庫（KB）高效地集成到預訓練的大型語言模型（LLM）中，以提升其在特定任務中的表現，同時避免傳統方法的局限性。核心問題與背景LLM雖然在知識和推理方面表現優異，但當需要處理超出其參數存儲知識的外部信息時，往往需要額外的增強手...

我之前演示過幾個OpenManus的demo，其實也就是demo，包括manus，現在也就是demo階段，復雜的plan和flow，現在的代碼支撐和LLM的能力都有待改善，但是我們這期不是吐槽文章，是來把OpenManus給打開看看它的實現是怎么樣的，其實Manus也都差不多，甚至OWL也都差不多，我們看一個就夠了。其他的幾個目錄也沒啥特別需要看的，就看app。app里面有這么幾個結構：1agent沒啥好解釋的2flow就是來做multiagent的planning和管理任務框架的...

總結，模型門戶留給GPT5去做了，4.5還是像Altman之前說的就是最后一代純預訓練。1一個超巨大的模型，grok3級別（10萬卡），AK說每個0.5要提升10倍預訓練算力，那對比GPT4的1.8T,也就說4.5是一個18T(18000B)級別的模型，所以必須跨多campus,異步梯度下降的訓練方式(要求太高，這個目前只有grok,oai,gemini,3家真正嚴格實踐過，anthropic都不行)。2擁有更多的知識(o3和人類比如博士生做題的合成數據)，比4o能力提升百分之50（其實...

其實我這個問題不算瞎問。在你的項目里，你是真覺得GraphRAG有用，還是就圖個新鮮勁，這個是非常重要的思考。RAG能干啥，其實不用復雜的解釋了。傳統的方式就是基于向量余弦近似度的查找，當然BM25其實也是傳統RAG（別把它當新東西），常見一點的基本都有向量查找，或者向量+BM25關鍵字集成查找，為了方便我就畫向量的了。如下圖：通用LLM里不太存在專用領域的知識，RAG可以作為外掛知識庫的補充，補充新的知識，另外有些問題，...

有點意思的論文2410.13639ACOMPARATIVESTUDYONREASONINGPATTERNSOFOPENAI’SO1MODEL簡而言之就是曼徹斯特大學，浙大和中科大還有一些開源的項目組一些一起研究OpenAIO1的人，來發O1為什么牛B的論文。正常，研究紅樓夢畢竟也有紅學（我是一集紅樓夢也沒看過，書和電視都沒看過)。。。文章主要講分析猜測和評估OpenAI的推理模式在不同任務上的效果。同時也利用不同的模型比如GPT4o，Gemma，LLama,Qwen等嘗試利用分析出來的O1的推...