很多人都有這樣的感受——大模型應(yīng)用的理論我都懂，但為什么就是做不好？其實(shí)理論的簡單性和技術(shù)的復(fù)雜性，往往都隱藏在那些細(xì)節(jié)里。“紙上得來終覺淺，絕知此事要躬行。”今天閑的沒事回頭梳理了一下這大半年來開發(fā)過程中所遇到的問題，然后畫了一個(gè)架構(gòu)圖；然后突然發(fā)現(xiàn)，這么長時(shí)間好像也沒做太多東西啊，但為什么總感覺自己很忙，很累，但東西又沒做好？原因就在于技術(shù)是一項(xiàng)實(shí)踐性很強(qiáng)的東西，很多時(shí)候你懂了并不代表你會(huì)...

“上下文管理是大模型應(yīng)用穩(wěn)定性的一個(gè)重要環(huán)節(jié)。”今天在優(yōu)化智能體的時(shí)候發(fā)現(xiàn)一個(gè)問題，就是智能體第一次思考和工具調(diào)用都是正常的，但第二次思考的時(shí)候就輸出一個(gè)think標(biāo)簽就結(jié)束了；而且不是因?yàn)榇a出現(xiàn)異常結(jié)束，而是智能體輸出了stop結(jié)束符。所以，這個(gè)問題就很奇怪，代碼都是正常但智能體執(zhí)行一般就正常結(jié)束了；哪怕是出現(xiàn)異常導(dǎo)致結(jié)束也沒問題，但這種正常結(jié)束好像就沒那么好排查了。所以，經(jīng)過測試發(fā)現(xiàn)復(fù)現(xiàn)的頻率還挺...

“知識(shí)庫是RAG的靈魂，一個(gè)好的知識(shí)庫能解決絕大部分RAG問題。”在之前關(guān)于RAG的優(yōu)化文章中，大部分都是在強(qiáng)調(diào)檢索端的優(yōu)化，而關(guān)于文檔解析方面的內(nèi)容卻非常的少，而這也是有原因的。在之前介紹RAG的文章中，曾說過RAG是一種方法論，而不是一項(xiàng)具體的技術(shù)；其中有兩個(gè)比較重要的模塊：其一是與大模型相關(guān)的上下文管理其二是文檔召回模塊其中文檔召回模塊又分為兩大塊，一塊是知識(shí)庫的構(gòu)建，另一塊是檢索召回；而之前的文章主要...

“markdown之所以成為大模型的首選格式，就在于其簡單的格式。”在之前介紹RAG的文章中，不止一次的提到過在知識(shí)庫的建設(shè)中，使用markdown作為主要的存儲(chǔ)格式；原因就在于一個(gè)現(xiàn)象，明明數(shù)據(jù)格式有那么多，為什么大模型選擇了markdown格式？以我們常見的數(shù)據(jù)格式為例，有普通文本，xml，json，html，markdown等；但如果我們仔細(xì)觀察就會(huì)發(fā)現(xiàn)，除了一些對數(shù)據(jù)格式要求比較高的場景之外，在大模型應(yīng)用中的主要格式就是markdown為...

“智能體的測試和優(yōu)化，需要根據(jù)不同的環(huán)境，根據(jù)問題不斷地進(jìn)行調(diào)整。”最近幾天在測試和優(yōu)化問答系統(tǒng)，看過之前文章的讀者應(yīng)該都知道最近的RAG系統(tǒng)從被動(dòng)式RAG改造為主動(dòng)式RAG，也就是智能體系統(tǒng)。但是在最近幾天的測試中又發(fā)現(xiàn)了一些問題，因此需要對智能體進(jìn)行一些優(yōu)化；而最主要的問題就是智能體的泛化問題和擬合問題。智能體的優(yōu)化在最近的智能體系統(tǒng)開發(fā)中，作者發(fā)現(xiàn)了一個(gè)問題，事實(shí)上實(shí)現(xiàn)一個(gè)智能體并不難，也沒想象中...

“主動(dòng)式RAG就是一個(gè)會(huì)使用搜索引擎的人，它會(huì)根據(jù)需要使用搜索引擎。”關(guān)于RAG事實(shí)上分為兩種架構(gòu)，一種是傳統(tǒng)的被動(dòng)式RAG，另一種是主動(dòng)式RAG；作者在上一篇文章中說過RAG并不是一項(xiàng)具體的技術(shù)，而是一種方法論。因此，所謂的被動(dòng)式RAG是基于傳統(tǒng)的檢索召回，增強(qiáng)生成的流程；而主動(dòng)式RAG是把RAG技術(shù)與智能體技術(shù)相結(jié)合的一種主動(dòng)式架構(gòu)——其主動(dòng)主要體現(xiàn)在智能體能夠自行規(guī)劃和使用工具來回答問題，而不需要每次都去召回，...

“RAG的本質(zhì)是一種方法論，而不是一項(xiàng)具體的技術(shù)或框架。”最近斷斷續(xù)續(xù)一直有人問一些關(guān)于RAG方面的東西，但是作者發(fā)現(xiàn)一件事，就是還有一部分人到現(xiàn)在還不知道RAG到底是什么，還在認(rèn)為RAG是一項(xiàng)具體的技術(shù)或框架。事實(shí)上RAG的本質(zhì)是一種方法論，目的是為了提升大模型的生成質(zhì)量，它不是一項(xiàng)具體的技術(shù)或開發(fā)框架，更多的是一種思想。RAG是一種方法論RAG技術(shù)是怎么產(chǎn)生的？隨著大模型技術(shù)的爆發(fā)式發(fā)展，一些人在使用的過程中就...

“提示詞工程是用戶與大模型交流的橋梁，提示詞的好壞直接影響到模型的效果。”在大模型應(yīng)用開發(fā)中，所有的操作最終的結(jié)果都是拼接成提示詞輸入給大模型，因此可以說提示詞是大模型應(yīng)用的核心。因此，而誕生了一項(xiàng)叫做提示詞工程的技術(shù)，提示詞工程是與大模型交互的核心技術(shù)，旨在通過設(shè)計(jì)和優(yōu)化輸入提示詞，充分釋放大模型的潛力。提示詞工程將大模型視為一個(gè)任務(wù)執(zhí)行者，通過明確的指令和上下文信息，引導(dǎo)其完成特定任務(wù)。提...

“提示詞工程是模型應(yīng)用的技術(shù)，而思路是模型開發(fā)的法寶。”上周比較忙基本上處于天天加班到很晚的狀態(tài)，原因就是做的大模型應(yīng)用效果不太好，再加上業(yè)務(wù)端要去甲方爸爸那邊演示，因此就加班改bug調(diào)整優(yōu)化。然后等周末兩天閑下來休息的時(shí)候回頭看看才發(fā)現(xiàn)，之所以出現(xiàn)這樣的情況完全是開發(fā)思想還沒轉(zhuǎn)變過來，因?yàn)榇竽Ｐ偷拈_發(fā)流程上正確并不代表結(jié)果上也會(huì)正確。大模型應(yīng)用開發(fā)是經(jīng)驗(yàn)開發(fā)在之前的技術(shù)開發(fā)中，從經(jīng)驗(yàn)來看只要流程...

“大模型應(yīng)用開發(fā)流程正確，但結(jié)果不一定正確。”由于大模型技術(shù)的復(fù)雜性，再加上不同業(yè)務(wù)場景的特殊需求，導(dǎo)致大模型應(yīng)用的開發(fā)難度很大；但大模型應(yīng)用開發(fā)最難的不是做出來而是要做好。這次還以作者手里的智能問答項(xiàng)目來說，記錄一下智能問答系統(tǒng)的踩坑記錄，從怎么都達(dá)不到想要的效果，到能夠很好的滿足業(yè)務(wù)場景。從作者這些年的開發(fā)經(jīng)驗(yàn)來看，很多時(shí)候開發(fā)技術(shù)棧是有限的，遇到問題更多的是思路問題而不是純粹的技術(shù)問題。...

“決定智能體質(zhì)量的核心是工具，模型只是決定使用哪個(gè)工具。”這幾天有個(gè)需求是把傳統(tǒng)RAG(naiverag)改成主動(dòng)式RAG(AgenticRAG)，原因是因?yàn)閭鹘y(tǒng)RAG只能進(jìn)行簡單的語義檢索，無法進(jìn)行條件式的數(shù)據(jù)篩選。在前面的文章也簡單介紹過傳統(tǒng)RAG和主動(dòng)RAG的區(qū)別，前者基于語義相似性，后者基于數(shù)據(jù)處理；前者是靜態(tài)的，后者是動(dòng)態(tài)的。舉例來說就是，我問社保和社保數(shù)據(jù)是不一樣的；前者是問與社保相關(guān)的政策和基本常識(shí)，后者是問我交了多...

“小塊召回，大塊生成的策略的作用是提升文檔的召回率，并保證文檔上下文的連貫性。”在RAG技術(shù)的真實(shí)實(shí)踐過程中，我們經(jīng)常會(huì)遇到的一個(gè)問題就是——模型回答的質(zhì)量不好；當(dāng)然導(dǎo)致回答質(zhì)量不好的原因有很多，而我們今天就來討論一種RAG問答的優(yōu)化策略——小塊召回，大塊生成。從本質(zhì)上來說其實(shí)就是解決了兩個(gè)問題，小塊解決召回問題，大塊解決生成問題。小塊召回，大塊生成可能很多人都不明白什么叫做小塊召回，大塊生成？小塊...

“傳統(tǒng)RAG和AgenticRAG的主要區(qū)別就是在于是否能執(zhí)行“動(dòng)作”。”我們都知道基礎(chǔ)RAG是基于語義檢索的知識(shí)增強(qiáng)技術(shù)，但由于復(fù)雜的語義環(huán)境，很多時(shí)候基于簡單的語義檢索并不能很好的解決我們的問題。比如說我想查一下今年的就業(yè)情況，注意如果是基于基礎(chǔ)RAG的語義檢索，模型理解的更多的是與經(jīng)濟(jì)，就業(yè)相關(guān)的概念，政策性等內(nèi)容；但我們實(shí)際需要的是真實(shí)的統(tǒng)計(jì)局的就業(yè)情況數(shù)據(jù)。前者注重的是概念，后者注重的是動(dòng)作。這就是傳統(tǒng)...

“大模型的技術(shù)生態(tài)本質(zhì)上就是圍繞著大模型這個(gè)“人”轉(zhuǎn)的。”大家在學(xué)習(xí)大模型應(yīng)用開發(fā)時(shí)會(huì)發(fā)現(xiàn)有很多種不同的技術(shù)方向和框架，而且不同的技術(shù)有其使用的業(yè)務(wù)場景，因此可能就有部分人認(rèn)為，不同大模型應(yīng)用技術(shù)之間是無關(guān)的。但事實(shí)上，從技術(shù)的角度出發(fā)，技術(shù)只是一種工具，而很多業(yè)務(wù)場景可能需要同時(shí)結(jié)合多種不同的技術(shù)才能滿足復(fù)雜的業(yè)務(wù)需求。只不過技術(shù)生態(tài)經(jīng)過這么多年的發(fā)展，已經(jīng)形成了一套完善的架構(gòu)機(jī)制，對我們使...

“相似度檢索有其天生的缺陷，而這是其自身所解決不了的。”在日常工作中，你是否遇到過這樣的困擾：向智能助手詢問「杭州市社保信息的數(shù)據(jù)」，得到的卻是大量與社保相關(guān)的政策解讀、歷史沿革，唯獨(dú)缺少你真正需要的杭州市具體社保數(shù)據(jù)？這背后暴露的，正是當(dāng)前大熱的RAG（檢索增強(qiáng)生成）技術(shù)在復(fù)雜場景下的核心缺陷。一、RAG的理想與現(xiàn)實(shí)落差RAG的工作原理看似完美：將用戶問題轉(zhuǎn)換為向量在知識(shí)庫中尋找相似內(nèi)容基于檢索結(jié)果生...

“RAG的架構(gòu)雖然有所不同，但其原理都是相同的，都是通過檢索來增強(qiáng)模型的生成能力，只不過在不同的環(huán)節(jié)做了不同的優(yōu)化。”從事RAG技術(shù)的工作也有一兩年時(shí)間了，但在此之間都是這學(xué)一點(diǎn)那學(xué)一點(diǎn)，感覺自己好像什么都會(huì)，但從來沒有對整個(gè)RAG系統(tǒng)進(jìn)行過梳理。所以，今天就從RAG的迭代過程開始梳理一下RAG的架構(gòu)升級過程，了解不同種類RAG的區(qū)別和聯(lián)系，以及適用場景。RAG的幾種類型從技術(shù)的本質(zhì)來說，RAG就是檢索增強(qiáng)生成，重要...

“智能體使用工具的本質(zhì)——你告訴模型有哪些工具，需要哪些參數(shù)；而模型告訴你調(diào)用哪個(gè)工具，參數(shù)是什么。”現(xiàn)在大模型智能體大行其道(agent)，而且也是目前大模型的主流應(yīng)用方向之一，甚至有人說智能體是實(shí)現(xiàn)AGI(通用人工智能)的技術(shù)手段。但是，我們需要知道的是大模型和智能體的主要區(qū)別在于其是否會(huì)使用工具；就像哲學(xué)上人和動(dòng)物的根本區(qū)別在于是否會(huì)制造和使用工具。那么，到底什么是智能體？其實(shí)說到智能體網(wǎng)絡(luò)上有一堆...

“做技術(shù)很多時(shí)候想不明白，這時(shí)多做做可能就明白了。”現(xiàn)在基于大模型的人工智能技術(shù)發(fā)展的如火如荼，而且隨著今年人工智能進(jìn)入應(yīng)用元年，人工智能開始進(jìn)入各行各業(yè)；但由于技術(shù)本身的限制，因此很多應(yīng)用場景大都處于模式階段。所以，到底應(yīng)該怎么學(xué)習(xí)和使用大模型，特別是隨著一些新技術(shù)的出現(xiàn)，大家都在摸著石頭過河。但不管怎么說，作為一門新技術(shù)其和其它技術(shù)沒有本質(zhì)上的區(qū)別，都是更加注重實(shí)操，理論作為輔助。大模型技...

“別再混淆了！RAG、Agent是“發(fā)動(dòng)機(jī)”，智能問答、生成工具才是“車”——一文講透大模型的技術(shù)與應(yīng)用場景”做了這么長時(shí)間的人工智能應(yīng)用，慢慢發(fā)現(xiàn)很多人到現(xiàn)在還分不清哪些是技術(shù)，哪些是應(yīng)用場景，甚至很多時(shí)候會(huì)把這兩個(gè)不同的東西混為一談。首先我們要明確一件事，人工智能是一項(xiàng)技術(shù)，然后利用這些技術(shù)去解決實(shí)際問題，而解決的這些問題是應(yīng)用場景；技術(shù)本身是沒有價(jià)值的，技術(shù)價(jià)值的體現(xiàn)就是在其應(yīng)用場景。技術(shù)與應(yīng)用...

“一個(gè)好的智能問答系統(tǒng)是由細(xì)節(jié)決定的，而不是由流程決定的。”今天在公司項(xiàng)目組review了一下作者最近一直在做的一個(gè)基于RAG技術(shù)的智能問答系統(tǒng)；在review的過程中也發(fā)現(xiàn)了一些問題，就是雖然召回質(zhì)量還過得去，但還是存在一些小問題。比如說，偶爾會(huì)出現(xiàn)記憶不存在的問題，表面上來看就是連續(xù)兩個(gè)有關(guān)聯(lián)的問題，但回答的時(shí)候卻沒有任何關(guān)聯(lián)性；簡單來說就是，記憶功能沒用好。還有就是所有的技術(shù)手段都用上了，包括召回，去重...