“ 框架是對底層能力的封裝，在學習和使用框架的同時，也不能完全丟掉底層的能力。”

在當今系統開發中，框架是必不可少的一個東西，其對底層和一些通用功能進行了封裝，然后作為使用者來說只需要會使用這些框架即可，這也就是現在所謂的面向API編程。

而且現在的開發框架也滿天飛，前端開發框架vue，react等；后端的java開發框架springboot，python框架fastapi等；而在大模型應用開發領域也有很多開發框架，Langchain，LlamaIndex等。

所以現在很多開發者在學習和工作的過程中，都是直接基于框架做開發，反而很多人都忘記了底層的東西；這就導致雖然東西做出來了，但卻不知道其到底是怎么運行的。

關于大模型的開發框架使用心得

基于框架做開發的好處就不用多說了；但任何事情都有兩面性，使用框架有好處就肯定有壞處，壞處就是我們很難弄明白底層原理，其次就是框架的封裝使得開發變得簡單，但同樣也會縛手縛腳。

以作者自身為例，目前使用Langchain框架做大模型應用開發，雖然使用起來很簡單，但也帶來了很多問題；比如說忘記了大模型本身具備哪些能力。

舉例來說，從使用的角度來看，Langchain是對大模型應用開發的上層抽象；如流式返回，思考模式，記憶功能，提示詞封裝等；當然這些功能本身就是大模型自身的功能，只不過使用原生開發需要全部自己手動處理，而框架只需要簡單的配置就可以了。

而Langchain框架其實是對openai SDK的封裝，原因在于目前openai的SDK已經成為了業界大模型的開放標準，絕大部分模型廠商都支持openai的標準，這也是為什么我們在做開發時，只需要引入openai的SDK即可。

而openai SDK又干了什么，它其實是對模型本身能力的封裝，簡單來說就是模型接口的封裝，然后增加了一些通用的功能；畢竟，從技術的角度來看，即使我們拋開所有的框架和SDK，我們僅使用原生的開發語言，通過API調用的方式，依然可以實現我們所需要的東西，只不過過程中所有的問題都需要我們自己處理，這樣開發成本更高，但可控性更好。

而現在使用Langchain的問題在哪呢？

在之前作者在做開發的過程中，一直把心思放在框架本身上，需要做什么功能直接調用框架中的接口即可；雖然功能也勉強做出來了，但總覺得束手束腳，最重要的是很多時候出問題又不知道哪里出的問題。

直到最近公司來了一個實習生，問我一些比較基礎的問題，這時才突然發現自己好像搞反了，雖然說熟練使用開發框架是職場的基本技能；但太過于專注開發框架會讓自己的技術成為空中樓閣，也就是知其然不知其所以然。

以流式返回和思考模式為例，實習生遇到一個問題就是明明是按照框架文檔的方式寫的代碼，但就是無法流式返回；而且由于思考模式太耽誤時間就想把思考模式給關掉；但明明配置了關閉思考模式的參數，但卻沒什么用。

而這兩個問題也帶來了兩個問題點，一是調用框架的方法不對，雖然那個方法表面上是一個流式返回，但實際上使用的卻是非流式返回；而第二個問題更扯淡，原因是其出在了大模型的身上，因為那個關閉思考模式的參數只有部分模型支持，而有些模型不支持這個參數，這也是為什么明明配置了卻沒什么用的原因。

所以說，我們在學習框架的同時，一定不能忘記大模型自身的能力；畢竟任何開發框架都是對底層能力的抽象與封裝；而不可能繞過底層能力來做一些大模型根本不存在的功能。

?

本文轉載自??AI探索時代????? 作者：DFires