LangChain百萬代碼全解析：這個模型胃口很大！ 精華
小試牛刀，很懂《三體》戀愛腦云天明！
在談論AI的代碼解析能力之前，我們不妨先看一下它在處理自然語言文本方面的表現。為了測試GLM-4-Long的理解力，我決定讓它嘗試閱讀并理解我最愛的科幻小說-94萬字的《三體》。
抽取概括能力
作為一個具有強大理解能力的模型，必須具備從復雜的文本中抽取出關鍵的信息，并進行總結。當一次性輸入整本小說，模型能有怎樣的表現呢？
我決定以《三體》中的戀愛腦云天明為例，我們可以讓模型梳理出云天明的個人故事，并按照時間線進行概括。
結果分析：
- 十分準確的，提取到了（危機紀元，廣播紀元，銀河紀元）三個階段，并嚴格遵守了指令時間線梳理的要求
- 正確梳理出來了云天明的個人故事時間線，標注出了關鍵事件節點。
- 正確挖掘到了關鍵關聯人物-程心，并找到了核心的關聯事件
- 對云天明總結也十分不錯，雖然我對他的映像只有戀愛腦
上下文串聯與推理能力
除了信息抽取，一個優秀的長文本大模型還需要具備強大的上下文串聯與推理能力。假設我們提出一個極端的假設：如果僵尸吃掉了云天明的腦子，三體的故事將會怎么發展？通過這樣的假設，模型可以根據已有的故事情節推測出后續的發展方向。
- 假如僵尸吃掉了云天明的腦子，三體的故事將會怎么發展？
結果分析：不得不說，相比時間抽取任務上的精彩表現，在通過長文本基礎上進一步推理思考的任務中，模型表現得則沒有那么驚艷。
- 沒有脫離大的故事框架，但把對宇宙的思考局限在了地球和三體上，這想象力完全不及大劉
- 針對地球和三體世界的關系和交流方式上，存在一定誤解，云天明并不是交流工具！
- 總體來說，在如此長上下文的基礎上，還具備基本的推理想象力，是值得進一步使用的模型
不僅能讀小說，GLM-4-Long解析代碼項目能力幾何
用模型讀小說，只是為了一探模型能力的究竟。真正能驗證模型能力的，還得是真實的生產任務。接下來整活結束，讓小智帶領大家將GLM-4-Long用到代碼開發中！
考慮到代碼保密的要求，接下來小智將用LangChain代碼用作示例演示。LangChain官網的AI助手是基于RAG實現的，現在既然我們擁有了超強上下文的能力，不如我們自己做一個。
準備工作，LangChain-Core代碼一網打盡
- 首先我們需要將langchain-core代碼整體打包到一個文本文檔中，并標注好文件目錄
import os
def integrate_python_files(directory, output_file, identifier='---'):
# 確保輸出文件是空的
open(output_file, 'w', encoding='utf-8').close()
# 遍歷目錄
for root, dirs, files in os.walk(directory):
for file in files:
if file.endswith('.py'):
# 構建文件的完整路徑
full_path = os.path.join(root, file)
# 獲取文件相對于主目錄的相對路徑
relative_path = os.path.relpath(full_path, directory)
# 讀取文件內容
with open(full_path, 'r', encoding='utf-8') as f:
file_content = f.read()
# 寫入輸出文件
with open(output_file, 'a', encoding='utf-8') as out_f:
# 添加標識符和文件的相對路徑
out_f.write(f"{identifier} {relative_path}\n")
out_f.write(file_content)
out_f.write("\n") # 添加一個空行作為分隔
# 調用函數
directory_path = 'langchain/libs/core/langchain_core' # 替換為你的目錄路徑
output_file_path = 'integrated_code.txt' # 替換為你的輸出文件路徑
integrate_python_files(directory_path, output_file_path, identifier='=======')GLM-4-Long 輕松幫你打造 LangChain AI 助手
對于一個完整的項目，GLM-4-Long在沒有額外文檔的情況下，是否能準確理解并解析項目的功能和組件呢？我們將其應用于一個實際的代碼項目，看看它能給出怎樣的分析。
問題1、項目主要做了什么？實現了什么功能?
通過將項目代碼輸入GLM-4-Long，我們希望模型能夠給出項目的整體概覽，包括其主要功能和實現的目標。
結果分析：
- 模型在沒有文檔情況下，只基于代碼正確總結了LangChain的主要功能、主要組件、使用場景
- 對于LangChain核心設計思想，鏈式編程等做了十分完善且正確的總結
- 相關的使用場景的列舉，也沒有超出LangChain框架的范疇，并沒有出現幻覺
問題2、概括LangChain核心組件和概念
LangChain是一個用于構建語言模型應用的框架，包含多個核心組件。我們讓GLM-4-Long對這些組件進行概括，并解釋它們在項目中的作用。
結果分析：
- 模型一口氣提取了32項LangChain對LLM開發核心概念的抽象
- 未出現不存在的組件，沒有出現幻覺
- 針對組件的說明正確無誤
問題3、請以代碼方式輸出經典的LCEL使用案例
在理解了項目和組件之后，我們進一步要求GLM-4-Long展示一個經典的LCEL（ LangChain Expression Language）使用案例，以便讀者更好地理解LangChain的應用場景。
結果分析：
- 代碼完整正確，且能正常運行，學過LangChain的小伙伴對這個demo肯定倍感親切
- 配套的案例說明，也能較好的說明LCEL語法概念及使用方式
問題4、上強度，通過Multi Query構建一個RAG案例，要求合并輸出文檔里的連續片段
在常規的解析任務之外，我們讓GLM-4-Long處理一個高難度任務：通過Multi Query（多查詢）構建一個RAG案例，并合并輸出文檔中的連續片段。這不僅測試了模型的理解能力，還考驗了它的合成與輸出能力。
結果分析：
- 模型正確分析了用戶的需求，并按需求正確輸出了執行步驟分析
- 基本正確的輸出了執行RAG邏輯的相關代碼，包括向量存儲等
- 沒能正確提供加載RAG Chain的邏輯，而是直接幻覺出了加載RAG 模型
雖然沒能正確完成高階的代碼開發案例，但在如此簡單的提示下，模型的表現仍然不錯。如果真的完成了需求，可能廣大程序員朋友們真的得擔心失業問題了。??
總結
通過對《三體》的分析，我們可以看到GLM-4-Long在處理超長文本時，展現出卓越的信息抽取、上下文串聯與推理能力。無論是概括復雜的故事情節，還是推理出假設情境下的故事發展，GLM-4-Long都表現得非常出色。
更為重要的是，GLM-4-Long在代碼解析方面的能力令人印象深刻。它不僅能夠理解項目代碼的整體結構和功能，還能深入到具體的組件和應用案例中，提供詳盡的分析與建議。這使得開發者在面對復雜的代碼庫時，可以更為高效地理解和改進代碼。
本文轉載自 ??AI小智??，作者： AI小智
