使用LangChain、DeepInfra逆向工程Twitter算法
譯文作者 | Mike Young
譯者 | 李睿
審校 | 重樓
在這個(gè)指南中，將對(duì)Twitter的推薦算法進(jìn)行逆向工程，以更好地理解代碼庫(kù)，并提供見(jiàn)解，以制作更好的內(nèi)容。
想象一下，如果非編程人員能夠借助工具編寫一個(gè)能夠理解、協(xié)助甚至生成代碼的軟件該有多好，就像經(jīng)驗(yàn)豐富的開(kāi)發(fā)人員所做的那樣。
這對(duì)LangChain來(lái)說(shuō)是可能實(shí)現(xiàn)的。利用VectorStores、Conversational RetrieverChain和LLM等高級(jí)模型，LangChain可以讓非編程人員在代碼理解和生成方面達(dá)到更高的水平。
在這一指南中，將對(duì)Twitter的推薦算法進(jìn)行逆向工程，以更好地理解代碼庫(kù)，并提供見(jiàn)解，以制作更好的內(nèi)容。在這里將使用OpenAI公司的嵌入技術(shù)和一個(gè)名為Activeloop的工具來(lái)使代碼易于理解，并在DeepInfra上托管一個(gè)名為Dolly的LLM來(lái)與代碼進(jìn)行對(duì)話。
在完成之后，能夠通過(guò)讓人工智能回答最緊迫的問(wèn)題來(lái)減少理解算法所需的困難工作，而不是花幾周時(shí)間進(jìn)行篩選。
1、采用LangChain理解代碼的概念
LangChain是一個(gè)非常有用的工具，可以分析GitHub上的代碼庫(kù)。它匯集了三個(gè)重要部分：VectorStores、Conversationa RetrieverChain和LLM，以幫助人們理解代碼，在場(chǎng)景中回答有關(guān)代碼的問(wèn)題，甚至在GitHub存儲(chǔ)庫(kù)中生成新代碼。
Conversational RetrieverChain系統(tǒng)有助于從VectorStore中查找和檢索有用的信息。它使用智能技術(shù)，例如場(chǎng)景感知過(guò)濾和排名，來(lái)確定哪些代碼片段和信息與用戶的特定問(wèn)題或查詢最相關(guān)。其與眾不同之處在于，它考慮了對(duì)話的歷史和提問(wèn)的背景。這意味著它可以為用戶提供高質(zhì)量和相關(guān)的結(jié)果，專門滿足用戶的需求。簡(jiǎn)單地說(shuō)，這就像有一個(gè)智能助手，它能理解問(wèn)題的場(chǎng)景，并根據(jù)場(chǎng)景給出最好的答案。
現(xiàn)在，了解一下LangChain的工作流，看看它是如何在高層次上工作的：
（1）為代碼庫(kù)編制索引
第一步是克隆要分析的目標(biāo)存儲(chǔ)庫(kù)。加載存儲(chǔ)庫(kù)中的所有文件，將它們分成更小的塊，并啟動(dòng)索引過(guò)程。如果已經(jīng)有了索引數(shù)據(jù)集，可以跳過(guò)這一步驟。
（2）嵌入和代碼存儲(chǔ)
為了使代碼片段更容易理解，LangChain采用了代碼感知嵌入模型。該模型有助于捕獲代碼的本質(zhì)，并將嵌入的代碼片段存儲(chǔ)在VectorStore中，以便在將來(lái)查詢時(shí)可以隨時(shí)訪問(wèn)它們。
簡(jiǎn)而言之，LangChain使用一種稱為代碼感知嵌入的特殊技術(shù)，使代碼片段更容易理解。它有一個(gè)可以分析代碼并捕獲其重要特征的模型。然后，它將這些分析過(guò)的代碼片段存儲(chǔ)在VectorStore中，這就像一個(gè)易于訪問(wèn)的存儲(chǔ)場(chǎng)所。這樣，代碼片段就被組織起來(lái)，可以在將來(lái)有查詢或問(wèn)題時(shí)進(jìn)行快速檢索。
（3）理解查詢
這是LLM發(fā)揮作用的地方?？梢允褂孟馾atabricks/dolly-v2-12b這樣的模型來(lái)處理查詢。該模型分析用戶的查詢，并通過(guò)考慮場(chǎng)景和提取重要信息來(lái)理解它們的含義。通過(guò)這樣做，該模型可以幫助LangChain準(zhǔn)確地解釋其查詢，并為用戶提供精確且相關(guān)的結(jié)果。
（4）構(gòu)建檢索器
一旦提出的問(wèn)題或查詢是明確的，Conversational RetrieverChain開(kāi)始發(fā)揮作用。它通過(guò)VectorStore這一存儲(chǔ)代碼片段的地方，找到與用戶的查詢最相關(guān)的代碼片段。這個(gè)搜索過(guò)程非常靈活，可以根據(jù)用戶的需求進(jìn)行定制。用戶可以調(diào)整設(shè)置并應(yīng)用特定于其需要的過(guò)濾器，以確保獲得最準(zhǔn)確和最有用的查詢結(jié)果。
一旦設(shè)置好了檢索器，就是建立對(duì)話鏈的時(shí)候了。這一步包括調(diào)整檢索器的設(shè)置以更好地滿足用戶的需求，并應(yīng)用可能需要的任何其他過(guò)濾器。通過(guò)這樣做，用戶可以縮小搜索范圍，并確保收到最精確、準(zhǔn)確和相關(guān)的查詢結(jié)果。從本質(zhì)上來(lái)說(shuō)，它允許用戶微調(diào)檢索過(guò)程，以獲得對(duì)其最有用的信息。
（5）提問(wèn)
用戶可以使用Conversational RetrieverChain詢問(wèn)有關(guān)代碼庫(kù)的問(wèn)題。它將為用戶生成全面的和場(chǎng)景相關(guān)的答案。用戶的LLM作為會(huì)話鏈的一部分，考慮到檢索的代碼片段和會(huì)話歷史，為用戶提供詳細(xì)和準(zhǔn)確的答案。
遵循這一工作流程，用戶可以有效地使用LangChain來(lái)更深入地了解代碼，為其問(wèn)題獲得場(chǎng)景感知的答案，甚至在GitHub存儲(chǔ)庫(kù)中生成代碼片段?，F(xiàn)在逐步地了解其實(shí)際效果。
2、分步指南
以下深入了解實(shí)際的實(shí)現(xiàn)。
（1）獲取密鑰
在開(kāi)始時(shí)，必須在各自的網(wǎng)站注冊(cè)，并獲得Activeloop、DeepInfra和OpenAI的API密鑰。
（2）設(shè)置Indexer.py文件
創(chuàng)建一個(gè)Python文件(例如indexer.py)來(lái)索引數(shù)據(jù)。導(dǎo)入必要的模塊，并將API密鑰設(shè)置為環(huán)境變量：
Python
import os
from langchain.document_loaders import TextLoader
from langchain.embeddings.openai import OpenAIEmbeddings
from langchain.vectorstores import DeepLake
os.environ['OPENAI_API_KEY'] = 'YOUR KEY HERE'
os.environ['ACTIVELOOP_TOKEN'] = 'YOUR KEY HERE'
embeddings = OpenAIEmbeddings(disallowed_special=())簡(jiǎn)單地說(shuō)，嵌入是文本的表示，它捕獲不同文本字符串的含義和相關(guān)性。它們是數(shù)字向量或數(shù)字列表，用于度量不同文本輸入之間的相似性或距離。
嵌入通常用于各種任務(wù)，例如搜索、聚類、推薦、異常檢測(cè)、多樣性測(cè)量和分類。在搜索中，嵌入有助于對(duì)搜索結(jié)果與查詢的相關(guān)性進(jìn)行排序。在聚類中，嵌入將相似的文本字符串分組在一起。
推薦利用嵌入來(lái)推薦具有相關(guān)文本字符串的項(xiàng)目。異常檢測(cè)使用嵌入來(lái)識(shí)別關(guān)聯(lián)度小的異常值。多樣性測(cè)量包括分析文本字符串之間的相似性分布。分類利用嵌入將文本字符串分配給最相似的標(biāo)簽。
兩個(gè)嵌入向量之間的距離表示相應(yīng)文本字符串的相關(guān)或相似程度。較小的距離表明親緣關(guān)系高，而較大的距離表明親緣關(guān)系低。
（3）克隆和索引目標(biāo)存儲(chǔ)庫(kù)
接下來(lái)，將克隆Twitter算法存儲(chǔ)庫(kù)，加載、拆分和索引文檔。可以從此鏈接（https://github.com/twitter/the-algorithm）克隆這一算法。
這段代碼遍歷一個(gè)目錄及其子目錄(os.walk(root_dir))。對(duì)于遇到的每個(gè)文件(文件名)，它嘗試執(zhí)行以下步驟：
Python
root_dir = './the-algorithm'
docs = []
for dirpath, dirnames, filenames in os.walk(root_dir):
for file in filenames:
try:
loader = TextLoader(os.path.join(dirpath, file), encoding='utf-8')
docs.extend(loader.load_and_split())
except Exception as e:
pass- 它創(chuàng)建一個(gè)TextLoader對(duì)象，指定當(dāng)前正在處理的文件的路徑(os.path.join(dirpath, file))，并將編碼設(shè)置為UTF-8。
- 然后調(diào)用TextLoader對(duì)象的load_and_split()方法，該方法可能讀取文件的內(nèi)容，執(zhí)行一些處理或拆分操作并返回結(jié)果文本數(shù)據(jù)。
- 然后使用extend()方法將獲得的文本數(shù)據(jù)添加到一個(gè)名為docs的現(xiàn)有列表中。
- 如果在這個(gè)過(guò)程中發(fā)生任何異常，則由try-except塊捕獲并簡(jiǎn)單地忽略(' pass ')。
這個(gè)代碼片段遞歸地遍歷一個(gè)目錄，從文件中加載和分割文本數(shù)據(jù)，并將結(jié)果數(shù)據(jù)添加到一個(gè)名為docs的列表中。
（4）嵌入代碼片段
接下來(lái)，使用OpenAI嵌入來(lái)嵌入代碼片段。然后將這些嵌入存儲(chǔ)在VectorStore中，這將允許執(zhí)行有效的相似性搜索：
Python
from langchain.text_splitter import CharacterTextSplitter
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
texts = text_splitter.split_documents(docs)
username = "mikelabs" # replace with your username from app.activeloop.ai
db = DeepLake(dataset_path=f"hub://{username}/twitter-algorithm", embedding_functinotallow=embeddings, public=True) #dataset would be publicly available
db.add_documents(texts)print(“done”)這段代碼導(dǎo)入CharacterTextSplitter類，并初始化它的一個(gè)實(shí)例，其塊大小為1000個(gè)字符且沒(méi)有重疊。然后，它使用split_documents方法將提供的文檔分成更小的文本塊，并將它們存儲(chǔ)在文本變量中。
接下來(lái)，它設(shè)置用戶名(用于注冊(cè)Activeloop!)。它創(chuàng)建了一個(gè)名為db的DeepLake實(shí)例，該實(shí)例的數(shù)據(jù)集路徑指向以指定用戶名托管在“app.activeloop.ai”上的公共數(shù)據(jù)集。embedding_function處理所需的嵌入。
最后，它使用add_documents方法將文本添加到數(shù)據(jù)庫(kù)中，可能是為了存儲(chǔ)或進(jìn)一步處理。
運(yùn)行該文件，然后等待幾分鐘(它可能會(huì)掛起一段時(shí)間，通常不超過(guò)5分鐘)。然后，進(jìn)入下一步。
（5）使用dolly-v2-12b來(lái)處理和理解用戶查詢
現(xiàn)在設(shè)置另一個(gè)Python文件question.py，以使用DeepInfra平臺(tái)中可用的語(yǔ)言模型dolly-v2-12b來(lái)處理和理解用戶查詢。
（6）構(gòu)建檢索器
使用前面創(chuàng)建的VectorStore構(gòu)建一個(gè)檢索器。
Python
db = DeepLake(dataset_path="hub://mikelabs/twitter-algorithm", read_notallow=True, embedding_functinotallow=embeddings) #use your username
retriever = db.as_retriever()
retriever.search_kwargs['distance_metric'] = 'cos'
retriever.search_kwargs['fetch_k'] = 100
retriever.search_kwargs['maximal_marginal_relevance'] = True
retriever.search_kwargs['k'] = 10以下是代碼正在執(zhí)行的操作：
該代碼初始化一個(gè)名為db的DeepLake對(duì)象。它從指定為“hub://mikelabs/twitter-algorithm”的路徑讀取數(shù)據(jù)集。值得注意的是，需要將“mikelabs”替換為自己的用戶名!
然后使用as_retriver()方法將db對(duì)象轉(zhuǎn)換為檢索器。這一步驟允許對(duì)存儲(chǔ)在VectorStore中的數(shù)據(jù)執(zhí)行搜索操作。
一些搜索選項(xiàng)可以通過(guò)修改檢索器自定義多個(gè)retriever.search_kwargs字典：
distance _ metric被設(shè)置為“cos”，表示余弦相似度將用于測(cè)量文本輸入之間的相似度。假設(shè)有兩個(gè)向量來(lái)表示不同的文本片段，例如句子或文檔。余弦相似性是衡量這兩段文本的相似程度或相關(guān)性的一種方法。
通過(guò)觀察兩個(gè)向量之間的夾角來(lái)計(jì)算余弦相似度。如果向量指向相同的方向或者彼此非常接近，余弦相似度將接近于1。這意味著文本片段彼此非常相似。
另一方面，如果向量指向相反的方向或相距很遠(yuǎn)，余弦相似度將接近于－1。這表明文本片段非常不同或不相似。余弦相似度為0意味著兩個(gè)向量彼此垂直或成90度角。在這種情況下，文本片段之間沒(méi)有相似性。
在上面的代碼中，余弦相似度被用作比較文本輸入之間相似度的度量。它有助于確定兩個(gè)文本片段的關(guān)聯(lián)程度。使用余弦相似度，代碼可以與給定查詢最相似的頂級(jí)匹配進(jìn)行排序和檢索。
fetch_k參數(shù)設(shè)置為100，這意味著檢索器將根據(jù)余弦相似度檢索前100個(gè)最接近的匹配項(xiàng)。
maximal_marginal_relevance設(shè)置為True，這表明檢索器將優(yōu)先考慮不同的結(jié)果，而不是返回高度相似的匹配。
參數(shù)k設(shè)置為10，表示檢索器將為每個(gè)查詢返回10個(gè)結(jié)果。
（7）構(gòu)建會(huì)話鏈
使用Conversational RetrievalChain來(lái)連接檢索器和語(yǔ)言模型。這使系統(tǒng)能夠處理用戶查詢并生成場(chǎng)景感知的響應(yīng)：
Python
model = DeepInfra(model_id="databricks/dolly-v2-12b")
qa = ConversationalRetrievalChain.from_llm(model,retriever=retriever)Conversational RetrievalChain充當(dāng)檢索器和語(yǔ)言模型之間的連接。該連接允許系統(tǒng)處理用戶查詢并生成場(chǎng)景感知的響應(yīng)。
（8）提問(wèn)
現(xiàn)在可以問(wèn)關(guān)于Twitter算法代碼庫(kù)的問(wèn)題。Conversational RetrievalChain提供的答案是場(chǎng)景感知的，并且直接基于代碼庫(kù)。
以下是得到的一個(gè)樣本答案：
Python
questions = ["What does favCountParams do?", ...]
chat_history = []
for question in questions:
result = qa({"question": question, "chat_history": chat_history})
chat_history.append((question, result['answer']))
print(f"-> **Question**: {question} \n")
print(f"**Answer**: {result['answer']} \n")以下是一些摘自LangChain文檔的示例問(wèn)題：
Python 1 questions = [
2 "What does favCountParams do?",
3 "is it Likes + Bookmarks, or not clear from the code?",
4 "What are the major negative modifiers that lower your linear ranking parameters?",
5 "How do you get assigned to SimClusters?",
6 "What is needed to migrate from one SimClusters to another SimClusters?",
7 "How much do I get boosted within my cluster?",
8 "How does Heavy ranker work. what are it’s main inputs?",
9 "How can one influence Heavy ranker?",
10 "why threads and long tweets do so well on the platform?",
11 "Are thread and long tweet creators building a following that reacts to only threads?",
12 "Do you need to follow different strategies to get most followers vs to get most likes and bookmarks per tweet?",
13 "Content meta data and how it impacts virality (e.g. ALT in images).",
14 "What are some unexpected fingerprints for spam factors?",
15 "Is there any difference between company verified checkmarks and blue verified individual checkmarks?",
16 ]以下是得到的一個(gè)樣本答案：
Python
**Question**: What does favCountParams do?
**Answer**: FavCountParams helps count your favorite videos in a way that is friendlier to the video hosting ser3、有用的資源
這里有一些額外的資源，可能會(huì)有用：
- Activeloop documentation
（https://docs.activeloop.ai/）
- AIModels.fyi
（http://aimodels.fyi/）
- LangChain guides
（https://notes.aimodels.fyi/tag/langchain/）
- OpenAI embeddings documentation
（https://platform.openai.com/docs/guides/embeddings）
4、結(jié)論
在這一指南中，探索了使用LangChain對(duì)Twitter的推薦算法進(jìn)行逆向工程。通過(guò)利用人工智能功能，節(jié)省了寶貴的時(shí)間和精力，用自動(dòng)查詢響應(yīng)取代了人工代碼檢查。
LangChain是一個(gè)強(qiáng)大的工具，它徹底改變了代碼的理解和生成。使用VectorStores、Conversational Retriverchain等高級(jí)模型，以及托管在DeepInfra等服務(wù)上的LLM， LangChain使開(kāi)發(fā)人員能夠有效地分析代碼庫(kù)，提供場(chǎng)景感知的答案，并生成新代碼。
LangChain的工作流程包括索引代碼庫(kù)、嵌入代碼片段、使用語(yǔ)言模型處理用戶查詢，以及利用Conversational RetrieverChain檢索相關(guān)代碼片段。通過(guò)自定義檢索器并構(gòu)建會(huì)話鏈，開(kāi)發(fā)人員可以微調(diào)檢索過(guò)程以獲得精確的結(jié)果。
按照分步指南，可以利用LangChain來(lái)增強(qiáng)代碼理解能力，獲得場(chǎng)景感知的答案，甚至在GitHub存儲(chǔ)庫(kù)中生成代碼片段。LangChain為生產(chǎn)力和理解開(kāi)辟了新的可能性。那么人們會(huì)采用它建造什么?
原文鏈接：https://dzone.com/articles/a-plain-english-guide-to-reverse-engineering-the-t
