基于Prefect、Weave和RAGAS的RAG應(yīng)用開(kāi)發(fā)實(shí)戰(zhàn) 原創(chuàng)

發(fā)布于 2024-8-12 08:23

瀏覽

0收藏

本文介紹了RAG應(yīng)用程序開(kāi)發(fā)中的一些增強(qiáng)技術(shù)，例如加入線(xiàn)下/線(xiàn)上評(píng)估、借助Prefect自動(dòng)提取數(shù)據(jù)等。

幾個(gè)月前，我發(fā)布了一款電影搜索應(yīng)用程序“Film Search”，這是一個(gè)檢索增強(qiáng)生成（RAG）應(yīng)用程序，旨在根據(jù)用戶(hù)查詢(xún)實(shí)現(xiàn)電影推薦。例如，用戶(hù)可能會(huì)發(fā)出下面的英文提問(wèn)：

“Find me drama movies in English that are less than 2 hours long and feature dogs.”

中文意思：“給我找一部長(zhǎng)度不到2小時(shí)、以狗為主角的英文劇情片。”

之后，用戶(hù)會(huì)收到類(lèi)似下面這樣的英文推薦：

Title of Film: Hachi: A Dog’s Tale

Runtime: 93 minutes
Release Year: 2009
Streaming: Not available for streaming
This film tells the poignant true story of Hachiko, an Akita dog known for his remarkable loyalty to his owner. The emotional depth and the themes of friendship and loyalty resonate strongly, making it a touching drama that showcases the profound bond between humans and dogs. It’s perfect for anyone looking for a heartfelt story that highlights the importance of companionship.

對(duì)應(yīng)的中文回答意思是：

電影名稱(chēng)：忠犬八公的故事
片長(zhǎng)：93分鐘
發(fā)行年份：2009
流媒體：不可用于流媒體
這部電影告訴了秋田犬Hachiko的辛酸真實(shí)故事，這種犬以其對(duì)主人的非凡忠誠(chéng)而聞名。情感深度以及友誼和忠誠(chéng)的主題引起了強(qiáng)烈的共鳴，使其成為一部感人的電影，展示了人與狗之間的深厚友誼。它非常適合想尋找一個(gè)發(fā)自?xún)?nèi)心的故事來(lái)強(qiáng)調(diào)友誼重要性的人。

這個(gè)軟件不僅僅是一個(gè)簡(jiǎn)單的RAG應(yīng)用程序。該程序中使用了所謂的自查詢(xún)檢索。這意味著，機(jī)器人接受用戶(hù)的查詢(xún)，并通過(guò)添加元數(shù)據(jù)過(guò)濾器對(duì)其進(jìn)行轉(zhuǎn)換。這樣就確保了拉入聊天模型上下文的任何文檔都遵守用戶(hù)查詢(xún)?cè)O(shè)置的約束。有關(guān)更多信息，我建議查看我文后提供的我早些時(shí)候發(fā)表的文章的鏈接。

但遺憾的是，該應(yīng)用程序尚存在如下一些問(wèn)題：

除了通過(guò)“肉眼測(cè)試”外，并沒(méi)有進(jìn)行離線(xiàn)評(píng)估。這種測(cè)試是必要的，但還不夠。
沒(méi)有提供可觀(guān)察性支持。如果查詢(xún)進(jìn)展不順利，你必須手動(dòng)調(diào)出項(xiàng)目并運(yùn)行一些特別的腳本，以便找出問(wèn)題所在。
必須手動(dòng)拉入Pinecone向量數(shù)據(jù)庫(kù)。這意味著，如果一部電影從流媒體服務(wù)中撤下，這些文件很快就會(huì)過(guò)時(shí)。

在本文中，我將簡(jiǎn)要介紹對(duì)以前開(kāi)發(fā)的那款電影搜索應(yīng)用程序“Film Search”所做的一些改進(jìn)，具體的改進(jìn)內(nèi)容將包括：

使用RAGAS和Weave進(jìn)行離線(xiàn)評(píng)估
在線(xiàn)評(píng)估和可觀(guān)察性
使用Prefect自動(dòng)提取數(shù)據(jù)

在我們正式開(kāi)始之前，還有一個(gè)細(xì)節(jié)需要說(shuō)明：我發(fā)現(xiàn)“Film Search”這個(gè)名字有點(diǎn)籠統(tǒng)，所以我把這個(gè)應(yīng)用程序重新命名為“Rosebud”，如下圖所示。不用多作解釋?zhuān)蚁肴魏我晃徽嬲碾娪懊远紩?huì)明白這個(gè)意思的（【譯者注】影片Citizen Kane（公民凱恩）的故事是由報(bào)業(yè)巨子凱恩臨死前說(shuō)的一個(gè)字“玫瑰花蕾”（Rosebud）引出的）。

基于Prefect、Weave和RAGAS的RAG應(yīng)用開(kāi)發(fā)實(shí)戰(zhàn)-AI.x社區(qū)

程序名字“Film Search”更改為“Rosebud”，此圖來(lái)自Unsplash網(wǎng)站

線(xiàn)下評(píng)估

能夠判斷對(duì)LLM應(yīng)用程序所做的更改是提高還是降低了程序性能，這一點(diǎn)是非常重要的。不幸的是，LLM應(yīng)用程序的評(píng)估是一個(gè)困難而新穎的領(lǐng)域。對(duì)于什么是好的評(píng)估，根本沒(méi)有達(dá)成太多的共識(shí)。

在新的程序Rosebud中，我決定解決所謂的“RAG Triad（RAG三元組）：https://www.trulens.org/trulens_eval/getting_started/core_concepts/rag_triad/”問(wèn)題。這種方法由TruLens推出，TruLens是一個(gè)評(píng)估和跟蹤LLM應(yīng)用程序的平臺(tái)。

基于Prefect、Weave和RAGAS的RAG應(yīng)用開(kāi)發(fā)實(shí)戰(zhàn)-AI.x社區(qū)

RAG Triad（RAG三元組）

概括來(lái)看，三元組涵蓋了RAG應(yīng)用程序的三個(gè)方面：

上下文相關(guān)性：當(dāng)用戶(hù)進(jìn)行查詢(xún)時(shí)，文檔會(huì)填充聊天模型的上下文。檢索到的上下文真的有用嗎？如果沒(méi)有用，你可能需要調(diào)整文檔嵌入、分塊或元數(shù)據(jù)過(guò)濾等操作。
可信度：模型的響應(yīng)是否真的基于檢索到的文檔而生成？你不希望模型編造事實(shí)；RAG的全部目的是通過(guò)使用檢索到的文檔來(lái)幫助減少幻覺(jué)。
答案相關(guān)性：模型的響應(yīng)是否真正回答了用戶(hù)的查詢(xún)？如果用戶(hù)詢(xún)問(wèn)“20世紀(jì)90年代制作的喜劇電影有哪些？”，該模型的答案最好只包含20世紀(jì)90時(shí)代制作的喜劇影片。

目前，已經(jīng)存在幾種方法可以嘗試評(píng)估RAG應(yīng)用程序的這三個(gè)功能。一種方法是借助人類(lèi)專(zhuān)家評(píng)估員。不幸的是，這種方法十分昂貴，而且無(wú)法擴(kuò)展。在新的程序Rosebud中，我決定使用大型數(shù)據(jù)模型進(jìn)行評(píng)估。這意味著，使用聊天模型來(lái)查看上述三個(gè)標(biāo)準(zhǔn)中的每一個(gè)，并為每個(gè)標(biāo)準(zhǔn)分配0到1的分?jǐn)?shù)值。這種方法具有成本低、可擴(kuò)展性好的優(yōu)點(diǎn)。為了實(shí)現(xiàn)這一點(diǎn)，我使用了RAGAS（https://github.com/explodinggradients/ragas），這是一個(gè)流行的框架，可以幫助你評(píng)估RAG應(yīng)用程序。RAGAS框架包括上述三個(gè)指標(biāo)，可以很容易地使用它們來(lái)評(píng)估你的應(yīng)用程序。下面是一個(gè)代碼片段，演示了我是如何使用開(kāi)源的RAGAS框架進(jìn)行離線(xiàn)評(píng)估的：

from ragas import evaluate
from ragas.metrics import AnswerRelevancy, ContextRelevancy, Faithfulness
import weave

@weave.op()
def evaluate_with_ragas(query, model_output):
#將數(shù)據(jù)放入一個(gè)數(shù)據(jù)集對(duì)象中
data = {
"question": [query],
"contexts": [[model_output['context']]],
"answer": [model_output['answer']]
}
dataset = Dataset.from_dict(data)

# 定義要判斷的指標(biāo)
metrics = [
AnswerRelevancy(),
ContextRelevancy(),
Faithfulness(),
]

judge_model = ChatOpenAI(model=config['JUDGE_MODEL_NAME'])
embeddings_model = OpenAIEmbeddings(model=config['EMBEDDING_MODEL_NAME'])

evaluation = evaluate(dataset=dataset, metrics=metrics, llm=judge_model, embeddings=embeddings_model)

return {
"answer_relevancy": float(evaluation['answer_relevancy']),
"context_relevancy": float(evaluation['context_relevancy']),
"faithfulness": float(evaluation['faithfulness']),
}
def run_evaluation():
#初始化聊天模型
model = rosebud_chat_model()
# 定義評(píng)估問(wèn)題
questions = [
{"query": "Suggest a good movie based on a book."},  # Adaptations
{"query": "Suggest a film for a cozy night in."},  # Mood-Based
{"query": "What are some must-watch horror movies?"},  # Genre-Specific
...
# 共20個(gè)問(wèn)題
]
#創(chuàng)建Weave評(píng)估對(duì)象
evaluation = weave.Evaluation(dataset=questions, scorers=[evaluate_with_ragas])
#運(yùn)行評(píng)估
asyncio.run(evaluation.evaluate(model))
if __name__ == "__main__":
weave.init('film-search')
run_evaluation()

在上述代碼中，有幾點(diǎn)注意事項(xiàng)：

有20個(gè)問(wèn)題和3個(gè)評(píng)判標(biāo)準(zhǔn)，你會(huì)看到60次LLM調(diào)用僅需要一次評(píng)估！然而，接下來(lái)的情況變得更糟了：通過(guò)調(diào)用函數(shù)rosebud_chat_model，每個(gè)查詢(xún)都需要兩次調(diào)用。其中，一個(gè)用于構(gòu)造元數(shù)據(jù)過(guò)濾器，另一個(gè)用于提供答案；所以，實(shí)際上這是對(duì)單個(gè)模型計(jì)算的120次調(diào)用！我評(píng)估的所有模型都是使用新的gpt-4o-mini，我也強(qiáng)烈推薦使用這種模型。根據(jù)我的經(jīng)驗(yàn)，每次評(píng)估的調(diào)用費(fèi)用為0.05美元。
請(qǐng)注意，我們使用了異步的asyncio.run運(yùn)行模型計(jì)算。這種情況下，使用異步調(diào)用是比較合適的，因?yàn)槟悴幌胍粋€(gè)接一個(gè)地以順序方式評(píng)估每個(gè)問(wèn)題。相反，借助于asyncio框架，我們可以在等待之前的I/O操作完成時(shí)開(kāi)始評(píng)估其他的問(wèn)題。
一次評(píng)估共有20個(gè)問(wèn)題。這些涵蓋了用戶(hù)可能會(huì)提問(wèn)的各種典型的電影查詢(xún)。這些大多是我自己想出的，但在實(shí)踐中，最好使用生產(chǎn)中用戶(hù)實(shí)際提出的查詢(xún)。
請(qǐng)注意正在使用的weap.init和@weap.op裝飾器。它們是Weights & Biases(W&B) AI開(kāi)發(fā)者平臺(tái)提供的新的Weave庫(kù)的一部分。其中，Weave庫(kù)是對(duì)傳統(tǒng)W&B庫(kù)的補(bǔ)充，專(zhuān)注于LLM應(yīng)用程序。它允許你通過(guò)使用簡(jiǎn)單的@weap.op裝飾器來(lái)捕獲LLM的輸入和輸出。它還允許你使用weave.Evaluation(…)評(píng)估結(jié)果。通過(guò)集成RAGAS來(lái)執(zhí)行評(píng)估，并集成Weave框架來(lái)捕獲和記錄它們，我們便有了一個(gè)強(qiáng)大的組合，可以幫助GenAI開(kāi)發(fā)人員以迭代方式不斷改進(jìn)他們的應(yīng)用程序。此外，你還可以記錄下模型延遲、所需成本等其他信息。

基于Prefect、Weave和RAGAS的RAG應(yīng)用開(kāi)發(fā)實(shí)戰(zhàn)-AI.x社區(qū)

集成Weave+RAGAS的示例程序

從理論上講，現(xiàn)在我們可以調(diào)整一個(gè)超參數(shù)（如溫度），重新運(yùn)行評(píng)估，看看調(diào)整是否有積極或消極的影響了。但遺憾的是，在實(shí)踐中，我發(fā)現(xiàn)大型語(yǔ)言評(píng)判者的評(píng)判很挑剔，而且我也不是唯一一個(gè)發(fā)現(xiàn)這一點(diǎn)的人（https://x.com/aparnadhinak/status/1748368364395721128）。

大型語(yǔ)言模型評(píng)估似乎不太擅長(zhǎng)使用浮點(diǎn)數(shù)來(lái)評(píng)估這些指標(biāo)。相反，它們似乎在分類(lèi)方面做得更好些，例如回答“同意/不同意”這樣的問(wèn)題。當(dāng)前，RAGAS尚不支持使用LLM評(píng)判者進(jìn)行分類(lèi)。直接手寫(xiě)有關(guān)代碼似乎也并不難，也許在未來(lái)的更新中，我可能會(huì)自己嘗試一下。

在線(xiàn)評(píng)估

離線(xiàn)評(píng)估有助于了解調(diào)整超參數(shù)如何影響性能，在我看來(lái)，在線(xiàn)評(píng)估要有用得多。在新的程序Rosebud中，我現(xiàn)在已經(jīng)使用“同意/不同意”的方案——使用每個(gè)響應(yīng)底部的兩個(gè)相應(yīng)按鈕來(lái)提供反饋。

基于Prefect、Weave和RAGAS的RAG應(yīng)用開(kāi)發(fā)實(shí)戰(zhàn)-AI.x社區(qū)

在線(xiàn)反饋示例

當(dāng)用戶(hù)點(diǎn)擊上圖中底部任一按鈕時(shí)，就會(huì)被告知他們的反饋已被記錄。以下給出在Streamlit應(yīng)用程序界面中如何實(shí)現(xiàn)這一點(diǎn)的代碼片段：

def start_log_feedback(feedback):
print("Logging feedback.")
st.session_state.feedback_given = True
st.session_state.sentiment = feedback
thread = threading.Thread(target=log_feedback, args=(st.session_state.sentiment,
st.session_state.query,
st.session_state.query_constructor,
st.session_state.context,
st.session_state.response))
thread.start()
def log_feedback(sentiment, query, query_constructor, context, response):
ct = datetime.datetime.now()
wandb.init(project="film-search",
name=f"query: {ct}")
table = wandb.Table(columns=["sentiment", "query", "query_constructor", "context", "response"])
table.add_data(sentiment,
query,
query_constructor,
context,
response
)
wandb.log({"Query Log": table})
wandb.finish()

請(qǐng)注意，向W&B發(fā)送反饋的過(guò)程是在單獨(dú)的線(xiàn)程上運(yùn)行的，而不是在主線(xiàn)程上運(yùn)行。這是為了防止用戶(hù)在等待日志記錄完成時(shí)被卡住幾秒鐘。

我們使用了一個(gè)W&B表格用于存儲(chǔ)反饋。表中記錄了五個(gè)數(shù)值：

情緒（Sentiment）：用戶(hù)是否點(diǎn)擊了拇指圖標(biāo)（同意/不同意）。
查詢(xún)（Query）：用戶(hù)的查詢(xún)，例如，查找長(zhǎng)度不到2小時(shí)的英文戲劇電影和故事狗。
Query_Constructor：查詢(xún)構(gòu)造函數(shù)的結(jié)果，它重寫(xiě)用戶(hù)的查詢(xún)，并在必要時(shí)包含元數(shù)據(jù)過(guò)濾，例如：

{
"query": "drama English dogs", 
"filter": {
"operator": "and", 
"arguments": [
{
"comparator": "eq", "attribute": "Genre", "value": "Drama"
}, 
{
"comparator": "eq", "attribute": "Language", "value": "English"
}, 

{
"comparator": "lt", "attribute": "Runtime (minutes)", "value": 120
}
]
},
}

上下文（Context）：基于重建的查詢(xún)檢索到的上下文，例如標(biāo)題“Title: Hachi: A Dog’s Tale. Overview: A drama based on the true story of a college professor’s…”。
回應(yīng)（Response）：模型的回應(yīng)。

所有這些都可以方便地記錄在與前面顯示的Weave評(píng)估相同的項(xiàng)目中。現(xiàn)在，當(dāng)查詢(xún)“不同意”情況時(shí)，只需按下拇指向下的圖標(biāo)按鈕即可查看到底發(fā)生了什么。這將有助于使推薦應(yīng)用程序Rosebud的迭代和改進(jìn)加快速度。

基于Prefect、Weave和RAGAS的RAG應(yīng)用開(kāi)發(fā)實(shí)戰(zhàn)-AI.x社區(qū)

模型響應(yīng)可觀(guān)測(cè)性展示（請(qǐng)注意左側(cè)的W&B和Weave之間的無(wú)縫過(guò)渡）

借助Prefect自動(dòng)提取數(shù)據(jù)

為了使推薦程序Rosebud保持準(zhǔn)確性，將數(shù)據(jù)提取和上傳到Pinecone向量數(shù)據(jù)庫(kù)的過(guò)程自動(dòng)化非常重要。對(duì)于這個(gè)任務(wù)，我選擇使用Prefect（https://www.prefect.io/）。Prefect是一個(gè)流行的工作流編排工具。我一直在尋找一些輕量級(jí)、易于學(xué)習(xí)和Python風(fēng)格的程序。最后，我在Prefect中找到了這一切。

基于Prefect、Weave和RAGAS的RAG應(yīng)用開(kāi)發(fā)實(shí)戰(zhàn)-AI.x社區(qū)

Prefect提供的用于提取和更新Pinecone向量存儲(chǔ)的自動(dòng)流程

Prefect支持提供多種方式來(lái)規(guī)劃你的工作流程。我決定使用帶有自動(dòng)基礎(chǔ)設(shè)施配置的推送工作池方式。我發(fā)現(xiàn)這種設(shè)置在簡(jiǎn)單性和可配置性之間取得了平衡。它允許用戶(hù)委托Prefect自動(dòng)配置在所選云提供商中運(yùn)行流所需的所有基礎(chǔ)設(shè)施。經(jīng)過(guò)幾番權(quán)衡后，我選擇在A(yíng)zure上部署，但是在GCP或AWS上部署的話(huà)只需要更改幾行代碼即可。有關(guān)更多詳細(xì)信息，請(qǐng)參閱pinecone_flow.py文件。下面代碼只是提供了一個(gè)簡(jiǎn)化的流程：

@task
def start():
"""
啟動(dòng)：檢查一切工作或失敗的速度快！
"""
#打印出一些調(diào)試信息
print("Starting flow!")
# 確保用戶(hù)已經(jīng)設(shè)置了適當(dāng)?shù)沫h(huán)境變量
assert os.environ['LANGCHAIN_API_KEY']
assert os.environ['OPENAI_API_KEY']
...
@task(retries=3, retry_delay_seconds=[1, 10, 100])
def pull_data_to_csv(config):
TMBD_API_KEY = os.getenv('TMBD_API_KEY')
YEARS = range(config["years"][0], config["years"][-1] + 1)
CSV_HEADER = ['Title', 'Runtime (minutes)', 'Language', 'Overview', ...]

for year in YEARS:
# 獲取所有在{Year}中制作的電影的id列表
movie_list = list(set(get_id_list(TMBD_API_KEY, year)))

FILE_NAME = f'./data/{year}_movie_collection_data.csv'

#生成文件
with open(FILE_NAME, 'w') as f:
writer = csv.writer(f)
writer.writerow(CSV_HEADER)
...
print("Successfully pulled data from TMDB and created csv files in data/")
@task
def convert_csv_to_docs():
#從所有csv文件中加載數(shù)據(jù)
loader = DirectoryLoader(
...
show_progress=True)
docs = loader.load()
metadata_field_info = [
AttributeInfo(name="Title",
description="The title of the movie", type="string"),
AttributeInfo(name="Runtime (minutes)",
description="The runtime of the movie in minutes", type="integer"),
...
]

def convert_to_list(doc, field):
if field in doc.metadata and doc.metadata[field] is not None:
doc.metadata[field] = [item.strip()
for item in doc.metadata[field].split(',')]
...
fields_to_convert_list = ['Genre', 'Actors', 'Directors',
'Production Companies', 'Stream', 'Buy', 'Rent']
...
# 將'overview' 和'keywords' 設(shè)置為'page_content'，其他字段設(shè)置為'metadata'
for doc in docs:
#將page_counte字符串解析為字典
page_content_dict = dict(line.split(": ", 1)
for line in doc.page_content.split("\n") if ": " in line)

doc.page_content = (
'Title: ' + page_content_dict.get('Title') +
'. Overview: ' + page_content_dict.get('Overview') +
...
)
...
print("Successfully took csv files and created docs")

return docs
@task
def upload_docs_to_pinecone(docs, config):
# 創(chuàng)建空索引
PINECONE_KEY, PINECONE_INDEX_NAME = os.getenv(
'PINECONE_API_KEY'), os.getenv('PINECONE_INDEX_NAME')

pc = Pinecone(api_key=PINECONE_KEY)

# 目標(biāo)索引和檢查狀態(tài)
pc_index = pc.Index(PINECONE_INDEX_NAME)
print(pc_index.describe_index_stats())
embeddings = OpenAIEmbeddings(model=config['EMBEDDING_MODEL_NAME'])
namespace = "film_search_prod"
PineconeVectorStore.from_documents(
docs,
...
)
print("Successfully uploaded docs to Pinecone vector store")
@task
def publish_dataset_to_weave(docs):
#初始化Weave
weave.init('film-search')
rows = []
for doc in docs:
row = {
'Title': doc.metadata.get('Title'),
'Runtime (minutes)': doc.metadata.get('Runtime (minutes)'),
...
}
rows.append(row)

dataset = Dataset(name='Movie Collection', rows=rows)
weave.publish(dataset)
print("Successfully published dataset to Weave")

@flow(log_prints=True)
def pinecone_flow():
with open('./config.json') as f:
config = json.load(f)
start()
pull_data_to_csv(config)
docs = convert_csv_to_docs()
upload_docs_to_pinecone(docs, config)
publish_dataset_to_weave(docs)
if __name__ == "__main__":
pinecone_flow.deploy(
name="pinecone-flow-deployment",
work_pool_name="my-aci-pool",
cron="0 0 * * 0",
image=DeploymentImage(
name="prefect-flows:latest",
platform="linux/amd64",
)
)

請(qǐng)注意，將Python函數(shù)轉(zhuǎn)換為Prefect流是非常簡(jiǎn)單的事情。你只需要在主函數(shù)上使用@task裝飾器和@flow裝飾器來(lái)設(shè)計(jì)一些子函數(shù)。還要注意，在將文檔上傳到Pinecone向量數(shù)據(jù)庫(kù)后，我們流程的最后一步是將數(shù)據(jù)集發(fā)布到Weave。這對(duì)于再現(xiàn)性很重要。為了學(xué)習(xí)Prefect的基礎(chǔ)知識(shí)，我建議你瀏覽一下他們官網(wǎng)上的教程（https://docs.prefect.io/latest/tutorial/）。

在上面腳本的最后，我們看到部署是如何在Prefect中完成的。

我們需要為部署提供一個(gè)名稱(chēng)，這個(gè)名稱(chēng)是自由決定的。
我們還需要指定一個(gè)work_pool_name。Prefect中的推送工作池會(huì)自動(dòng)將任務(wù)發(fā)送到無(wú)服務(wù)器計(jì)算機(jī)，而不需要中介。此名稱(chēng)需要與用于創(chuàng)建池的名稱(chēng)相匹配，我們將在下面看到。
你還需要指定一個(gè)cron，它是計(jì)時(shí)器的縮寫(xiě)。這允許你指定重復(fù)工作流的頻率。值“0 0**0”表示每周重復(fù)此工作流。
最后，你需要指定一個(gè)DeploymentImage。在這里，你可以指定名稱(chēng)和平臺(tái)。名稱(chēng)是任意的，但平臺(tái)不是。由于我想部署到Azure計(jì)算實(shí)例，而這些實(shí)例運(yùn)行Linux操作系統(tǒng)，所以我在DeploymentImage中指定這一點(diǎn)很重要。

要使用命令行方式在A(yíng)zure上部署此流，請(qǐng)運(yùn)行以下命令：

prefect work-pool create --type azure-container-instance:push --provision-infra my-aci-pool
prefect deployment run 'get_repo_info/my-deployment'

這些命令將自動(dòng)在A(yíng)zure上提供所有必要的基礎(chǔ)設(shè)施。這包括一個(gè)Azure容器注冊(cè)表（ACR），它將保存一個(gè)Docker映像，其中包含目錄中的所有文件以及requirements.txt中列出的任何必要的依賴(lài)庫(kù)。它還將包括一個(gè)Azure容器實(shí)例（ACI）標(biāo)識(shí)，該標(biāo)識(shí)將具有部署具有上述Docker映像的容器所需的權(quán)限。最后，使用deployment run命令安排每周運(yùn)行的代碼。你可以通過(guò)Prefect控制面板來(lái)查看你的流是否運(yùn)行：

基于Prefect、Weave和RAGAS的RAG應(yīng)用開(kāi)發(fā)實(shí)戰(zhàn)-AI.x社區(qū)

Prefect中的流正在成功運(yùn)行的情形

通過(guò)每周更新我的Pinecone向量庫(kù)，我可以確保來(lái)自程序Rosebud的推薦結(jié)果準(zhǔn)確。

總結(jié)

在本文中，我介紹了我的改進(jìn)后的Rosebud應(yīng)用程序的一些改進(jìn)方案。這包括整合離線(xiàn)和在線(xiàn)評(píng)估的過(guò)程，以及自動(dòng)更新我的Pinecone向量庫(kù)等。

本文還有未提及的其他一些改進(jìn)，包括：

在電影數(shù)據(jù)中包括電影數(shù)據(jù)庫(kù)的評(píng)級(jí)。現(xiàn)在，你可以使用“好評(píng)電影（highly rated films）”，這種聊天模式能夠過(guò)濾掉7/10以上的電影。
升級(jí)了聊天模式。現(xiàn)在查詢(xún)和摘要模型使用的是模型gpt-4o-mini。請(qǐng)回想一下，LLM判斷模型也是使用了模型gpt-4o-mini。
嵌入模型從text-Embedding-ada-002升級(jí)為text-embeading-3-small。
現(xiàn)在的年份跨越1950年至2023年，而不是從1920年開(kāi)始。1920年至1950年的電影數(shù)據(jù)質(zhì)量不高，只有糟糕的推薦。
用戶(hù)界面更加清晰，所有關(guān)于項(xiàng)目的細(xì)節(jié)都放在側(cè)邊欄中。
程序在GitHub上的文檔得到了進(jìn)一步的改進(jìn)。
修復(fù)了一些錯(cuò)誤。

正如文章一開(kāi)始提到的，該應(yīng)用程序現(xiàn)在可以100%免費(fèi)使用！在可預(yù)見(jiàn)的未來(lái)，我將為查詢(xún)買(mǎi)單（因此選擇gpt-4o-mini而不是更昂貴的gpt-4o）。我真的很想獲得在生產(chǎn)環(huán)境中運(yùn)行應(yīng)用程序的經(jīng)驗(yàn)，并讓我的讀者測(cè)試Rosebud，這是一個(gè)很好的方法。萬(wàn)一應(yīng)用程序真的“火爆”了，我將不得不想出其他的融資模式。但這會(huì)是一個(gè)很大的問(wèn)題。

下面，請(qǐng)盡情享受使用Rosebud程序搜索精彩電影的樂(lè)趣吧！