精品欧美一区二区三区在线观看 _久久久久国色av免费观看性色_国产精品久久在线观看_亚洲第一综合网站_91精品又粗又猛又爽_小泽玛利亚一区二区免费_91亚洲精品国偷拍自产在线观看 _久久精品视频在线播放_美女精品久久久_欧美日韩国产成人在线

大模型應用與LUI(自然語言交互)落地的關鍵模塊——語義路由實現總結

發布于 2024-5-20 14:40
瀏覽
0收藏

在傳統搜索應用中,有一個核心的模塊叫意圖識別,即識別用戶搜索請求時的意圖,基于意圖不同生成不同的Query或執行不同的邏輯。在RAG應用中,仍然存在著類似的路由模塊完成請求分發。這樣的路由分發需求無處不在,特別是在自然語言交互的應用中,并且會隨著系統支持的場景和功能增多而變得越來越重要。所謂路由就是一個能夠根據一段自然語言輸入進行意圖判斷形成離散輸出的模塊。

典型的場景比如智能客服中的指令任務分發,硬盤搜索助手根據用戶需求搜索圖片還是搜索文件。下面是一些常見的情景的總結。

1)基于問題不同生成不同Prompt的情況,這和意圖識別生成不同Query一樣。

2)根據數據存儲的多樣性分發到不同數據存儲和服務中,比如數據庫、API等

3)即使存儲介質相同,也可能存在多個需要分發的情況。

4)根據問題的類型分發到不同的組件。比如,根據問題的性質將查詢分發給向量數據庫、Agent或服務等。

對于路由的實現大致分為兩類,邏輯路由(Logical Routers)和 自然語言路由。相較于自然語言路由,邏輯路由不依賴于對路由輸入的語義理解,而自然語言路由是需要關注語義的。

大模型應用與LUI(自然語言交互)落地的關鍵模塊——語義路由實現總結-AI.x社區

以下是這些路由的介紹:

1.LLM 路由

利用 LLM 的決策(decision making )能力根據用戶的查詢分發。

a.LLM生成路由

這類路由利用 LLM Completion接口實現,要求 LLM 從提示的單詞選項列表中返回最能描述查詢的單個單詞。然后,該詞可以作為 If/Else 條件的一部分來控制應用程序流程。

在llamaindex及LangChain都有這種思路的實現。下面是 LangChain 的一個使用例子。

from langchain_anthropic import ChatAnthropic
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import PromptTemplate


# Set up the LLM Chain to return a single word based on the query,
# and based on a list of words we provide to it in the prompt template
llm_completion_select_route_chain = (
        PromptTemplate.from_template("""
Given the user question below, classify it as either
being about `LangChain`, `Anthropic`, or `Other`.


Do not respond with more than one word.


<question>
{question}
</question>


Classification:"""
                                     )
        | ChatAnthropic(model_name="claude-3-haiku")
        | StrOutputParser()
)




# We setup an IF/Else condition to route the query to the correct chain 
# based on the LLM completion call above
def route_to_chain(route_name):
    if "anthropic" == route_name.lower():
        return anthropic_chain
    elif "langchain" == route_name.lower():
        return langchain_chain
    else:
        return general_chain


...


# Later on in the application, we can use the response from the LLM
# completion chain to control (i.e route) the flow of the application 
# to the correct chain via the route_to_chain method we created
route_name = llm_completion_select_route_chain.invoke(user_query)
chain = route_to_chain(route_name)
chain.invoke(user_query)

b.LLM 函數調用路由器

利用了 LLM 的function call能力來選擇要執行的分支函數。

LlamaIndex中的Pydantic路由就是這個原理。大多數Agent選擇要使用的正確工具也是采用這樣的方式。它們利用 LLM 的函數調用能力,根據用戶的查詢選擇適合的工具。下面是Pydantic路由的使用例子:

from llama_index.core.query_engine import RouterQueryEngine
from llama_index.core.selectors import PydanticSingleSelector
from llama_index.core.selectors.pydantic_selectors import Pydantic
from llama_index.core.tools import QueryEngineTool
from llama_index.core import VectorStoreIndex, SummaryIndex


# define query engines
...


# initialize tools
list_tool = QueryEngineTool.from_defaults(
    query_engine=list_query_engine,
    descriptinotallow="Useful for summarization questions related to the data source",
)
vector_tool = QueryEngineTool.from_defaults(
    query_engine=vector_query_engine,
    descriptinotallow="Useful for retrieving specific context related to the data source",
)


# initialize router query engine (single selection, pydantic)
query_engine = RouterQueryEngine(
    selector=PydanticSingleSelector.from_defaults(),
    query_engine_tools=[
        list_tool,
        vector_tool,
    ],
)
query_engine.query("<query>")

2.語義路由

利用語義相關性檢索來選擇最佳的分支。

每個路由都有一組與之關聯的示例查詢,這些查詢會被embedding并存儲為向量。傳入的查詢也會被embedding,并針對路由器中的其他示例查詢進行相似性搜索。匹配度最高的查詢的路由將被選中。

以semantic-router(https://github.com/aurelio-labs/semantic-router)這個項目為例了解其具體細節。例如,設置兩個路由,一個用于政治問題的問答,另一個用于一般閑聊類型的問答。對于每個路由都會分配一個通常可能被用來觸發該路由分支的問題列表。這些示例查詢(utterances)將被embedding,以便可以將它們用于針對用戶查詢的相似性搜索。

from semantic_router import Route


# we could use this as a guide for our chatbot to avoid political
# conversations
politics = Route(
    name="politics",
    utterances=[
        "isn't politics the best thing ever",
        "why don't you tell me about your political opinions",
        "don't you just love the president",
        "they're going to destroy this country!",
        "they will save the country!",
    ],
)


# this could be used as an indicator to our chatbot to switch to a more
# conversational prompt
chitchat = Route(
    name="chitchat",
    utterances=[
        "how's the weather today?",
        "how are things going?",
        "lovely weather today",
        "the weather is horrendous",
        "let's go to the chippy",
    ],
)


# we place both of our decisions together into single list
routes = [politics, chitchat]


#創建路由層


encoder = OpenAIEncoder()


from semantic_router.layer import RouteLayer


route_layer = RouteLayer(encoder=encoder, routes=routes)

使用時,輸入問題,便能獲得路由決策。

route_layer("don't you love politics?").name
# -> 'politics'

由于這種路由本質上是向量檢索,無需調用LLM,因而比其他基于 LLM 的路由器更快。

3.零樣本文本分類路由

零樣本文本分類(Zero-shot text classification)是NLP中的一項任務,其中模型在一個標記樣本集上進行訓練,進而獲得能夠對來自先前未見過的樣本進行分類,比如基于bert的分類器。

而這類路由便是利用零樣本分類模型給一段文本打上標簽,而這些標簽來自于預定義的標簽路由。

比如,Haystack 中的 ZeroShotTextRouter便是這種實現路徑。具體參考:https://github.com/deepset-ai/haystack/blob/main/haystack/components/routers/zero_shot_text_router.py#L130

4.語言分類路由

這類路由器能夠識別查詢所使用的語言,并根據該語言路由查詢。如果應用程序需要某種多語言解析能力,這將非常有用。

比如,Haystack 中的 TextClassificationRouter,它利用 langdetect 庫來檢測文本的語言,該庫本身使用樸素貝葉斯算法來檢測語言。參考:https://github.com/deepset-ai/haystack/blob/main/haystack/components/routers/text_language_router.py#L90

5.關鍵字路由

該類路由將嘗試通過匹配查詢和路由列表之間的關鍵字來選擇分支。

這個關鍵字路由器也可以由 LLM 來識別關鍵字,或者由其他一些關鍵字匹配庫來實現。

6.邏輯路由

它們使用邏輯檢查變量,例如字符串長度、文件名和值比較來處理如何路由查詢。它們與編程中使用的典型 If/Else 條件非常相似。它們不是基于必須理解自然語言查詢的意圖,而是可以根據現有和變量參數做出選擇。典型實現如HayStack 中的 ConditionalRouter 和 FileTypeRouter。

小結

不管是RAG應用還是普通的業務系統,都存在著大量的分支判斷,這種判斷早期由于自然語言技術的落后(準確率和性能)導致大多數實現為語法判斷,而隨著LLM技術的發展,必然會帶動語義判斷和分發需求的大發展,另一方面,隨著自然語言交互(LUI)的不斷普及,路由模塊將成為其中核心實現受到更大重視。

參考:

??https://towardsdatascience.com/routing-in-rag-driven-applications-a685460a7220??

??https://betterprogramming.pub/unifying-llm-powered-qa-techniques-with-routing-abstractions-438e2499a0d0??

本文轉載自?? AI工程化??,作者: ully

收藏
回復
舉報
回復
相關推薦
成人激情在线观看| 日韩精品在线观| 黄色激情在线视频| 特级丰满少妇一级aaaa爱毛片| 国产精品永久| 中文字幕精品久久久久| 中文字幕av一区二区三区人妻少妇| 8x8ⅹ拨牐拨牐拨牐在线观看| 91蝌蚪porny九色| 国产日韩av在线| 日韩精品一区二区av| 精品色999| 自由日本语亚洲人高潮| 麻豆精品新av中文字幕| 欧美成年人在线观看| 亚洲av无码成人精品国产| 久久久久黄色| 欧美午夜美女看片| 国产911在线观看| 国产日本在线| 亚洲国产精品成人久久蜜臀| heyzo高清中文字幕在线| 国产亚洲视频系列| 国产一区二区自拍| 国产乱码精品一区二区三区精东 | 欧美v国产在线一区二区三区| aa在线免费观看| 人人澡人人添人人爽一区二区| 国产婷婷一区二区| 精品一区二区三区自拍图片区| 91麻豆国产在线| 久久亚洲色图| 91av在线不卡| 免费网站看av| 我不卡伦不卡影院| 在线观看国产精品91| 国产极品一区二区| 57pao国产一区二区| 欧美巨大另类极品videosbest | 国产美女福利在线观看| 亚洲摸摸操操av| 亚洲综合第一| 91大神xh98hx在线播放| 91视频国产资源| 国产精品日本一区二区| 性一交一乱一透一a级| 狠狠色丁香久久婷婷综合_中| 国产精品黄色av| 中文字幕精品无| 成人黄色在线| 精品久久久久久久久久久下田| 欧美日韩视频在线第一区| 日韩无套无码精品| 欧美18—19sex性hd| 欧美特黄级在线| 欧美日韩在线中文| 欧美男女交配| 在线视频国内自拍亚洲视频| 一本久道综合色婷婷五月| 亚洲人体影院| 色哟哟一区二区在线观看| 国产主播在线看| 精品国产第一福利网站| 日韩人体视频一二区| 日韩中文字幕组| 性高爱久久久久久久久| 欧美午夜视频网站| 日韩欧美亚洲另类| 视频成人永久免费视频| 精品99久久久久久| 三级电影在线看| 久久99国产精品视频| 尤物精品国产第一福利三区| 亚洲综合图片一区| 欧美a级片网站| 欧美激情精品久久久久久变态 | 视频一区二区在线播放| 久久久久97| 久久精品网址| 668精品在线视频| 欧美超碰在线观看| 麻豆久久一区二区| 91福利视频导航| 四虎国产精品永远| 国产日本一区二区| 一区二区三区四区免费视频| 黄色av网站在线播放| 亚洲风情在线资源站| 成人观看免费完整观看| 成人涩涩视频| 欧美r级在线观看| 欧美丰满少妇人妻精品| 91麻豆国产自产在线观看亚洲 | 久草在线视频网站| 欧美日韩一区二区精品| 国产成人黄色网址| 成人激情自拍| 在线看片第一页欧美| 青青草精品在线视频| 另类激情亚洲| 亚洲伊人久久综合| 黄色av网站在线| 亚洲老妇xxxxxx| 国产精品亚洲a| 日韩高清二区| 伊人久久五月天| 日本免费一二三区| 美腿丝袜亚洲一区| 韩国一区二区三区美女美女秀| av网站在线播放| 亚洲国产精品麻豆| 亚洲最大天堂网| 天堂成人娱乐在线视频免费播放网站 | 91国在线精品国内播放| 中文字幕人妻一区二区三区视频| 国产91综合网| 伊人久久大香线蕉成人综合网| 激情视频网站在线播放色| 91精品啪在线观看国产60岁| 国产特黄级aaaaa片免| 欧美一区国产在线| 国产美女精品视频免费观看| 天堂91在线| 亚洲永久免费av| 制服丝袜中文字幕第一页| 在线观看欧美理论a影院| 欧美精品一区二区免费| 一级特黄aaa| 国产午夜久久久久| 国产淫片免费看| 麻豆精品久久| 精品国产网站地址| 欧美高清69hd| 国产喂奶挤奶一区二区三区 | 天堂一区二区在线| 久草精品电影| 欧美草逼视频| 欧美一区二区日韩一区二区| av在线免费播放网址| 视频在线观看一区二区三区| 九九九久久久| 黄色漫画在线免费看| 亚洲福利小视频| 久久丫精品久久丫| 成人免费观看视频| 精品国产一区二区在线观看| 亚洲春色在线| 欧美123区| 亚洲欧洲一区二区三区久久| 亚洲 欧美 成人| 91影院在线观看| 国产亚洲综合视频| 特黄特色欧美大片| 国产成人精品网站| 第九色区av在线| 欧美午夜一区二区三区| 国产又黄又粗又猛又爽的| 蜜臀va亚洲va欧美va天堂| 视频一区二区三区在线观看| 国产精品亲子伦av一区二区三区| 亚洲视频第一页| 欧美人一级淫片a免费播放| 欧美激情中文字幕一区二区| 亚洲欧洲日本精品| 影视一区二区| caoporn国产精品免费公开| 久久五月精品中文字幕| 亚洲精品www久久久| 日韩手机在线视频| 国产精品免费人成网站| 91福利免费观看| 欧美日韩亚洲三区| 精品国产乱码久久久久久丨区2区 精品国产乱码久久久久久蜜柚 | 欧美丰满美乳xxx高潮www| 91ts人妖另类精品系列| 国产精品主播直播| 免费在线观看视频a| 亚洲视频分类| 国产欧美日韩专区发布| 欧美性爽视频| 精品视频在线观看日韩| 欧美另类高清videos的特点| 亚洲欧洲成人自拍| 熟妇高潮一区二区| 日韩精品欧美精品| 欧美性视频在线播放| 哺乳挤奶一区二区三区免费看| 2018中文字幕一区二区三区| 在线免费观看黄色av| 日韩欧美成人激情| 亚洲va在线观看| √…a在线天堂一区| 免费看黄色片的网站| 日本欧美大码aⅴ在线播放| 国产av不卡一区二区| 日韩中出av| 成人在线小视频| 手机在线理论片| 久久精品最新地址| 欧美日韩免费做爰大片| 欧美一区二区精品在线| 日本a级c片免费看三区| 亚洲乱码中文字幕| 久久久视频6r| 成人国产精品免费观看| 爱爱爱爱免费视频| av成人黄色| 日本a级片在线观看| 精品国产乱码久久久| 国产精品swag| 色999久久久精品人人澡69| 欧美亚洲在线视频| 色a资源在线| www.亚洲免费视频| 青青草在线视频免费观看| 日韩精品综合一本久道在线视频| 亚洲天堂视频在线播放| 精品国产户外野外| 久久精品久久精品久久| 自拍偷拍亚洲欧美日韩| 欧美性受xxxx黑人| 91在线码无精品| 亚洲乱妇老熟女爽到高潮的片| 另类综合日韩欧美亚洲| 色婷婷综合久久久久中文字幕| 欧美日韩国产在线一区| 欧美一级免费在线观看| 欧美色爱综合| 欧美福利一区二区三区| 久久久亚洲欧洲日产| 97久久夜色精品国产九色 | 国产精品av一区二区| 亚洲最新在线| 欧美精品色图| 秋霞久久久久久一区二区| 久久综合社区| 国产精品大全| 日韩中文字幕免费在线| 图片区亚洲欧美小说区| 五月天色一区| 欧美日韩国产在线观看网站| 美女一区视频| 亚洲涩涩av| 欧美人与性禽动交精品| 五月国产精品| 久久国产精品久久| 啪啪激情综合网| 久久久综合香蕉尹人综合网| 秋霞影视一区二区三区| 精品1区2区| 亚洲欧洲免费| 欧美一区2区三区4区公司二百| 欧美精品密入口播放| 黑人另类av| 亚州精品视频| 久久亚洲免费| 精品高清在线| 在线观看一区二区三区三州| 四季av在线一区二区三区| 亚洲狠狠婷婷综合久久久| 久久综合国产| 99热都是精品| 韩日视频一区| 国产美女网站在线观看| 天堂va蜜桃一区二区三区漫画版| 不卡av免费在线| 另类欧美日韩国产在线| 欧美一级特黄aaa| 国产成人精品一区二区三区四区| 一级少妇精品久久久久久久| www国产成人| jizz18女人高潮| 亚洲欧美日韩国产一区二区三区| 欧美日韩激情在线观看| 欧美日韩国产一区二区三区| 色一情一乱一伦| 欧美美女直播网站| 亚洲国产福利视频| 国产亚洲成av人片在线观看桃| 中文字幕日本在线观看| 欧美丰满老妇厨房牲生活| 色网在线免费观看| 国产综合在线观看视频| 91精品丝袜国产高跟在线| 久久综合伊人77777麻豆| 91麻豆精品国产91久久久平台 | 99精品国产一区二区青青牛奶| 37pao成人国产永久免费视频| 美女一区二区视频| 大尺度在线观看| 国产日韩欧美激情| 欧美三级日本三级| 色综合久久久久久久久久久| 麻豆av一区二区三区| 伊人久久大香| 蜜桃成人免费视频| 91精品1区| 亚洲色欲综合一区二区三区| 韩国精品在线观看| 欧美 日本 国产| 亚洲精品国产第一综合99久久| 一级黄色在线视频| 日韩欧美久久一区| 成人18在线| 久久久久久久激情视频| 福利精品一区| 精品视频一区二区| 一个色综合网| 久久99999| 91亚洲国产成人精品一区二区三| 亚洲女人毛茸茸高潮| 精品国产91久久久| 国产激情视频在线播放| 一本一本久久a久久精品牛牛影视| 久草在线视频资源| 91网站在线免费观看| 精品日产免费二区日产免费二区| 欧美午夜小视频| 九一久久久久久| 中文字幕av久久爽一区| 亚洲国产精品影院| 精品久久久久中文慕人妻| 中文字幕久久久| 亚洲女色av| 国产一区喷水| 在线欧美亚洲| 日批视频免费看| 亚洲欧美另类小说视频| 91免费视频播放| 正在播放亚洲1区| 日本综合字幕| 蜜桃av噜噜一区二区三| 国产精品二区影院| 香蕉网在线视频| 成人免费视频在线观看| 亚洲天堂视频网| 色一区av在线| 九七电影院97理论片久久tvb| 日韩.欧美.亚洲| 亚洲综合欧美| 久久久久久久久免费看无码 | 在线一区日本视频| 日韩不卡一区二区三区| 亚洲黄色小说视频| 色天使色偷偷av一区二区| 色视频在线观看免费| 欧美一性一乱一交一视频| 精品亚洲自拍| 欧美在线一区视频| 99国产精品久久| 中文字幕激情小说| 日韩电影网在线| 伊人久久国产| 日本不卡一区二区三区在线观看 | 中国黄色片一级| 中文字幕中文字幕在线一区| 进去里视频在线观看| 日韩有码在线电影| 成人激情久久| 欧美国产视频一区| fc2成人免费人成在线观看播放 | 在线一区二区观看| 毛片在线播放网站| 国产精品热视频| 国产精品国产三级国产在线观看| 久久久精品高清| 亚洲一区二区三区三| 天堂av在线播放| 国产精品自拍视频| 欧美二区不卡| 亚洲第一黄色网址| 欧洲精品一区二区三区在线观看| 在线激情网站| 91福利视频导航| 免费在线亚洲欧美| 在线看片中文字幕| 日韩精品一区二| 新版的欧美在线视频| 视频一区国产精品| 国产成人综合亚洲91猫咪| 国产又爽又黄的视频| 中日韩美女免费视频网址在线观看 | 国产v综合ⅴ日韩v欧美大片| 三区四区不卡| 国产黑丝在线观看| 欧美无人高清视频在线观看| 在线观看a级片| 久久久久久九九| 狠狠狠色丁香婷婷综合激情| 国产精品第108页| 在线播放日韩欧美| 超碰成人在线观看| 美女喷白浆视频| 亚洲综合成人在线视频| 国产色a在线| 国产精品12| 久草精品在线观看| 中文字幕一区在线播放| 欧美成人精品xxx| 免费视频一区三区|