生成型人工智能優(yōu)化框架研究 原創(chuàng)
簡介
生成類似人類的文本和語音曾經(jīng)只有在科幻小說中才成為可能。但是，GPT-3和PaLM等大型語言模型（LLM）的快速發(fā)展使這一愿景更接近現(xiàn)實，并且相應(yīng)地出現(xiàn)一系列基于它們的從聊天機(jī)器人到內(nèi)容創(chuàng)建等領(lǐng)域頗有前景的商業(yè)應(yīng)用程序。
然而，通用的基礎(chǔ)模型往往無法滿足特定行業(yè)場景的具體需求。企業(yè)對其生成型人工智能應(yīng)用程序有不同的要求，涉及到從性能、成本、延遲性乃至到可解釋性等諸多方面。此外，可用于模型訓(xùn)練的數(shù)據(jù)的性質(zhì)和數(shù)量也可能存在顯著差異。因此，產(chǎn)品團(tuán)隊必須為其生成式人工智能應(yīng)用程序構(gòu)建關(guān)鍵業(yè)務(wù)標(biāo)準(zhǔn)，并選擇合適的優(yōu)化技術(shù)工具包來滿足這些需求。
在這篇文章中，我們將向您展示一種框架，用于為您的生成型人工智能應(yīng)用程序確定和優(yōu)先考慮戰(zhàn)略重點領(lǐng)域。我們還將探索一些流行的優(yōu)化方法，并討論它們各自的獨特優(yōu)勢、理想的應(yīng)用程序以及在滿足應(yīng)用程序需求方面的權(quán)衡。通過以明確的商業(yè)目標(biāo)為指導(dǎo)的正確優(yōu)化戰(zhàn)略，公司便可以開發(fā)定制的人工智能解決方案，平衡對其成功至關(guān)重要的優(yōu)先事項。接下來，就讓我們一起開始這一探索吧！
評估業(yè)務(wù)需求和限制的框架
為了有效地調(diào)整優(yōu)化LLM的策略，產(chǎn)品團(tuán)隊?wèi)?yīng)該從深入了解業(yè)務(wù)目標(biāo)和運營限制開始。為您的業(yè)務(wù)場景評估并確定以下關(guān)鍵維度的優(yōu)先級：
生成型人工智能優(yōu)化框架研究-AI.x社區(qū)
1.績效目標(biāo)
（Performance Goal）：定義人工智能需要實現(xiàn)的績效指標(biāo)和水平。這可以是事實準(zhǔn)確性、與人類價值觀的一致性或其他特定任務(wù)指標(biāo)的組合。
需要考慮的問題：衡量績效的最佳維度是什么？可接受的最低性能標(biāo)準(zhǔn)是多少？您所在行業(yè)的性能如何與用戶期望保持一致？
2.延遲目標(biāo)
（Latency Targets）：確定應(yīng)用程序能夠承受的最長響應(yīng)時間，而不會對用戶體驗產(chǎn)生負(fù)面影響。當(dāng)LLM部署在時間敏感或資源受限的場景（例如，語音助手、邊緣設(shè)備）中時，這一點可能尤為重要。
需要考慮的問題：延遲如何影響用戶滿意度和保留率？響應(yīng)時間的行業(yè)標(biāo)準(zhǔn)是什么？
3.成本效率
（Cost Efficiency）：根據(jù)預(yù)期ROI（投資回報率）評估人工智能的運營成本。當(dāng)更高的初始成本帶來可觀的節(jié)約、收入增長或超過投資的戰(zhàn)略效益時，這些成本可能是合理的。
需要考慮的問題：LLM的運營成本如何影響您的預(yù)算？投資回報率與人工智能部署成本相比如何？
4.可解釋性和信任
（Explainability & Trust）：確定是否需要確保人工智能決策易于被用戶理解，這對于建立信任至關(guān)重要，尤其是在監(jiān)管要求嚴(yán)格的領(lǐng)域。
需要考慮的問題：您所在的行業(yè)是否受到監(jiān)管，要求人工智能決策的透明度？可解釋性如何影響用戶的信任和采用？
5.外部知識
（External Knowledge）：評估您的人工智能是否需要訪問外部數(shù)據(jù)源以保持相關(guān)性并提供準(zhǔn)確的響應(yīng)。
需要考慮的問題：您的人工智能是否需要實時數(shù)據(jù)來做出決策？
6.數(shù)據(jù)可用性
（Data Availability）：可用于訓(xùn)練人工智能的數(shù)據(jù)的性質(zhì)和數(shù)量可能會廣泛影響優(yōu)化策略。
需要考慮的問題：您是否可以訪問大型數(shù)據(jù)集進(jìn)行訓(xùn)練，或者是否需要使用合成或增強(qiáng)的數(shù)據(jù)？您需要多久更新一次訓(xùn)練數(shù)據(jù)以保持人工智能的相關(guān)性？
下表概述了生成式人工智能應(yīng)用程序的三個不同用例，并對框架內(nèi)每個維度的優(yōu)先級進(jìn)行了相應(yīng)評估：
生成型人工智能優(yōu)化框架研究-AI.x社區(qū)
正如您從上表中所看到的，優(yōu)先級和約束在不同的用例中可能有很大的差異。
例如，考慮一家旨在開發(fā)客戶支持聊天機(jī)器人以減輕員工工作量的公司。在這種情況下，準(zhǔn)確性性能和外部數(shù)據(jù)集成是優(yōu)先需要考慮的事項，以便提供既正確又最及時的響應(yīng)。雖然延遲具有一定的意義，但用戶可能愿意容忍短暫的延遲。通常，這樣的公司可以訪問可用于訓(xùn)練模型的非常廣泛的檔案——這些數(shù)據(jù)都是與老客戶交互過程產(chǎn)生的。
相比之下，人工智能在評估軟件代碼質(zhì)量和風(fēng)險方面的關(guān)鍵應(yīng)用需要更加關(guān)注人工智能見解的事實準(zhǔn)確性和可解釋性，這通常是由于潛在的錯誤后果所致。在這種情況下，成本和延遲就成為次要考慮因素。在某些情況下，此用例可能受益于外部數(shù)據(jù)集成，并且這通常面臨豐富的訓(xùn)練數(shù)據(jù)集的可用性方面的限制。
如果對與用例相關(guān)的戰(zhàn)略優(yōu)先級和限制有深入的了解，就可以幫助團(tuán)隊制定量身定制的戰(zhàn)略來優(yōu)化LLM，以滿足用戶的獨特需求。
深入研究LLM優(yōu)化技術(shù)
本節(jié)將深入研究各種優(yōu)化技術(shù)，強(qiáng)調(diào)它們的目標(biāo)、理想的使用場景和固有的權(quán)衡，特別是在平衡上述業(yè)務(wù)目標(biāo)的情況下。
技術(shù)表格細(xì)分如下所示：
生成型人工智能優(yōu)化框架研究-AI.x社區(qū)
1.提示工程 （Prompt Engineering）
執(zhí)行復(fù)雜度：低
何時使用：適用于在不改變模型的情況下提高響應(yīng)時間與迅速改進(jìn)。在嘗試更復(fù)雜的優(yōu)化方法之前，可以先從這項技術(shù)開始，從而最大限度地提高預(yù)訓(xùn)練模型的有效性。
需要付出的代價：提示工程包括以一種能夠獲得所需輸出的方式，精心制作對模型的輸入查詢。它需要了解模型如何響應(yīng)不同類型的指令，但不需要重新訓(xùn)練模型或更改其體系結(jié)構(gòu)。這種方法只是優(yōu)化了現(xiàn)有模型訪問和應(yīng)用其預(yù)先訓(xùn)練的知識的方式，并沒有增強(qiáng)模型的內(nèi)在能力。
“這就像調(diào)整你向知識淵博的朋友提問的方式，以獲得盡可能好的答案。”
示例：
- 要求語言模型“以莎士比亞的風(fēng)格寫詩（Write a poem in the style of Shakespeare）”與“寫詩（Write a poem）”，以特定的文學(xué)風(fēng)格引發(fā)反應(yīng)。
- 提供一個詳細(xì)的場景，提示對話式人工智能，以確保模型了解其作為客戶服務(wù)代理的角色。
利弊 權(quán)衡：
試錯：設(shè)計最有效的提示需要多次迭代，因為提示和人工智能輸出之間的關(guān)系并不總是直觀的。
輸出質(zhì)量：輸出的質(zhì)量在很大程度上取決于提示的設(shè)計，并且通過這種方法可以實現(xiàn)的改進(jìn)程度也是有限的。
2.微調(diào) （Fine-Tuning）
執(zhí)行復(fù)雜性：中等
何時使用：當(dāng)您需要模型適應(yīng)基礎(chǔ)預(yù)訓(xùn)練模型可能無法很好地涵蓋特定的領(lǐng)域或任務(wù)時，應(yīng)考慮進(jìn)行微調(diào)。這是朝著提高特定領(lǐng)域的準(zhǔn)確性和創(chuàng)建一個可以處理特定領(lǐng)域數(shù)據(jù)和術(shù)語的更專業(yè)的模型邁出的一步。
需要付出的代價：微調(diào)是在代表目標(biāo)任務(wù)或領(lǐng)域的新數(shù)據(jù)集上繼續(xù)訓(xùn)練預(yù)訓(xùn)練模型的過程。這個新的數(shù)據(jù)集由輸入輸出對組成，它們提供了所需行為的示例。在微調(diào)過程中，更新模型的權(quán)重以最大限度地減少新數(shù)據(jù)集上的損失，從而有效地使模型適應(yīng)新的領(lǐng)域。
“可以把它想象成給你的朋友上一堂關(guān)于你希望他們成為專家的主題的速成課程；向他們展示測試中可能出現(xiàn)的多個問題示例以及他們應(yīng)該回答的樣本答案。”
示例：
通用語言模型可以對法律文檔進(jìn)行微調(diào)，以提高其審查此類文檔的性能。
圖像識別模型可以與醫(yī)學(xué)成像數(shù)據(jù)集進(jìn)行微調(diào)，以更好地識別X射線或MRI中的特定疾病。
利弊 權(quán)衡：
數(shù)據(jù)要求：微調(diào)需要一個與任務(wù)相關(guān)的標(biāo)記數(shù)據(jù)集，創(chuàng)建該數(shù)據(jù)集可能需要耗費大量資源。
過度擬合風(fēng)險：存在模型對微調(diào)數(shù)據(jù)過于專業(yè)化的潛在風(fēng)險，這可能會降低其推廣到其他上下文或數(shù)據(jù)集的能力。
3.檢索增強(qiáng)生成（RAG）
執(zhí)行復(fù)雜性：高
何時使用：當(dāng)人工智能模型需要訪問和整合外部信息以生成響應(yīng)時，應(yīng)考慮使用RAG。當(dāng)期望模型提供未包含在其預(yù)先訓(xùn)練的知識庫中的最新或高度特定的信息時，這一點尤其重要。
需要付出的代價：RAG將LLM的生成能力與檢索系統(tǒng)相結(jié)合。檢索系統(tǒng)查詢數(shù)據(jù)庫、知識庫或互聯(lián)網(wǎng)以查找與輸入提示相關(guān)的信息。然后，將檢索到的信息提供給語言模型，語言模型結(jié)合了該上下文以生成更豐富、更準(zhǔn)確的響應(yīng)。通過引用RAG系統(tǒng)用于生成響應(yīng)的來源，生成型人工智能應(yīng)用程序可以增強(qiáng)對用戶的解釋能力。
在未來幾年，隨著越來越多的產(chǎn)品尋求利用其最新的商業(yè)數(shù)據(jù)為客戶量身定制體驗，這種優(yōu)化技術(shù)預(yù)計將廣受歡迎。
“這就像你的朋友可以在網(wǎng)上查找信息，回答他們直接專業(yè)知識之外的問題。這是一種開卷考試。”
示例：
在基于RAG的在線聊天機(jī)器人中，檢索器可以從數(shù)據(jù)庫或互聯(lián)網(wǎng)中提取相關(guān)信息，以提供最新答案。
家庭作業(yè)助理AI可以使用RAG獲取最新的科學(xué)數(shù)據(jù)，以回答學(xué)生關(guān)于氣候變化的問題。
利弊 權(quán)衡：
復(fù)雜的實現(xiàn)：RAG系統(tǒng)需要一個集成良好的檢索系統(tǒng)，這在設(shè)置和維護(hù)方面可能具有挑戰(zhàn)性。
信息質(zhì)量：生成的回復(fù)的有用性在很大程度上取決于檢索到的信息的相關(guān)性和準(zhǔn)確性。如果檢索系統(tǒng)的來源過時或不正確，則回復(fù)將反映這一點。
響應(yīng)時間慢：從外部源檢索信息以生成響應(yīng)可能會增加延遲。
4.從人的反饋中強(qiáng)化學(xué)習(xí)（RLHF）
執(zhí)行復(fù)雜性：非常高
何時使用：當(dāng)模型的輸出需要與復(fù)雜的人類判斷和偏好緊密一致時，應(yīng)使用RLHF。
需要付出的代價：RLHF是一種復(fù)雜的強(qiáng)化學(xué)習(xí)技術(shù)，通過將人類評估直接納入訓(xùn)練過程來細(xì)化模型的行為。該過程通常包括從人工操作員那里收集數(shù)據(jù)，操作員根據(jù)各種質(zhì)量指標(biāo)（如相關(guān)性、有用性、語氣等）對人工智能的輸出進(jìn)行排名。然后，這些數(shù)據(jù)信號被用于訓(xùn)練獎勵模型，該模型指導(dǎo)強(qiáng)化學(xué)習(xí)過程，以產(chǎn)生更符合人類偏好的輸出。
“這類似于你的朋友從過去的對話中學(xué)習(xí)是什么讓討論變得愉快，并利用這些知識來改善未來的互動。”
示例：
社交媒體平臺可以使用RLHF來訓(xùn)練一個審核機(jī)器人，該機(jī)器人不僅可以識別不合適的內(nèi)容，還可以以建設(shè)性和對上下文敏感的方式對用戶做出回應(yīng)。
可以使用RLHF對虛擬助理進(jìn)行微調(diào)，以提供對用戶請求的更個性化和上下文感知的響應(yīng)。
利弊 權(quán)衡：
高復(fù)雜性：RLHF涉及復(fù)雜的資源密集型過程，包括人類反饋收集、獎勵建模和強(qiáng)化學(xué)習(xí)。
質(zhì)量風(fēng)險：反饋數(shù)據(jù)存在偏差的風(fēng)險，這可能會影響模型質(zhì)量。確保人類反饋的質(zhì)量一致并使獎勵模型與期望的結(jié)果保持一致可能很困難。
5.知識蒸餾 （Knowledge Distillation）
執(zhí)行復(fù)雜性：中等到高
何時使用：當(dāng)您需要在計算能力有限的設(shè)備上或在響應(yīng)時間至關(guān)重要的應(yīng)用程序中部署復(fù)雜的模型時，會使用知識蒸餾。
需要付出的代價：這是一種壓縮技術(shù)，訓(xùn)練一個更小、更高效的模型（稱為學(xué)生）來復(fù)制一個更大、更復(fù)雜的模型（教師）的性能。訓(xùn)練不僅僅是學(xué)習(xí)正確的答案（硬目標(biāo)），還包括學(xué)生試圖產(chǎn)生與老師預(yù)測相似的概率（軟目標(biāo)）。這種方法使學(xué)生模型能夠捕捉到教師模型所學(xué)到的細(xì)微的模式和見解。
“這類似于將經(jīng)驗豐富的專家的智慧提煉成一本簡明的指南，新手無需多年的經(jīng)驗就可以用它來做出專家級的決策。”
示例：
一個大規(guī)模的語言模型可以被蒸餾成一個較小的模型，該模型可以在智能手機(jī)上高效運行，用于實時語言翻譯。
自動駕駛汽車中使用的圖像識別系統(tǒng)可以蒸餾成一個可以在汽車車載計算機(jī)上運行的輕型模型。
利弊 權(quán)衡：
性能與規(guī)模：提取的模型可能并不總是與教師模型的性能相匹配，這可能會導(dǎo)致準(zhǔn)確性或質(zhì)量下降。
訓(xùn)練復(fù)雜性：蒸餾過程非常耗時，需要仔細(xì)的實驗來確保學(xué)生模型有效地學(xué)習(xí)。它需要對模型的體系結(jié)構(gòu)有深入的理解，并有能力將知識從一個模型轉(zhuǎn)換到另一個模型。
現(xiàn)在，讓我們來看一個實際應(yīng)用中的示例。
示例：客戶支持 型 聊天機(jī)器人
讓我們重新審視構(gòu)建客戶支持型聊天機(jī)器人的用例，以減少人力支持人員的工作量。
要求/限制包括：
- 性能：高優(yōu)先級（強(qiáng)調(diào)事實準(zhǔn)確性）
- 外部知識：高度優(yōu)先
- 延遲目標(biāo)：中等優(yōu)先級
- 成本效率：低優(yōu)先級
- 可解釋性和可信度：中等優(yōu)先級
數(shù)據(jù)可用性：充足（過去的對話數(shù)據(jù)）
有了對業(yè)務(wù)背景和優(yōu)先級的清晰理解，產(chǎn)品開發(fā)者就可以制定出最有效的優(yōu)化策略。
LLM優(yōu)化決策步驟：
提示工程應(yīng)作為提高聊天機(jī)器人初始理解和響應(yīng)能力的第一步。然而，僅憑這一點不太可能滿足專業(yè)領(lǐng)域的準(zhǔn)確性。
利用歷史客戶對話數(shù)據(jù)對模型進(jìn)行微調(diào)，對于提高聊天機(jī)器人的準(zhǔn)確性性能，并使模型擅長處理細(xì)微的行業(yè)特定查詢至關(guān)重要。
合并檢索增強(qiáng)生成（RAG）對于向用戶提供最新的產(chǎn)品信息和相關(guān)的網(wǎng)絡(luò)鏈接至關(guān)重要。
雖然一定程度的延遲是可以容忍的，但監(jiān)控并潛在地優(yōu)化響應(yīng)時間仍然是可取的。這里的優(yōu)化策略可以包括緩存常見查詢以加快響應(yīng)，以及戰(zhàn)略性地使用即時工程來減少不必要的外部數(shù)據(jù)檢索。
正如您所看到的，為了滿足用例的特定需求，策略的組合通常是必要的。優(yōu)化策略的靈活性至關(guān)重要，因為需求可能會隨著時間的推移而變化，系統(tǒng)需要同時平衡多個需求。
結(jié)論
為業(yè)務(wù)用例優(yōu)化LLM既是一門藝術(shù)，也是一門科學(xué)，需要深入了解底層技術(shù)和當(dāng)前的目標(biāo)。隨著人工智能的不斷發(fā)展，優(yōu)化技術(shù)的選擇將變得越來越具有戰(zhàn)略意義，不僅會影響單個應(yīng)用程序的性能，還會影響人工智能在社會中作用的整體軌跡。
無論您是在速度、準(zhǔn)確性、成本還是透明度方面進(jìn)行優(yōu)化，上述技術(shù)都提供了一個增強(qiáng)LLM的工具包，以滿足未來生成型人工智能商業(yè)應(yīng)用程序的需求。通過深思熟慮地應(yīng)用這些方法，我們可以創(chuàng)造出不僅有效而且負(fù)責(zé)任的人工智能，還能適應(yīng)用戶的細(xì)微需求。
譯者介紹
朱先忠，51CTO社區(qū)編輯，51CTO專家博客、講師，濰坊一所高校計算機(jī)教師，自由編程界老兵一枚。
原文標(biāo)題：Framework for Optimizing Generative AI to Meet Business Needs，作者：Sarthak Handa
