企業(yè)渴望部署生成式人工智能（GenAI）應(yīng)用程序，但對有毒內(nèi)容、敏感數(shù)據(jù)泄露和幻覺的擔(dān)憂讓他們猶豫不決。一個潛在的解決方案是在GenAI應(yīng)用程序旁邊部署“守衛(wèi)模型”（guard models），可以立即檢測和防止這種風(fēng)險(xiǎn)行為。這就是Datarobot所支持的方法，該公司近期在其人工智能（AI）平臺上添加了新的人工智能可觀察性功能，旨在防止大型語言模型(LLM)失控。

除了少數(shù)預(yù)先配置的守衛(wèi)模型外，Datarobot AI平臺設(shè)置了新的警報(bào)和通知策略，可視化解決問題和回溯答案的新方法，以及檢查數(shù)據(jù)質(zhì)量和主題漂移的新診斷能力，以及其他功能。

Datarobot首席技術(shù)官M(fèi)ichael Schmidt表示，這一切都是為了減輕客戶對GenAI和LLM的擔(dān)憂。

“到目前為止，我們從客戶那里聽到的最多的事情就是信心問題。”Schmidt說。“他們中的許多人都在構(gòu)建生成式人工智能系統(tǒng)和聊天機(jī)器人，但實(shí)際上他們對將它們投入生產(chǎn)感到擔(dān)心，因?yàn)樗麄儾恢浪鼈儠绾伪憩F(xiàn)?！?/span>

網(wǎng)絡(luò)上到處都是聊天機(jī)器人的事故。2023年初，微軟基于OpenAI ChatGPT的必應(yīng)聊天模式威脅要破壞一名記者的婚姻，將這名記者比作希特勒，并幻想發(fā)布核密碼。

除了擔(dān)心聊天機(jī)器人會噴出有毒物質(zhì)外，LLM還有一個持續(xù)存在的幻覺問題。LLM總是會編造一些東西，因?yàn)樗鼈兊脑O(shè)計(jì)方式不同，所以需要第三方介入并檢測幻覺。此外，還有個人身份信息(PII)可能從LLM泄露的影響，更不用說人們與LLM共享PII了。

Datarobot擁有多年幫助公司構(gòu)建、訓(xùn)練、部署和管理機(jī)器學(xué)習(xí)模型的經(jīng)驗(yàn)。多年來，它一直處于預(yù)測分析領(lǐng)域前沿。當(dāng)GenAI風(fēng)潮來臨時，該公司迅速將其業(yè)務(wù)重心轉(zhuǎn)向處理新的語言模型，這些模型已被證明是如此有前途，但也令人煩惱。

“信心問題是我們的首要關(guān)注點(diǎn)。”Schmidt繼續(xù)說道?！叭フ掖蠊菊?wù)?。是什么阻止他們將更多的GenAI應(yīng)用程序投入生產(chǎn)?你會得到一些與“我不喜歡它的質(zhì)量”或“我們需要提高它的質(zhì)量”或“我不相信它”或“我不知道它在不同情況下的表現(xiàn)如何”……”

Datarobot在其平臺中引入的新防護(hù)模型為客戶提供了一種解決一些最緊迫問題的方法。憑借其生成式人工智能防護(hù)庫，該公司現(xiàn)在提供預(yù)先構(gòu)建的守衛(wèi)模型，可以及時檢測毒性，可以檢測PII，還可以減輕幻覺?？蛻粢部梢越⒆约旱氖匦l(wèi)模型。

一些預(yù)配置的守衛(wèi)模型會持續(xù)掃描用戶輸入，以防止PII被發(fā)送到LLM。其他模型可以防止LLM的不適當(dāng)輸出到達(dá)最終用戶面前，包括有毒內(nèi)容，甚至與競爭對手進(jìn)行比較。Schmidt表示，當(dāng)與Datarobot AI平臺的其他新功能一起部署時，這些模型可以作為LLM和整個GenAI應(yīng)用程序的端到端護(hù)欄。

他說:“我們還增加了一項(xiàng)能力，不僅可以對單一模型和管道進(jìn)行測量和評估，還可以對組合在一起的護(hù)欄進(jìn)行評估。”

Datarobot還可以生成測試腳本和測試提示，以確定LLM是否正常工作。如果客戶使用矢量數(shù)據(jù)庫來存儲在推理時輸入LLM的數(shù)據(jù)，Datarobot也可以使用它。

這個版本還帶來了新的反饋機(jī)制，允許組織改進(jìn)他們的GenAI應(yīng)用程序。如果對GenAI模型的更改為客戶帶來了負(fù)面體驗(yàn)，則會報(bào)告該反饋。然后，該平臺可以預(yù)測其他類似的變化何時會產(chǎn)生相同類型的負(fù)面結(jié)果。

Schmidt說，這是Datarobot在跟蹤模型性能方面的傳統(tǒng)之一。

“你的模特表現(xiàn)如何？你現(xiàn)在可以用它來評估你的人工智能系統(tǒng)?！彼f，“因此，如果現(xiàn)在對提示進(jìn)行編輯，可以立即看到該提示的接受率，估計(jì)接受率度量或估計(jì)反饋度量?；蛘吣憧赡芨铝耸噶繑?shù)據(jù)庫，或者你換成了Llama 3，換成了GPT 3.5，或者你做了一些類似的切換，現(xiàn)在你都可以實(shí)際測量效果是什么?！?/span>

雖然經(jīng)典的機(jī)器學(xué)習(xí)方法和預(yù)測性人工智能仍然是Datarobot的重要應(yīng)用領(lǐng)域，但大多數(shù)新前景都在尋求實(shí)現(xiàn)LLM和構(gòu)建GenAI應(yīng)用程序。Schmidt表示，Datarobot能夠在很大程度上利用其為預(yù)測性人工智能構(gòu)建的平臺，用于新的GenAI用例。