Karpathy看好的Agents學(xué)會(huì)自動(dòng)退換貨了！英偉達(dá)H100加持，給LLM插入最強(qiáng)外接大腦

作者：新智元 2023-07-31 21:34:53

全世界最有「料」的平臺(tái)來(lái)了！Amazon Bedrock基礎(chǔ)模型上新，商用Agents加快應(yīng)用開發(fā)，矢量引擎賦予大模型記憶，亞馬遜云科技憑借技術(shù)創(chuàng)新成為端到端的生成式AI領(lǐng)導(dǎo)者。

最近，AI圈依然是大事頻發(fā)，幾天一個(gè)爆炸性新聞。

Meta聯(lián)手微軟高調(diào)開源了Llama 2，它在2萬(wàn)億個(gè)token上訓(xùn)練，秒殺許多開源語(yǔ)言模型，并且還能免費(fèi)商用。

OpenAI科學(xué)家Karpathy最近搞的明星項(xiàng)目「Baby Llama」，已經(jīng)可以用C語(yǔ)言跑Llama 2 7B了。

而就在幾天前，Stability AI正式發(fā)布了下一代文生圖模型——Stable Diffusion XL 1.0。

這次的1.0版本是Stability AI的旗艦版生圖模型，也是最先進(jìn)的開源生圖模型。

圖片

在目前的開放式圖像模型中，SDXL 1.0是參數(shù)數(shù)量最多的。官方表示，這次采用的是全新的架構(gòu)，基礎(chǔ)模型的參數(shù)規(guī)模達(dá)到35億，同時(shí)還有一個(gè)66億參數(shù)大小的細(xì)化模型。

而如此強(qiáng)大的生圖模型，已經(jīng)可以在Amazon Bedrock上一鍵訪問(wèn)了！

基礎(chǔ)模型全面上新

就在上周，亞馬遜云科技發(fā)布了一大波基礎(chǔ)模型上新。

除了剛剛提到的SDXL 1.0，Amazon Bedrock還增加了對(duì)Cohere基礎(chǔ)模型以及ChatGPT最強(qiáng)競(jìng)品——Anthropic的Claude 2的支持。

圖片

Cohere研發(fā)的大語(yǔ)言模型Command，是一個(gè)能夠接受用戶個(gè)性化命令訓(xùn)練的模型，專注于提供文本搜索、文本分類和文本生成三大AI能力。

圖片

另外，Anthropic推出的Claude 2，其處理能力已經(jīng)更新到10萬(wàn)個(gè)token。相較之前版本，Claude 2在數(shù)學(xué)、代碼、推理能力方面有明顯的提升。

圖片

同時(shí)，開發(fā)者還可以通過(guò)機(jī)器學(xué)習(xí)中心Amazon SageMaker Jumpstart，一鍵開發(fā)各類熱門開源模型。

比如，Meta最新的Llama 2、世界最大開源社區(qū)Hugging Face托管的Falcon、Flan等等。

圖片

Agents改變游戲規(guī)則

不過(guò)，基礎(chǔ)模型雖然在各種任務(wù)上有強(qiáng)大的泛化能力，但隨著應(yīng)用場(chǎng)景的不斷擴(kuò)展，僅靠模型本身已經(jīng)很難去完成一些復(fù)雜的任務(wù)了。

比如預(yù)定航班或退回購(gòu)買的商品這種簡(jiǎn)單的任務(wù)，開發(fā)者都必須經(jīng)歷多個(gè)步驟——通過(guò)提供特定的說(shuō)明和配置、訪問(wèn)相關(guān)知識(shí)源、編寫代碼將任務(wù)分解，然后應(yīng)用才能通過(guò)一系列API調(diào)用采取行動(dòng)。

在這個(gè)過(guò)程中，開發(fā)者必須配置和管理基礎(chǔ)架構(gòu)，設(shè)置數(shù)據(jù)安全和隱私策略，繁瑣又耗時(shí)。

而前段時(shí)間AutoGPT的爆火，則給了學(xué)界和工業(yè)界一個(gè)全新的探索方向——集成了大語(yǔ)言模型的Agents。

圖片

Karpathy曾將AutoGPT稱為快速工程的下一個(gè)前沿

概括來(lái)說(shuō)，AI智能體可以通過(guò)最簡(jiǎn)單的形式運(yùn)行循環(huán)，并且在每一次的迭代中，都會(huì)生成自主指令和操作。因此，它們既無(wú)需依賴人類來(lái)引導(dǎo)對(duì)話，還具有高度的可擴(kuò)展性。

以AutoGPT為例，我們每分配一個(gè)任務(wù)，它都會(huì)給出一個(gè)相應(yīng)的解決計(jì)劃。

比如，需要瀏覽互聯(lián)網(wǎng)或使用新數(shù)據(jù)，它便會(huì)調(diào)整其策略，直到任務(wù)完成。這就像擁有一個(gè)能處理各種任務(wù)的私人助手，如市場(chǎng)分析、客戶服務(wù)、市場(chǎng)營(yíng)銷、財(cái)務(wù)等。

正如今年加入OpenAI的大牛、前特斯拉AI總監(jiān)Karpathy所說(shuō)：「Agents代表著AI的一種未來(lái)。」

亞馬遜云科技也在這個(gè)領(lǐng)域進(jìn)行了自己的探索，并且創(chuàng)新性地提出了全新的Amazon Bedrock Agents。

圖片

基于Amazon Bedrock提供的Agents功能，開發(fā)者可以輕松創(chuàng)建各種生成式AI應(yīng)用，來(lái)完成復(fù)雜任務(wù)，并根據(jù)專有知識(shí)源提供最新答案。

以往得耗費(fèi)幾個(gè)小時(shí)編碼來(lái)實(shí)現(xiàn)的過(guò)程，現(xiàn)在無(wú)需任何手動(dòng)編碼，只要單擊幾下，Agents就能自動(dòng)分解任務(wù)，創(chuàng)建計(jì)劃。

這樣一來(lái)，生成式AI應(yīng)用程序分分鐘就搞出來(lái)了。

圖片

那么，Amazon Bedrock Agents是如何讓基礎(chǔ)模型加速工作流的呢？具體可分為以下四個(gè)步驟：

第一步：定義指令和編排，將復(fù)雜任務(wù)分解為多個(gè)步驟
第二步：檢索增強(qiáng)生成（RAG），配置FM與公司數(shù)據(jù)互動(dòng)
第三步：完成交互，執(zhí)行API調(diào)用以滿足用戶請(qǐng)求
第四步：在云中安全托管

Amazon Bedrock Agents可以通過(guò)簡(jiǎn)單的API鏈接到公司數(shù)據(jù)，將其轉(zhuǎn)換為機(jī)器可讀的格式，就能生成準(zhǔn)確響應(yīng)。然后自動(dòng)調(diào)用API，滿足用戶請(qǐng)求。

圖片

基于Amazon Bedrock，用戶可以任意選擇適合自己用例的基礎(chǔ)模型，然后用自然語(yǔ)言給它下指令。

比如告訴它，「你現(xiàn)在是一個(gè)智能體，需要幫助處理保險(xiǎn)索賠和管理待處理文書的工作」。

圖片

然后，對(duì)Agents發(fā)出命令「向所有有未結(jié)索賠和待處理文書工作的保單持有人發(fā)送提醒」，它馬上理解了我們的請(qǐng)求，把任務(wù)分成多個(gè)步驟——收集未結(jié)保險(xiǎn)索賠、查找索賠 ID、發(fā)送提醒，然后執(zhí)行了相應(yīng)的操作。

圖片

而且，有了Amazon Bedrock Agents的功能，用于電商的AI程序不僅可以回答簡(jiǎn)單的問(wèn)題，還能完成復(fù)雜的任務(wù)，比如更新訂單、管理交易。

比如，客戶發(fā)出想要退回一雙鞋，可以直接說(shuō)：「我想把這雙黑色鞋換成棕色的」。

Agents收到信息后，就會(huì)連接到公司數(shù)據(jù)，自動(dòng)將文本轉(zhuǎn)換成機(jī)器可讀格式，向模型提供相關(guān)信息，然后調(diào)用正確的API來(lái)滿足這一請(qǐng)求。

圖片

英偉達(dá)H100最強(qiáng)加持

然而，基礎(chǔ)模型性能不斷提升，所帶來(lái)的是動(dòng)輒幾百萬(wàn)億的參數(shù)。

這種復(fù)雜性的暴漲，也極大地增加了模型訓(xùn)練和微調(diào)的時(shí)間——最新的LLM需要數(shù)月的時(shí)間來(lái)進(jìn)行訓(xùn)練。

與此同時(shí)，HPC領(lǐng)域也呈現(xiàn)出了類似的趨勢(shì)。隨著精度的提高，用戶收集的數(shù)據(jù)集已經(jīng)達(dá)到了Exabyte級(jí)別。

為了滿足高性能和可擴(kuò)展性的算力需求，亞馬遜云科技全新推出了搭載英偉達(dá)最強(qiáng)GPU——H100的Amazon Elastic Compute Cloud（EC2）P5實(shí)例。

相較于上一代，Amazon EC2 P5 實(shí)例不僅可以將訓(xùn)練時(shí)間縮短高達(dá)6倍（從幾天縮短到幾小時(shí)），而且還能使訓(xùn)練成本降低高達(dá)40%。

圖片

具體來(lái)說(shuō)，Amazon EC2 P5 實(shí)例共搭載了8個(gè)NVIDIA H100 Tensor Core GPU，配備640 GB高帶寬GPU顯存，同時(shí)還有第三代AMD EPYC處理器、2 TB系統(tǒng)內(nèi)存、30 TB本地NVMe存儲(chǔ)，以及高達(dá)3200 Gbps的總網(wǎng)絡(luò)帶寬。

堪稱配置拉滿的性能，為最苛刻、計(jì)算密集的生成式AI應(yīng)用提供了支持，包括問(wèn)答系統(tǒng)、代碼生成、視頻和圖像生成、語(yǔ)音識(shí)別等，非常適合訓(xùn)練和運(yùn)行日益復(fù)雜的LLM和CV模型。

基于全新的Amazon EC2 P5 實(shí)例，用戶可以探索此前難以觸及的問(wèn)題，并且更快地迭代出解決方案。

圖片

此外，為了滿足用戶對(duì)大規(guī)模和低延遲的需求，亞馬遜云科技還推出了搭載有Amazon EC2 P5實(shí)例的第二代EC2 UltraClusters。

作為云中規(guī)模最大的ML基礎(chǔ)設(shè)施，EC2 UltraClusters可提供高達(dá)20 exaflops的總計(jì)算能力，以及跨20,000多個(gè)NVIDIA H100 GPU的低延遲。

圖片

給模型插入「外接大腦」

從智能體的構(gòu)建中我們不難看到，所有基于大模型搭建好的應(yīng)用，想要獲取實(shí)時(shí)數(shù)據(jù)，都需要建立在檢索增強(qiáng)生成（RAG）之上。

而這一技術(shù)是向量數(shù)據(jù)庫(kù)能夠在AI應(yīng)用中發(fā)揮重要作用的根本。

為什么這樣說(shuō)？那就得看看，檢索增強(qiáng)生成能實(shí)現(xiàn)什么。

比如，當(dāng)你問(wèn)ChatGPT「芭比」電影好看嗎？

圖片

顯然，ChatGPT是無(wú)法及時(shí)回復(fù)最新的相關(guān)信息。這對(duì)于企業(yè)來(lái)講，用戶咨詢最新內(nèi)容時(shí)，應(yīng)用無(wú)法做出回應(yīng)，大大降低了生產(chǎn)力。

有了檢索增強(qiáng)生成，便能夠補(bǔ)充特定領(lǐng)域的知識(shí)。大模型參數(shù)雖大，但無(wú)法記住許多長(zhǎng)尾數(shù)據(jù)，還需要通過(guò)搜索召回相關(guān)領(lǐng)域的知識(shí)。

這里，對(duì)專業(yè)領(lǐng)域知識(shí)的補(bǔ)充就離不開，向量數(shù)據(jù)庫(kù)、搜索引擎等。

圖片

另一方面，大模型的知識(shí)很容易過(guò)時(shí)，僅靠微調(diào)模型，讓知識(shí)更新是行不通的。

微調(diào)模型需要耗費(fèi)大量算力、時(shí)間，關(guān)鍵是天天微調(diào)根本不現(xiàn)實(shí)。

要知道，對(duì)于企業(yè)來(lái)講，業(yè)務(wù)數(shù)據(jù)必須是實(shí)時(shí)的。因此向量數(shù)據(jù)庫(kù)、搜索引擎都能夠幫助模型，獲得新數(shù)據(jù)，同時(shí)重訓(xùn)模型周期也被拉長(zhǎng)。

由于向量數(shù)據(jù)庫(kù)對(duì)「高維嵌入」有強(qiáng)大的檢索能力，與大模型結(jié)合較為簡(jiǎn)單，因此成為RAG最常用的數(shù)據(jù)存儲(chǔ)形式。

圖片

微軟Build大會(huì)上，曾介紹了其產(chǎn)品如何將較少的上下文感知LLM與向量搜索結(jié)合起來(lái)，來(lái)創(chuàng)造更有吸引力的體驗(yàn)。

這其中基本的想法，也就是在LLM中，添加向量搜索，以進(jìn)行檢索增強(qiáng)生成。

而向量化，就是將數(shù)據(jù)轉(zhuǎn)化為維度，如下你可以看到兩種維度：大小，和類型。

其中大小有兩個(gè)值（大和小），類型有2個(gè)值（樹和動(dòng)物）。這只是一個(gè)概念例子，還可以擴(kuò)展到更多的值。

圖片

除了圖片，還可以進(jìn)行單詞/句子向量搜索，向量搜索能夠捕捉到語(yǔ)義表示。

假設(shè)你有數(shù)百個(gè)，甚至數(shù)萬(wàn)個(gè)文檔數(shù)據(jù)庫(kù)作為背景，是無(wú)法放在ChatGPT提示框中，但可以通過(guò)向量搜索來(lái)縮小最有可能的包含答案的上下文。

圖片

對(duì)于數(shù)據(jù)庫(kù)，既可以儲(chǔ)存文檔和嵌入，也可以用來(lái)存儲(chǔ)查詢，并根據(jù)相關(guān)查詢來(lái)找到最相關(guān)文檔，這樣就可以通過(guò)?檔檢索增強(qiáng)LLM。

今年英偉達(dá)GTC大會(huì)上，黃仁勛首提向量數(shù)據(jù)庫(kù)，并推出了新庫(kù)RAFT，用于加速索引、數(shù)據(jù)加載和近鄰檢索。

其重要意義在于，向量數(shù)據(jù)庫(kù)是大模型的「海馬體」，能夠讓LLM實(shí)時(shí)進(jìn)行信息召回。

通過(guò)把實(shí)時(shí)資訊、市場(chǎng)行情等實(shí)時(shí)變化的信息置入模型中，就能使其提供更精準(zhǔn)的結(jié)果。

Amazon OpenSearch Serverless向量引擎

同樣在亞馬遜云科技峰會(huì)上，首次推出了——Amazon OpenSearch Serverless向量引擎。

開發(fā)者們通過(guò)這個(gè)工具，就可以輕松使用向量數(shù)據(jù)庫(kù)，快速構(gòu)建基于大模型的搜索體驗(yàn)。

圖片

總的來(lái)說(shuō)，Amazon OpenSearch Serverless向量引擎引入了簡(jiǎn)單、可擴(kuò)展和高性能的向量存儲(chǔ)和搜索功能。

開發(fā)者可以快速存儲(chǔ)和查詢各種ML模型（包括Amazon BedRock提供的模型）生成的數(shù)十億個(gè)向量嵌入，響應(yīng)時(shí)間僅為毫秒級(jí)。

當(dāng)前，生成式AI大爆發(fā)，所有垂直領(lǐng)域的企業(yè)都在轉(zhuǎn)向這一熱潮，并探索通過(guò)集成高級(jí)對(duì)話生成AI應(yīng)用程序，以改變用戶體驗(yàn)，以及和數(shù)字平臺(tái)交互的方法。

亞馬遜云科技推出的這項(xiàng)工具，通過(guò)使用向量嵌入，能夠增強(qiáng)ML搜索和生成式AI。

向量嵌入在用戶私有數(shù)據(jù)上進(jìn)行訓(xùn)練，并能表示信息的語(yǔ)義和上下文屬性。

這樣做的優(yōu)勢(shì)在于，能夠及時(shí)處理用戶的查詢，以查找最接近的向量，并將其與其他元數(shù)據(jù)組合在一起，進(jìn)而無(wú)需依賴外部數(shù)據(jù)源或其他應(yīng)用程序代碼集成結(jié)果。

值得一提的是，向量引擎是基于Amazon OpenSearch Serverless構(gòu)建，因此無(wú)需擔(dān)心后端基礎(chǔ)架構(gòu)的大小、調(diào)整和擴(kuò)展。

所有數(shù)據(jù)都持久保存在Amazon Simple Storage Service （Amazon S3）中。

當(dāng)向量數(shù)量從原型開發(fā)時(shí)的幾千個(gè)增長(zhǎng)到生產(chǎn)時(shí)的上億個(gè)甚至更多，向量引擎將無(wú)縫擴(kuò)展，無(wú)需重新索引或重新加載數(shù)據(jù)來(lái)擴(kuò)展基礎(chǔ)架構(gòu)。

圖片

此外，向量引擎還為索引和搜索工作負(fù)載提供獨(dú)立計(jì)算，因此開發(fā)者可以實(shí)時(shí)無(wú)縫地?cái)z取、更新和刪除向量，同時(shí)確保用戶體驗(yàn)不受查詢性能的影響。

借助對(duì)Amazon OpenSearch Serverless的向量引擎支持，開發(fā)人員將擁有一個(gè)簡(jiǎn)單、可擴(kuò)展和高性能的解決方案，來(lái)構(gòu)建機(jī)器學(xué)習(xí)增強(qiáng)的搜索體驗(yàn)和生成性人工智能應(yīng)用程序，而無(wú)需管理向量數(shù)據(jù)庫(kù)基礎(chǔ)設(shè)施。

全球生成式AI領(lǐng)導(dǎo)者

隨著數(shù)據(jù)量大爆發(fā)、可高度擴(kuò)展算力的可用性、以及機(jī)器學(xué)習(xí)技術(shù)的進(jìn)步，讓生成式AI足以改變每個(gè)行業(yè)。

因此，越來(lái)越多的企業(yè)希望快速采用最新技術(shù)，創(chuàng)造價(jià)值。

選擇正確的模型，使用公司數(shù)據(jù)安全定制模型，并將其集成到應(yīng)用程序中是一個(gè)復(fù)雜的過(guò)程，都需要花費(fèi)大量時(shí)間、和高度專業(yè)化的知識(shí)。

恰恰，亞馬遜云科技Amazon Bedrock簡(jiǎn)化了這一流程，通過(guò)簡(jiǎn)單的API訪問(wèn)一流的基礎(chǔ)模型。

通過(guò)Amazon Bedrock Agents這一完全托管的服務(wù)，開發(fā)者能夠輕松創(chuàng)建基于生成式AI的應(yīng)用程序，以完成各種用例的復(fù)雜任務(wù)。

其中Vector Database，能夠幫助開發(fā)者的應(yīng)用程序?qū)崟r(shí)存儲(chǔ)數(shù)據(jù)，及時(shí)召回信息，提供更好的用戶體驗(yàn)。

Amazon EC2 P5 實(shí)例更是為模型訓(xùn)練節(jié)省大量時(shí)間和算力。

基于以上的創(chuàng)新，真正詮釋了亞馬遜云科技是端到端的生成式AI領(lǐng)導(dǎo)者，幫助企業(yè)開發(fā)者釋放生成式AI的潛力，創(chuàng)造價(jià)值。

同時(shí)，亞馬遜云科技不斷降低生成式AI的門檻，更是致力于GenAI普惠的領(lǐng)導(dǎo)者。

前段時(shí)間，亞馬遜云科技剛剛宣布了編程助手Amazon CodeWhisperer可用，能夠使用底層基礎(chǔ)模型幫助開發(fā)人員提高工作效率。

它可以根據(jù)開發(fā)人員使用自然語(yǔ)言留下的注釋和IDE（集成開發(fā)環(huán)境）中的歷史代碼實(shí)時(shí)生成代碼建議。

這次，Amazon CodeWhisperer首次與Amazon Glue Studio Notebooks實(shí)現(xiàn)集成，能夠幫助用戶優(yōu)化使用體驗(yàn)，提高開發(fā)效率。

圖片

通過(guò)Amazon Glue Studio Notebooks，開發(fā)人員用特定語(yǔ)言來(lái)編寫任務(wù)，然后Amazon CodeWhisperer會(huì)推薦一個(gè)或多個(gè)可以完成此任務(wù)的代碼片段。

Amazon CodeWhisperer針對(duì)最常用的API進(jìn)行了優(yōu)化，例如Amazon Lambda或Amazon Simple Storage Service（Amazon S3），使其成為構(gòu)建應(yīng)用程序開發(fā)者們的絕佳編碼伴侶。

除此之外，亞馬遜云科技還提供了7門免費(fèi)的技能培訓(xùn)課程，幫助開發(fā)者以使用生成式AI。

其中，還聯(lián)手吳恩達(dá)推出了「用大型語(yǔ)言模型構(gòu)建生成式AI」新課程。

圖片

醫(yī)療領(lǐng)域已有落地應(yīng)用

今年這波AI大模型的浪潮，也激發(fā)了人們對(duì)生成式AI在醫(yī)療行業(yè)的應(yīng)用的探索。

比如前幾天，谷歌發(fā)布了一個(gè)「通才生物醫(yī)學(xué)AI」——Med-PaLM M多模態(tài)模型。這個(gè)多模態(tài)生成模型能夠利用醫(yī)學(xué)的豐富數(shù)據(jù)，使用相同的模型權(quán)重集解釋臨床語(yǔ)言、醫(yī)學(xué)圖像和基因組學(xué)。

圖片