過去幾年間，大模型的飛速發(fā)展，不僅推動(dòng)了生成式AI的進(jìn)步，也為各行各業(yè)帶來了前所未有的變革。而大模型之所以能夠取得如此成就，核心在于Transformer架構(gòu)作為其支撐力量發(fā)揮了至關(guān)重要的作用。

具有哪些優(yōu)勢?

Transformer是一種廣泛應(yīng)用于自然語言處理(NLP)中的深度學(xué)習(xí)模型，通過引入注意力機(jī)制(Attention?Mechanism)，能夠高效地處理輸入信息，并在長序列中保持信息的流動(dòng)。

據(jù)悉，Transformer于2017年在論文《Attention?is?All?You?Need》中首次引入，此后成為深度學(xué)習(xí)模型的首選架構(gòu)，為OpenAI的GPT、Meta的Llama和谷歌的Gemini等文本生成模型提供支持。除了文本，Transformer還應(yīng)用于音頻生成、圖像識(shí)別、蛋白質(zhì)結(jié)構(gòu)預(yù)測，甚至游戲等眾多領(lǐng)域，這主要?dú)w功于幾個(gè)關(guān)鍵因素：

第一，長上下文

注意力機(jī)制可以將輸入序列中的所有令牌相互比較。因此，整個(gè)輸入中的信息將被記錄并用于生成輸出。相比之下，循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)會(huì)忘記較舊的信息，卷積神經(jīng)網(wǎng)絡(luò)(CNN)只能使用靠近每個(gè)令牌的信息。這就是為什么可以上傳數(shù)百頁內(nèi)容給大模型聊天機(jī)器人，詢問其中任何一頁的問題，并獲得準(zhǔn)確回應(yīng)的原因。RNN和CNN缺乏長上下文是Transformer在任務(wù)中擊敗它們的最大原因。

第二，并行性

Transformer中的注意力機(jī)制可以在輸入序列中的所有令牌上并行執(zhí)行。這與RNN順序處理令牌不同。因此，Transformer可以更快地訓(xùn)練和部署，為用戶提供更快地響應(yīng)。這種并行處理能力顯著提高了Transformer相對于RNNs的效率。

第三，可擴(kuò)展性

研究人員不斷增加Transformer的規(guī)模和使用來訓(xùn)練它們的數(shù)據(jù)量。Transformer模型越大，它能理解和生成的文本就越復(fù)雜和細(xì)致，例如，GPT-3有1750億個(gè)參數(shù)，而GPT-4超過1萬億個(gè)。與構(gòu)建一個(gè)包含10億參數(shù)的模型相比，擴(kuò)大Transformer的規(guī)模至一個(gè)擁有100億參數(shù)的模型，并不會(huì)顯著增加所需的時(shí)間。這種可擴(kuò)展性使得Transformer成為各種高級應(yīng)用的強(qiáng)大工具。

缺點(diǎn)亦不容忽視

然而，盡管Transformer具有諸多優(yōu)勢，但其缺點(diǎn)亦不容忽視。Transformer在處理長序列時(shí)具有二次方的時(shí)間和空間復(fù)雜度，即輸入中的每個(gè)令牌都與其他每個(gè)令牌進(jìn)行比較，兩個(gè)令牌會(huì)有4次比較，三個(gè)令牌會(huì)有9次，四個(gè)令牌會(huì)有16次，依此類推?；旧?，計(jì)算成本是令牌數(shù)量的平方，這意味著需要大量的計(jì)算資源。具體來看：

一是需要專門的硬件。大模型無法在普通計(jì)算機(jī)上高效運(yùn)行。由于大模型的參數(shù)量非常大且結(jié)構(gòu)十分復(fù)雜，通常需要大量的RAM來加載模型參數(shù)。并且，傳統(tǒng)的CPU沒有針對并行計(jì)算進(jìn)行優(yōu)化，運(yùn)行的大模型可能需要幾分鐘才能生成一個(gè)令牌，這使得GPU成為更合適的選擇。然而，GPU并不是最便宜或最容易獲得的硬件。

二是輸入長度有限。Transformer可以處理的文本量有限，也就是上下文長度。GPT-3最初只能處理2,048個(gè)令牌。注意力實(shí)施的進(jìn)步產(chǎn)生了上下文長度高達(dá)100萬令牌的模型。即便如此，找到每一個(gè)額外的上下文長度仍需要進(jìn)行大量研究。

三是增加能源成本。支持Transformer架構(gòu)計(jì)算的數(shù)據(jù)中心不僅依賴于大量的能源維持運(yùn)行，還需要充足的水資源來實(shí)現(xiàn)有效冷卻。據(jù)估計(jì)，訓(xùn)練GPT-3需要1300兆瓦時(shí)的電力。隨著模型變大，所需的電力也在增加。另據(jù)科研機(jī)構(gòu)Digiconomist的預(yù)測，到2027年，AI的用電量可能等同于荷蘭一年的電力使用。

我們認(rèn)為，Transformer無疑是推動(dòng)AI領(lǐng)域創(chuàng)新發(fā)展的關(guān)鍵力量。盡管面臨一些挑戰(zhàn)，但隨著技術(shù)的不斷進(jìn)步，這些問題有望逐步得到改善和解決。

寫在最后：

總而言之，Transformer已經(jīng)成為自然語言處理領(lǐng)域的一項(xiàng)重大突破，為技術(shù)進(jìn)步開辟了新的途徑。展望未來，我們有理由相信，Transformer將持續(xù)助力人工智能的蓬勃發(fā)展，并在更多領(lǐng)域展現(xiàn)出其潛力。