在微軟、百度、阿里、騰訊、小米紛紛宣布入局之后，ChatGPT 再次被送上科技頭條。

互聯(lián)網(wǎng)公司們的爭(zhēng)相表態(tài)，讓大家似乎看到了 ChatGPT 落地應(yīng)用的曙光。相比去年底，關(guān)于 ChatGPT 的討論，也從技術(shù)本身更加聚焦到商業(yè)化前景以及對(duì)互聯(lián)網(wǎng)行業(yè)應(yīng)用生態(tài)的改變上。

作為擁有2億月活用戶的生活社區(qū)，小紅書(shū)擁有圖文短視頻兼具的社區(qū)內(nèi)容生態(tài)，包括上億級(jí)別的圖片、長(zhǎng)短文本/視頻筆記、用戶查詢和評(píng)論數(shù)據(jù)，提供了跨越多個(gè)模態(tài)的海量數(shù)據(jù)集，為自然語(yǔ)言處理和AI輔助內(nèi)容生成，提供了非常豐富的場(chǎng)景。

我們也不禁好奇：ChatGPT+小紅書(shū)能產(chǎn)生什么化學(xué)反應(yīng)？ChatGPT 未來(lái)的應(yīng)用場(chǎng)景中小紅書(shū)能有技術(shù)占據(jù)一席之地嗎？這個(gè)科技界和資本市場(chǎng)同時(shí)看好的新技術(shù)，到底能在互聯(lián)網(wǎng)領(lǐng)域攪動(dòng)多大的水花？

其實(shí)，在去年年末，【REDtech 來(lái)了】第六期直播中，我們就曾邀請(qǐng) NLP 專家、UCSB 助理教授李磊與小紅書(shū)技術(shù)部負(fù)責(zé)人凱奇、以及小紅書(shū)多媒體智能算法負(fù)責(zé)人宇塵，專門(mén)聊過(guò) ChatGPT 的技術(shù)難點(diǎn)和應(yīng)用前景。在有限的時(shí)間里，三位嘉賓討論了 ChatGPT 的能力短板、訓(xùn)練方法，以及帶給未來(lái)研究與應(yīng)用的啟發(fā)和影響。

短短一個(gè)半小時(shí)的直播顯得意猶未盡，所以我們重新整理了一份直播中的精彩對(duì)答，并且又去問(wèn)了一些小紅書(shū)技術(shù)團(tuán)隊(duì)負(fù)責(zé)人，補(bǔ)充了一些大家關(guān)心的議題。關(guān)于小紅書(shū)+ChatGPT 會(huì)誕生哪些新機(jī)會(huì)也藏在這份問(wèn)答實(shí)錄中哦。

Q：在和 ChatGPT 的互動(dòng)中，你印象最深的一個(gè)的回答是什么？

凱奇（小紅書(shū)技術(shù)部負(fù)責(zé)人）：我曾經(jīng)問(wèn)過(guò)它一個(gè)關(guān)于足球規(guī)則的問(wèn)題，如果足球運(yùn)動(dòng)員用手把球打進(jìn)門(mén)算不算得分，它的回答是算，但又補(bǔ)充說(shuō)明這是不合規(guī)則的。ChatGPT 的回答有時(shí)候正確，有時(shí)候也會(huì)自相矛盾。

李磊（加州大學(xué)圣芭芭拉分校助理教授）：首先 ChatGPT 給出的回應(yīng)和之前的 GPT-3 很不一樣，它給的回應(yīng)都很長(zhǎng)且大部分都是圍繞我們給的主題來(lái)生成的。并且，對(duì)于不會(huì)或者不太有把握的問(wèn)題，它通常會(huì)回答“我不知道”、“我沒(méi)有這個(gè)信息”，而不是隨便胡說(shuō)八道，這一點(diǎn)對(duì)于用戶也比較友好。

我也問(wèn)它世界杯的問(wèn)題，比如誰(shuí)會(huì)贏，它回答我“沒(méi)有這個(gè)信息”，“但是如果你想知道往屆信息可以繼續(xù)詢問(wèn)”。

宇塵（小紅書(shū)多媒體智能算法負(fù)責(zé)人）：有一個(gè)ChatGPT 扮演 Linux Terminal 的例子：告訴 ChatGPT 大概的機(jī)器配置，然后在此基礎(chǔ)上讓它執(zhí)行一些指令，結(jié)果發(fā)現(xiàn)，ChatGPT 能夠記住很長(zhǎng)的操作歷史，前后邏輯關(guān)系非常一致（比如你往一個(gè)文件里面寫(xiě)入幾行字符，之后讓它顯示這個(gè)文件里面到底被寫(xiě)入了哪些字符，它都能顯示出來(lái)）。

DeepMind 研究者 Jonas Degrave 讓 ChatGPT 扮演 Linux Terminal 的例子。

圖源：https://www.engraved.blog/building-a-virtual-machine-inside/

這讓我們不禁懷疑 ChatGPT 是不是自己在后臺(tái)開(kāi)了一個(gè) terminal 欺騙用戶？于是我們進(jìn)行了一些測(cè)試，看能不能判斷它是開(kāi)了一個(gè)terminal還是真的在理解這里面的命令。

我們給它寫(xiě)了一個(gè)復(fù)雜度特別高的指令，設(shè)定了兩重 for 循環(huán)，每一個(gè) for 循環(huán)都有 10 億次，如果 ChatGPT 真的開(kāi)了一個(gè) terminal，它就會(huì)卡一段時(shí)間。結(jié)果出乎意料：ChatGPT 很快就跳過(guò)了這個(gè)過(guò)程，顯示出了這個(gè)命令之后的下一個(gè)結(jié)果，讓人感覺(jué)它確實(shí)大概理解了整個(gè) demo 的邏輯，它是有一定的“思考”能力的。包括你的語(yǔ)法有一點(diǎn)小錯(cuò)誤，它也可以識(shí)別你真正想要什么，并告訴你正確答案，這個(gè)讓我印象非常深刻。

Q：最近 ChatGPT 浪潮非常高，關(guān)于 ChatGPT 你最關(guān)注的問(wèn)題是什么呢？

特圖（小紅書(shū)信息流廣告模型工程師）：非技術(shù)方面我最關(guān)心的是政策，AI 的能力是雙刃劍，換臉技術(shù)就已經(jīng)證明過(guò)一次了，NLP 感覺(jué)更難監(jiān)管，這次 ChatGPT 的政策風(fēng)向其實(shí)對(duì)未來(lái) AI 蠻關(guān)鍵的。技術(shù)層面我還挺感興趣就是 ChatGPT 距離通過(guò)圖靈測(cè)試還差哪些了。

Q：ChatGPT 目前有哪些短板 ？這些問(wèn)題是大語(yǔ)言模型還是訓(xùn)練技術(shù)模型的問(wèn)題，可能通過(guò)什么方式克服？

宇塵：ChatGPT 確實(shí)有非常強(qiáng)的變化和改善，當(dāng)然還是會(huì)遇到很多問(wèn)題，比如偶爾還是會(huì)“一本正經(jīng)地胡說(shuō)八道”。它對(duì)于自己訓(xùn)練過(guò)程和記憶中的“事實(shí)”很堅(jiān)持，即使你告訴它這樣不對(duì)，它還是會(huì)堅(jiān)持自己的答案。有一個(gè)例子是問(wèn) ChatGPT 某個(gè)數(shù)字 x 是否為質(zhì)數(shù)，它一直認(rèn)為這是質(zhì)數(shù)，你用交互的方式告訴它 x 可以拆解為 a 和 b 相乘，再次詢問(wèn)時(shí)它依然會(huì)認(rèn)為 x 是質(zhì)數(shù)，所以它的內(nèi)部邏輯還是有一定的問(wèn)題。

另外一個(gè)維度是如何將 ChatGPT 實(shí)際應(yīng)用到更多場(chǎng)景里。大模型的訓(xùn)練和使用成本都很高，小規(guī)模的數(shù)據(jù)很難有好的表現(xiàn)，當(dāng)它的訓(xùn)練樣本、模型參數(shù)量、計(jì)算量上升到一個(gè)大模型預(yù)支網(wǎng)上，才能有比較驚艷的能力，所以可能離運(yùn)用比較遠(yuǎn)。但它讓大家看到了一些新的突破和可能性，某種程度上給了大家解決困難達(dá)到下一階段的動(dòng)力，這是很重要的。

李磊：ChatGPT 在一些特定任務(wù)（比如翻譯）上可能并沒(méi)有達(dá)到 SOTA。雖然 ChatGPT 的 API 還沒(méi)有放出來(lái)，我們無(wú)法得知它在一些 benchmark 上的能力。但我的學(xué)生在測(cè)試 GPT-3 的過(guò)程中發(fā)現(xiàn)，雖然 GPT-3 能夠出色地完成翻譯任務(wù)，但它比現(xiàn)在單獨(dú)訓(xùn)練的雙語(yǔ)模型還是要差一些（BLEU 分?jǐn)?shù)差 5 到 10 個(gè)點(diǎn)），因此我推測(cè) ChatGPT 在某些 benchmark 上并不見(jiàn)得會(huì)達(dá)到 SOTA，甚至可能和 SOTA 還有一些距離。

Q：關(guān)于ChatGPT的強(qiáng)大能力，有兩種假設(shè)，一種認(rèn)為ChatGPT 這種很強(qiáng)的能力本身就是內(nèi)置在大模型當(dāng)中的，只是我們之前沒(méi)有恰當(dāng)?shù)蒯尫潘?；另一種認(rèn)為大模型的內(nèi)置能力其實(shí)沒(méi)有那么強(qiáng)，需要我們借助人類力量對(duì)它做出一些調(diào)整。你們?cè)趺纯矗?/h4>

宇塵：我自己比較傾向認(rèn)為 ChatGPT 大部分的能力已經(jīng)內(nèi)嵌在大模型里面。訓(xùn)練和微調(diào)大模型所需的數(shù)據(jù)量存在著幾個(gè)數(shù)量級(jí)的差異，在 GPT-3 及其之后的模型所用到的“預(yù)訓(xùn)練+提示（Prompting）”范式中，這種數(shù)據(jù)量的差異就更明顯了。一方面我覺(jué)得信息本來(lái)就在大模型里面，另一方面，這個(gè)大模型本身是不是還潛藏著更多神奇的能力，現(xiàn)在還沒(méi)有被發(fā)揮出來(lái)。

開(kāi)個(gè)玩笑，如果和人的進(jìn)化對(duì)應(yīng)——之前我們經(jīng)常說(shuō)現(xiàn)在的深度學(xué)習(xí)模型對(duì)于數(shù)據(jù)的利用效率很低，作為人來(lái)說(shuō)，人用很少的范例就可以有效學(xué)會(huì)很多知識(shí)，但是對(duì)于模型來(lái)說(shuō)比較難，但考慮到人類生命從誕生的那一天起不斷進(jìn)化到現(xiàn)在，經(jīng)歷了非常多的基因延續(xù)，像是 “pre-training”的過(guò)程。某個(gè)人出生之后，在這個(gè)真實(shí)環(huán)境里面結(jié)出小樣本，做 “fine-tune”。假設(shè)有類似這樣一個(gè)邏輯，有一個(gè)很強(qiáng)的大模型，不同的人基于不同的應(yīng)用在自己的場(chǎng)景里面拿很小的樣本 fine-tune 它，或者僅僅通過(guò)一些 Prompting 的設(shè)計(jì)讓它有一些更好的表現(xiàn)。假設(shè)這條路是通的，我覺(jué)得 ChatGPT 未來(lái)的應(yīng)用空間會(huì)非常廣，這是我的想法。

李磊：我也認(rèn)為 ChatGPT 大部分的能力已經(jīng)內(nèi)嵌在大模型里面。在ChatGPT之前，GPT-3它的論文已經(jīng)展現(xiàn)了很強(qiáng)的能力，叫做 “in-context learning”，或者叫 “few shot demostration”。這個(gè) “few shot” 和以往 “few shot” 的能力不太一樣，GPT-3 的 “few shot” 是在 test time 給你幾個(gè)示例，不需去更新模型參數(shù)。GPT-3 展現(xiàn)的能力說(shuō)明這個(gè)模型本身有這個(gè)能力，但是不一定能夠激發(fā)出來(lái)，我們需要把少量標(biāo)注樣本放在輸入文本的上下文中即可誘導(dǎo)模型輸出答案。這讓我們感到非常欣喜，ChatGPT 比 GPT-3 更進(jìn)一步，它可以根據(jù)整個(gè)對(duì)話的歷史記錄給出答復(fù)，這更讓人驚喜。

傳統(tǒng) fine-tune 方法與 GPT-3 的 in-context learning 方法對(duì)比。

Q：ChatGPT 的強(qiáng)大還依賴于 RLHF（人類反饋強(qiáng)化學(xué)習(xí)）的訓(xùn)練方法，你怎么看RLHF這個(gè)訓(xùn)練方法以及對(duì)于大模型本身的能力？

李磊：在之前做機(jī)器翻譯研究的時(shí)候，我們通常會(huì)用 BLEU score（一種快速、便宜且語(yǔ)言獨(dú)立的自動(dòng)機(jī)器翻譯評(píng)價(jià)方法，與人類判斷有很強(qiáng)的相關(guān)性）來(lái)指導(dǎo)模型。BLEU score 不是 human feedback，但我們可以通過(guò)大量的計(jì)算很容易地拿到這些樣例，另外，BLEU score 和 human feedback 之間有比較強(qiáng)的相關(guān)性，我們大致可以認(rèn)為 BLEU score 就是 human feedback。在當(dāng)時(shí)的情況下，由于模型比較弱，我們用一個(gè)度量標(biāo)準(zhǔn)去指導(dǎo)一個(gè)翻譯模型，可以達(dá)到5—10%的可觀提升，但是在 transformer 出來(lái)之后，尤其是模型、數(shù)據(jù)越來(lái)越大之后，我們就發(fā)現(xiàn)額外的度量標(biāo)準(zhǔn)反而并不見(jiàn)得能夠帶來(lái)很大的提升。

因此我們從中得到的經(jīng)驗(yàn)是，借助反饋來(lái)訓(xùn)練 GPT-3 這種超大模型理論上不會(huì)得到太大提升，但是，ChatGPT 的驚艷效果卻推翻了這一經(jīng)驗(yàn)。

LLM（大語(yǔ)言模型）的能力邊界在哪里，它能做到或者已經(jīng)做到了抽象思考、邏輯思考嗎？

秋哥（商業(yè)部技術(shù)基礎(chǔ) NLP 建設(shè)負(fù)責(zé)人）：我個(gè)人淺薄的認(rèn)知，大語(yǔ)言模型的能力邊界還是在現(xiàn)存數(shù)據(jù)包含的知識(shí)范圍吧，類似于記憶力天才能做到的上限，而且這個(gè)邊界也不太可能真正達(dá)到，畢竟算力和訓(xùn)練數(shù)據(jù)也不是無(wú)限的。

真正的抽象思考其實(shí)也是不能做到的，比較表面的推理還行，那些看上去很高深或者專業(yè)的回答其實(shí)大部分是包含在訓(xùn)練數(shù)據(jù)里面的，或者見(jiàn)過(guò)類似的。真正意義上的邏輯思考單純靠大語(yǔ)言模型就更加不可能了，舉個(gè)最簡(jiǎn)單的例子，比如加減法大語(yǔ)言模型就解決得很不好，強(qiáng)如 ChatGPT 也只是能處理（記?。?00以內(nèi)或者10以內(nèi)的簡(jiǎn)單運(yùn)算，復(fù)雜一點(diǎn)的運(yùn)算基本上就是靠猜了。

特圖：我感覺(jué)這個(gè)問(wèn)題的關(guān)鍵可能在于如何理解“思考”，贊成“中文屋”實(shí)驗(yàn)的人會(huì)覺(jué)得這不是思考，贊成“圖靈測(cè)試”的人會(huì)覺(jué)得這是思考。

你認(rèn)為 ChatGPT 能否取代 Google、百度等傳統(tǒng)搜索引擎呢？

李磊：ChatGPT 技術(shù)確實(shí)非常驚艷，效果可能也非常好，但是我們能否基于技術(shù)做出一個(gè)廣大用戶接受的產(chǎn)品，并且商業(yè)上能夠成功，這是帶著問(wèn)號(hào)的。這樣一個(gè)新技術(shù)一定有很大的潛力，但它能否取代谷歌或者搜集引擎很難說(shuō)。尤其 ChatGPT 在一些接近問(wèn)答的問(wèn)題上，確實(shí)比搜索引擎處理得更好一點(diǎn)，但是用戶在搜索的時(shí)候，有多少 query 是這一類問(wèn)題呢，這類問(wèn)題是大家最重要的需求嗎？不一定。

如果基于 ChatGPT 做下一代產(chǎn)品，我們要看 ChatGPT 的能力長(zhǎng)處在哪里，圍繞長(zhǎng)處來(lái)做而不一定是瞄準(zhǔn)現(xiàn)有的產(chǎn)品，取代現(xiàn)有產(chǎn)品未必是 ChatGPT 擅長(zhǎng)的地方。

宇塵：傳統(tǒng)廠商做搜索引擎已經(jīng)非常多年了，如果幾十年以后出現(xiàn)新的搜索形態(tài)，這是有可能的，但短期內(nèi)想要替代現(xiàn)有搜索引擎不太現(xiàn)實(shí)。按照我的理解， ChatGPT 還有很多問(wèn)題至少?zèng)]有在當(dāng)前版本里展現(xiàn)出來(lái)，比如與用戶個(gè)性化相關(guān)的功能，比如它不能實(shí)現(xiàn)互聯(lián)網(wǎng)資源的實(shí)時(shí)訪問(wèn)，比如還會(huì)產(chǎn)生一些錯(cuò)誤的信息等。尤其是它如果產(chǎn)生誤導(dǎo)性信息，將對(duì)整個(gè)生態(tài)造成很大的影響。我記得 ChatGPT 剛出來(lái)的時(shí)候，很多人拿著 ChatGPT 的回答到各種社交論壇上回答別人提的問(wèn)題，造成了一些小的混亂。

我們基于 ChatGPT 里有意思的技術(shù)點(diǎn)，去持續(xù)改進(jìn)現(xiàn)在搜索鏈路里（尤其是和 NLP 理解相關(guān)）的各環(huán)節(jié)，讓它們做得更好，這個(gè)非常有希望。

另外一個(gè)維度是，現(xiàn)在 ChatGPT 的能力發(fā)揮在文本上，未來(lái)是否可以比較好地泛化，復(fù)制到多模態(tài)的場(chǎng)景中。搜索引擎很多時(shí)候也是多模態(tài)的形式，比如小紅書(shū)的搜索會(huì)有很多圖文和視頻的結(jié)果，希望未來(lái) ChatGPT 能夠在不同的場(chǎng)景都能取得進(jìn)展。

Q：ChatGPT 取得的重要突破對(duì)整個(gè)研究領(lǐng)域會(huì)有什么重要的啟發(fā)？對(duì)未來(lái)的研究有什么影響？

李磊：對(duì)于學(xué)校來(lái)說(shuō)要做這方面研究其實(shí)還是挺困難的，但它有兩個(gè)點(diǎn)是我們可以更多去探索的。

一個(gè)是我剛才提到的 in-context learning 的能力，以往我們不管是做 NLP 模型還是 CV 模型，都并沒(méi)有去看到底能夠通過(guò)什么樣的方式把這個(gè)模型的潛力挖掘出來(lái)。比如我們訓(xùn)練一個(gè)機(jī)器翻譯模型，可能就是中英機(jī)器翻譯，不會(huì)再去想如果給這個(gè)模型一些提示，它是不是能夠生成一個(gè)更好的翻譯。但是 GPT-3、ChatGPT 給了我們新的思路，比如我們是不是可以把以往所有的模型都改成這種 in-context learning、few shot demostration，加一些 prompt 提示，不管這個(gè)提示是文本、圖片還是其他，在輸入提示的情況下，我們是否可以把預(yù)訓(xùn)練模型的能力完全發(fā)揮出來(lái)，這是非常值得研究的。

第二個(gè)值得研究的就是 human feedback，低成本、高效地獲取大量的 feedback 信號(hào)很難的。如果每一個(gè)“input”、“output”都讓人去寫(xiě)，那我們不可能拿到很多結(jié)果。為什么谷歌能夠不斷進(jìn)步，有一個(gè)原因就是它獲取 human feedback 非常容易，用戶輸入一個(gè) query 后得到一個(gè)結(jié)果，它可以看你有沒(méi)有點(diǎn)進(jìn)這個(gè)結(jié)果中，這就給了它一個(gè) feedback，所以其實(shí)用戶在使用過(guò)程中幫助谷歌不斷提升了它的系統(tǒng)效果。

我們回到 ChatGPT 和 GPT-3 ，現(xiàn)在的形式如果我們想得到足夠多的 hunman feedback 其實(shí)還是很困難的。因?yàn)橛脩艚o了一個(gè) “input”，系統(tǒng)給出 “output” 后用戶還沒(méi)有很好地給出 feedback，一定要去問(wèn)用戶兩個(gè)回答你認(rèn)為哪一個(gè)好哪一個(gè)壞，當(dāng)然 ChatGPT 通過(guò)這種方式獲取了一些 feedback，比完全人工去寫(xiě)代價(jià)要小，但是仍然很難像谷歌那樣獲取到所有用戶，整個(gè) web 規(guī)模的 feedback。未來(lái)我們要想想如何低成本地獲取用戶 feedback 信號(hào)，使得這種信號(hào)能夠幫助我們做各種模型。這是兩個(gè)我覺(jué)得重要的點(diǎn)。

圖源：https://twitter.com/yizhongwyz/status/1605382356054859777

宇塵：我們團(tuán)隊(duì)主要在做智能創(chuàng)作，最近除了 ChatGPT，跨模態(tài)的內(nèi)容生成也是非常熱的一個(gè)方向。大家寫(xiě)一段文字，就能生成很驚艷的圖片甚至小視頻，你也可以把圖片通過(guò)一些文字的描述快速遷移到另一種風(fēng)格，我覺(jué)得這個(gè)方向在未來(lái)創(chuàng)作里面可能也會(huì)有很多非常有意思的應(yīng)用。但這個(gè)方向還是存在很多問(wèn)題，它的可控性和人的想象有時(shí)候偏差較大，時(shí)不時(shí)會(huì)出現(xiàn)一些 bad case。整體上，隨著 ChatGPT 的發(fā)展和一些論文的介紹，我覺(jué)得如果我們?cè)诳缒B(tài)生成的文本建模里做到非常極致，可能對(duì)于文本和視覺(jué)內(nèi)容相關(guān)性的提升會(huì)有相當(dāng)大的幫助，這是一個(gè)啟發(fā)，后面會(huì)重點(diǎn)研究一下。

ChatGPT 直觀展示了 NLP 大模型相比小模型在復(fù)雜多輪對(duì)話、不同 query 的泛化性、思維鏈 (Chain of Thought) 等各個(gè)場(chǎng)景的大幅提升，且相關(guān)能力目前在小模型上是不具備。

NLP 大模型的這些相關(guān)能力或許也可以在跨模態(tài)生成中進(jìn)行嘗試和驗(yàn)證，目前跨模態(tài)模型在模型規(guī)模上相比 GPT-3/ChatGPT 還有顯著的差距，且在跨模態(tài)場(chǎng)景中也有很多工作展示了隨著 NLP 分支表達(dá)能力的提升，會(huì)對(duì)視覺(jué)生成結(jié)果的精細(xì)程度有很大幫助。目前生成的結(jié)果在挑選的情況下往往能看到很不錯(cuò)的驚艷結(jié)果，但生成可控性還有很大空間，這部分可能可以參考 ChatGPT 的很多思路來(lái)進(jìn)行嘗試，比如更大的模型，基于優(yōu)質(zhì)數(shù)據(jù)的微調(diào)，強(qiáng)化學(xué)習(xí)等等。

還有就是剛剛李磊老師提到的 hunman feedback，現(xiàn)在跨模態(tài)生成中基本是一次性給用戶創(chuàng)作完畢，對(duì)于用戶發(fā)布的內(nèi)容、點(diǎn)贊的信息等，我們是不是也可以人工標(biāo)注一些數(shù)據(jù)，看看他們會(huì)更喜歡哪些內(nèi)容，他們的 feedback 是什么，也把強(qiáng)化學(xué)習(xí)的思維引入進(jìn)來(lái)，可能對(duì)這個(gè)鏈路也會(huì)有一些幫助。這里面很多技術(shù)看起來(lái)有一點(diǎn)共通，但現(xiàn)在不確定它從文本領(lǐng)域遷移到跨模態(tài)領(lǐng)域是否會(huì)有同樣的作用，這一點(diǎn)有待驗(yàn)證。在跨模態(tài)生成領(lǐng)域的模型尺度范圍和自然語(yǔ)言的大模型還是有一些差距的，但是我覺(jué)得值得一試。

ChatGPT 的能力優(yōu)勢(shì)在小型化之后是否還保持，以及如何看 LLM 未來(lái)的小型化空間？

李磊：以往的經(jīng)驗(yàn)，確實(shí)可以把大模型小型化，可以在特定任務(wù)上做小型化。通常你可以把這個(gè)模型降一到兩個(gè)數(shù)量級(jí)，是能夠在特定任務(wù)上做得還不錯(cuò)的，但是要說(shuō)完全保持原有能力，并且它的模型大小還要小一到兩個(gè)數(shù)量級(jí)，這個(gè)目前沒(méi)有看到非常確實(shí)的證據(jù)，但是我覺(jué)得這是未來(lái)重要的研究方向。

ChatGPT 的能力未來(lái)在 AIGC 領(lǐng)域可以有哪些應(yīng)用場(chǎng)景和發(fā)揮空間？ChatGPT 有可能在小紅書(shū)內(nèi)部用到嗎？

宇塵：直接使用 ChatGPT 在小紅書(shū)的場(chǎng)景可能非常難，尤其它現(xiàn)在沒(méi)有一個(gè)公開(kāi)的 API 可以調(diào)用，而且如果要上傳很多信息，在小紅書(shū)的場(chǎng)景里面也沒(méi)有辦法直接使用。就像剛剛我們討論的，它這里面涉及到的技術(shù)想法，很多可以在我們的工作里面，在各個(gè)不同的子任務(wù)里面去借鑒。

如果泛指這種類似的對(duì)話模型，自然語(yǔ)言模型或者 AIGC 的能力，場(chǎng)景還是很多的。比如智能客服，比如剛剛李老師說(shuō)的機(jī)器翻譯的進(jìn)一步提升，包括在搜索里面關(guān)于 query 理解維度能力的提升。

ChatGPT 并不僅僅只有 ChatGPT，其實(shí)它是一整個(gè)系列的工作，這個(gè)系列的工作在 NLP 的各種不同的子任務(wù)都有非常顯著的提升，泛泛地講，幾乎所有 NLP 相關(guān)的任務(wù)都是會(huì)有關(guān)的，至于哪一這個(gè)模型能夠輕量化到被大規(guī)模的工程化應(yīng)用，大家可以拭目以待。

我自己對(duì)于AIGC一直非常感興趣，相關(guān)的 AI 能力雖然不是在所有場(chǎng)景都表現(xiàn)特別好，但至少在一些特定的場(chǎng)景下有那么一點(diǎn)點(diǎn)靈性的，尤其你看和 AI 作畫(huà)相關(guān)的，就是把一種模態(tài)轉(zhuǎn)化成另外一種模態(tài)的場(chǎng)景，以繪畫(huà)來(lái)講，它的能力可能沒(méi)有那么完美，但是超過(guò)了99%人的繪畫(huà)能力。

除了文本和視覺(jué)之外，包括語(yǔ)音、音樂(lè)，任何兩個(gè)模態(tài)的遷移和轉(zhuǎn)換都是這個(gè)行業(yè)研究的重要方向。小紅書(shū)整體承載了各種不同模態(tài)的內(nèi)容，這些模態(tài)如果可以在創(chuàng)作模態(tài)大幅度下降，讓用戶記錄和表達(dá)自己生活的時(shí)候，能夠更加低成本、更加便捷，這是一個(gè)非常有意思的方向。

此外，ChatGPT 所展示的大規(guī)模 NLP 預(yù)訓(xùn)練模型，以及在少量特定語(yǔ)料上通過(guò)監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)微調(diào)后的模型展示出了非常強(qiáng)的能力，再結(jié)合上多模態(tài)的能力可以在非常多的場(chǎng)景下進(jìn)行應(yīng)用嘗試。比如電商等場(chǎng)景的智能客服，比如搜索下對(duì)用戶 query、對(duì)用戶筆記更精確的理解，比如智能創(chuàng)作場(chǎng)景下對(duì)用戶素材進(jìn)行智能配樂(lè)、文案生成、跨模態(tài)的轉(zhuǎn)換和生成創(chuàng)作。在各個(gè)場(chǎng)景中應(yīng)用的深度和廣度也會(huì)隨著模型大小的壓縮、模型精度的持續(xù)提升而且持續(xù)增強(qiáng)和擴(kuò)展。

如果把ChatGPT的能力接入小紅書(shū)，對(duì)于小紅書(shū)的多模態(tài)內(nèi)容生態(tài)會(huì)帶來(lái)什么新的突破？ChatGPT+小紅書(shū)=？

秋哥：突破不好說(shuō)，但風(fēng)險(xiǎn)可能得先預(yù)防起來(lái)。因?yàn)?ChatGPT 寫(xiě)軟文的能力是非常強(qiáng)的，有很多做跨境電商的人已經(jīng)在用 ChatGPT 去生成商品賣點(diǎn)、投放詞等去搞 SEO 了。如果等多模態(tài) ChatGPT 出來(lái)了，說(shuō)不定沖擊會(huì)更大。所以我覺(jué)得反 ChatGPT 的能力反而是小紅書(shū)最緊急的。

雖然現(xiàn)在很多內(nèi)容為主的公司都在蹭 ChatGPT 的熱度，看上去很相關(guān)，但在我看來(lái)，我們小紅書(shū)可能需要先避免 ChatGPT + 小紅書(shū) = ChatGPT 這種局面出現(xiàn)，再去探索怎么讓 ChatGPT + 小紅書(shū) = 小紅書(shū) plus。

ChatGPT的能力可能會(huì)對(duì)安全技術(shù)帶來(lái)什么樣的影響？

本安（應(yīng)用安全工程師）：就我個(gè)人使用的感受來(lái)說(shuō)，目前ChatGPT在非開(kāi)放性的安全風(fēng)險(xiǎn)分析上還是有不錯(cuò)的表現(xiàn)的，比如發(fā)送一段可能有漏洞的代碼讓它去審計(jì)，或者一個(gè)條件充分的環(huán)境下評(píng)估風(fēng)險(xiǎn)。

但它也有弊端，ChatGPT 作為一個(gè)語(yǔ)言模型，具備學(xué)習(xí)能力，但似乎無(wú)法很好地判斷接收到知識(shí)的準(zhǔn)確性，有時(shí)候會(huì)返回錯(cuò)誤的信息，所以如果安全人員沒(méi)有良好的技術(shù)基礎(chǔ)，很容易被錯(cuò)誤的回答誤導(dǎo)。比如風(fēng)險(xiǎn)評(píng)估的層面，或者解決方案這些答案開(kāi)放性比較高的問(wèn)題，錯(cuò)誤率相對(duì)會(huì)高一些，代碼審計(jì)這種錯(cuò)誤率相對(duì)低，但仍然有錯(cuò)誤的時(shí)候。ChatGPT可以作為一個(gè)功能強(qiáng)大的參考知識(shí)庫(kù)，但需要安全人員具備判斷回答準(zhǔn)確性的基礎(chǔ)能力。