嘉賓 | 郝杰
采訪 | 鳶瑋
撰稿 | 云昭
“高估了短期價值，低估了長期影響。”伴隨一個新技術熱點的出現，我們總會聽到提醒的聲音。
在新技術實際產生難以置信的變革效果之前，往往存在一個不長不短的“炒作”鴻溝：有的入局者激流勇進，樂在其中;而有的玩家則放慢腳步，重新思考如何凸顯創新的價值。
那么，“燒錢”打造的大模型，怎樣才能發揮出期待的價值?如何打造行業大模型?又該如何評價大模型產品的好壞?
我們有幸邀請到中國企業數據智能應用軟件的領先者明略科技集團的CTO郝杰先生，來講述作為一名深耕AI技術多年的開拓者，在大模型技術浪潮中的產品創新之道。
1.一條不那么燒錢的路徑
ChatGPT掀起熱潮的同時，其高昂的訓練成本也驚動了整個AI界，它確實是一個非常燒錢的技術。不管是參數量、數據量，還是數據的處理過程成本、算力、存儲、推理部署等等，都需要非常高的投入。但凡企業要入局大模型，“燒錢”都是一個不可逾越的難題。
然而，明略科技的情況則更為不同。明略的客戶包括很多行業，比如：美妝、化妝品、汽車、3C、大健康等等。具體來講，就是要在大模型時代把效果好的技術和服務帶到他們的產品中去，帶到他們的營銷、銷售、服務等各種流程中去。所以，這個難題更為苛刻，如郝杰所說：“我們需要在不那么燒錢的條件下，做出各行各業的大模型來。”比如說，美妝行業大模型、汽車行業大模型、3C行業大模型等等。“因此，從技術上來講，我們面臨的是一個大模型自適應的問題。”比行業自適應顆粒度更小的，則是場景自適應、流程自適應，橫向展開還有多語言、多語種自適應等等，都是我們需要解決的問題。
舉個例子，明略有一些海外的業務，或者是客戶在海外開展的業務，比如說在東南亞市場上的社交輿情分析洞察，就有多語種適應等技術的介入。
自適應其實就是用盡量小的代價去實現一個非常好的效果。好的大模型需要具備通用大模型的好的邏輯性、語言的順暢度，同時還需要要實現一個通用大模型所不具備的，某個行業或具體的領域中的事實真實性、專業性。
而后者，恰恰是我們很有可能做得更好的。這正是行業大模型實現的路徑。行業大模型、場景大模型，與通用型的大模型不同，它會注入到我們千行百業的場景中做自適應，同時也可以做到低成本化。
2.行業大模型的關鍵步驟
對明略科技而言，已經積累下來很多對各行業的理解和認知，這些認知已經通過知識庫，或者是知識圖譜的形式來沉淀在明略科技內部了。明略科技旗下子品牌秒針系統給各行各業的客戶提供社交媒體平臺上的內容分析洞察，再比如團隊中經驗豐富的行業分析師，以及在報告分析生成或洞察分析中，產研團隊提供的各種工具和服務等等。
所以，目前明略已經擁有很多頭部行業，或者說重點行業的知識庫和知識圖譜。知識圖譜相對于知識庫，它在知識表示上的級別或層次就更高一些，更完美一些。
在做行業大模型時，明略有一個非常關鍵的步驟叫做知識增強，利用已經積累下來的這些知識庫、知識圖譜，或者是說其中的實體關系、屬性等等這些非常高價值的內容，參與到大模型訓練中去。這樣，在具體的一個行業或場景中訓練出來的大模型，評測效果往往是顯著的高于通用大模型的。這是明略的方法論。
3.產品臨界點：一場理想與現實的考量
判斷是否做一款產品，要看當時的技術成熟度和用戶接受程度，如果只有剛性需求，技術成熟度不足的情況下，則很難以支撐它用短平快的方法做出來。一位知名投資人就曾表示，某團隊投入1000人基于騰訊會議做自動會議紀要，做了一年，準確率也只有60%，而用ChatGPT能夠達到90%的準確率。
那么，在決定做一款AI產品前，產研決策者會有哪些考量呢?郝杰給我們講述了自己團隊的一個案例。2021年，郝杰曾組織產研同學認真做過了幾番討論，目的就是要不要做一個騰訊會議的外掛式的會議紀要整理、梳理的工具產品。
“線上會議越來越多，大家有這樣剛性的需求。而且，明略有在做一款重要創新會議工具產品，是圍繞著騰訊的企業微信來開發的。它和騰訊文檔、騰訊會議的關系天生就是緊密相關的。所以當時有這樣的想法也是自然而然的。”郝杰回憶道。
最終討論的結果是，前年并沒有直接去做，而是在去年年底開始執行的，而且已經做到了一個里程碑。“現在我們有一個會議分析SaaS軟件，因為這個工具可以自動把會議語音文件根據內容大意進行切條，我們取名為‘小條’。”
“小條”是基于明略的語音識別和自然語言處理技術，也接入了大模型的接口，具有會議轉錄功能，還能結合剪輯技術以把獨立的一段內容進行標注，這樣可以方便事后重聽，或者是剪輯的時候找當時的重點，是一款非常實用且方便的會議工具。
ChatGPT出來之后，會議分析這一類的服務，恰好就變成了針對大模型的一種淺層封裝，成本就會非常小。
但是這也要求決策者對于時機的把握，要抓得很準。因為這也意味著進入了新的紅海，即使是在校學生，也可以在大模型的加持下，做出一個會議的分析系統，或者是校園里面網課視頻的分析、分割系統來。這個時候比拼的就是產品上的功能、亮點，它在用戶交付過程當中如何去思考設計的更加貼心，這樣它就能夠通過SaaS軟件抓住更多的訂閱者進行“滾雪球”。
4.謹慎樂觀：大模型也會被顛覆
如今技術發展空前爆炸，簡直可以用“以天為單位的迭代速度”來形容。那么，生成式AI的天花板會在哪里呢?
在郝杰看來，生成式AI、大模型肯定是存在天花板的。“有一種說法，可能有一些人認為沒有天花板，認為規模一直做下去，這種涌現能力就能更進一步的迸發出來，認為這就是通往AGI的必經之路了，這是非常樂觀派的一種看法。”
郝杰對此卻保持謹慎。技術的發展總是逐步向前的，一定會有其他的技術顛覆掉大模型技術，至少是局部的顛覆。
誠然，大模型能夠顛覆之前“不太大的預訓練模型+tuning”的時代，也會有一個新技術的出現和大模型技術產生了一些融合，產生一些化學反應，來顛覆掉大模型。
“模型在規模上是一個漸變，然后效果上產生了一定的質變，也就是涌現能力的出現。”大模型也是站在 Transformer 這樣基礎模型的肩膀上，漸進式地，然后有了BERT、GPT。或者說，它也是深度學習，而且是向更加深、更加寬、更加大的幾個維度上，走向極致之后的產物，它本身是一個漸變。
如果說跟天花板對應的變量在哪里?郝杰做了一個大膽的預測，“也許顛覆大模型的技術，或更偉大的技術，今年就已經在地球的某一個角落里已經萌芽了。”這一預測是有跡可循的。時間回到郝杰初上大學的1991年。那一年，日本的文部省剛剛宣布第五代計算機的研發失敗了。當時第五代計算機的目標，就是要做到“能聽會說，能歌善舞”，“既要識別理解，還能生成創作”。
“其實你把第五代計算機的目標展開一看，與OpenAI正在和即將實現的偉大目標不謀而合。但當時為什么失敗了?因為神經網絡做不到太深，會發生梯度消失或者梯度爆炸的難題，當時是解決不了的，算力也跟不上。恰好就是在同樣的時間，1992年，Schmidhuber，這位偉大的LSTM之父，和他學生提出了多層級神經網絡，在30多年前就解決了梯隊消失和梯隊爆炸的問題。而正是他當年的貢獻，使得2012年之后的深度學習大放異彩。”
那么，大模型的天花板如何捅破它?這個答案也許此時就在某個角落里，也許在一個不知名的實驗室里，也許在某幾個不知名的老師和學生那里。“也期待我們的大腦里會閃過某個火花，在某個時刻點上受到了類似的啟發。”
5.沒必要一切都由大模型再造
大模型雖好，但盲目的狂潮往往會陷入泥潭，很多人在狂熱的時候沒有考慮到成本。在郝杰看來，不惜一切代價，用大模型把一切產品和服務再造一遍是極不現實的。“我遇到了這樣的同行或者是朋友，就會反問一下：你有幾塊卡?”據說全國也就只有20萬塊A100的卡，比較大的公司會有上萬塊的卡。因此，能分到團隊甚至個人名下的算力，實在杯水車薪。
在企業中做這些產品、服務的時候，需要一個非常全面、平衡的考慮，我們要考慮性價比，要考慮投入產出。“根據客戶的場景來考量我們一款產品或服務的效果、效率和成本，而尋求達到一個最佳的平衡。”郝杰說道。
那如何善用而不濫用大模型呢?郝杰繼續講道，“如果我們的客戶非常需要做一些生成類的任務，比如說營銷軟文的生成，我們確實是離不開大模型，我們要善用大模型的威力。”
但如果企業已有的產品，或者是服務中原有的一些成熟的功能，它建立在小模型的基礎上，效果已經很不錯了。那這時就沒有必要推倒重來。因為推倒重來不僅意味著重復的開發，甚至會導致部署成本、推理成本的上升。而且，盲目上一個大模型，用GPU推理，也會給我們的客戶也帶來了一些不必要的負擔。
“只有當客戶對服務的效果不滿意，或者希望增新功能時，才有必要重新設計，二次開發這個模塊，這是我對善用和不濫用大模型的一點理解。”
新名詞出現后，怎么追趕呢?是要利用好自身以往的技術資產，把上一個技術范式中積累下來的工程技巧、算法上的創新，剖析出來，判斷這些寶貴經驗能不能嫁接在新的技術范式上去。舉個例子，如果我們在 Transformer 這個技術模型上做過一些小改進，微創新的話，現在就很容易思考能不能把它搬到類似GPT這樣大的模型中來獲取一些效果和效率方面的提升。
6.大模型性能好壞，如何評判
往往一個新技術出現了之后，行業中，包括政府組織，都會陸續誕生一些評測類的標準化組織，而標準化組織則會制訂行業標準，而政府層面的標準前期往往是從這些技術的評測手段、評測標準，指標定義去入手的。
具體而言，明略科技對于相關的大模型技術、產品也有自己適用的一套評測指標。比如說生成圖片的質量，不僅包括CV領域中一些客觀評價的指標，峰值信噪比，均方差、誤差等等。還要包括一些主觀評價的指標，主觀評價通常是邀請十幾個、幾十個，甚至更多的用戶/新用戶，大家針對生成的圖片/視頻進行觀摩之后進行打分。維度包括很多，比如亮度、對比度、色彩把控度方面的一些主觀上舒適程度的打分，以及對于圖片、視頻內容本身的主觀感覺，帶來了一個認同感或是愉悅感。
其實細分領域內，有很多大家目前已經約定俗成的指標，也有更多有待我們挖掘，和取得共識的一些新的指標。
隨著這樣的產品，這樣的服務進入到具體的行業或者是場景中，明略還要進一步評測，依賴于這些場景具體的指標。這就定義得更加精細化了，這些往往是一些行業標準中會出現的評測指標。
“2021年底的國際說話人識別大賽中，明略科技語音團隊拿到了第一名，再往前我們也拿到過機器翻譯和防偽人臉識別方面的世界第一，去年年底我們的Blockformer刷榜中文語音識別的第一名。我們在三大AI子領域中，在重要的國際比賽或者是刷榜中都拿到了第一名。這個標志著我們的AI技術已經進入到業內前沿，我們在我們的客戶面前呈現出這樣的結果來也帶給他們一些信心。”
郝杰預測，未來是會出現專門服務大模型評測的、專門性的組織或者是機構。“如同手機行業的跑分網站一樣，經過了充分競爭之后，某類產品以及細分的各項指標評測就會出現一個或多個專門性的評測機構，所以個人預測大模型或早或晚也會出現在世界范圍內大家都共同信任的一些評測機構，它們會有高度概括細分領域的評測指標，不僅能夠覆蓋各行各業的生產場景，也能夠覆蓋全人類的很多生活場景。”
7.刷榜單不是目的，而是競爭力
目前，第三方評測在業界有著不小的公信力。因此，參加外部比賽/刷榜，往往成為凸顯自己產品競爭力的重要選擇。
“很多時候，如果只靠一些自己定義的測試集去講，缺乏和業內橫向的benchmark，這樣往往缺少說服力。因為老板很想聽到你和競品之間有什么區別?客戶也很想知道你和競品之間誰高誰低，所以轉向第三方的評測是必然的。”
的確，“刷榜單”在AI圈內并不少見，在這個圈子里“競賽”的意味則更濃厚一些，而從事AI的同學往往也需要通過刷榜去證明自己的算法，比如在第三方定義的指標下取得了什么樣的成績和排名，這樣來證明自己和團隊。
斗力頻催鼓，爭都更上籌。對于AI人才團隊的建設，明略科技，一貫堅持“以賽代練”的培養方式。
“AI領域每年都會有頂級、重要比賽，比如說語音合成領域的‘BlizzardChallenge’，機器翻譯界的頂級大賽‘WMT國際機器翻譯大賽’，再比如語音識別領域，前幾年的CHiME系列等等。去年年底，我們在‘中文普通話語音識別榜’上獲得了第一名，用的評測數據庫是AISHELL-1。”
當然，刷榜是手段，而不是目的。“我們的首要目標，是全力以赴地把這個技術落地在公司的產品中，落地在各種場景中。同時，我們也需要大賽榜單來驗證自己的技術，讓其在客戶面前具備更強的說服力。”
招人、用人、培養人，是建設一個優秀的團隊必須要回答的問題，AI團隊也不例外。經過多年的積累，郝杰總結了一套口訣：“心強、手硬、眼光高”。
心強，就是一定要找那些內心非常堅定，要做就要做到業內第一的人，哪怕他現在是三流，但是他那顆心想得很大。“心有多大，我們就給他多大的舞臺，讓他做到第一名。”
手硬，這里指的是“兩手硬”，“我們強調的是：工程和算法都得硬，也只有這樣，才會做出更好的系統，更好的模型。”
眼光高，即目標要高，“要瞄準頂級大賽的冠軍，我們一路走來就是這樣培養團隊的。”
8.寫在最后
春花無數，終不如秋實之果。每每新的技術潮水翻涌之時，“有理想的務實派”總是在自己的航線里發現一方新大陸。他們，一面深耕自己的賽道優勢，磨礪以須，及鋒而試;一面開眼看世界，敢于論劍，直掛云帆。
高目標、講實效、不冒進、不浮夸，在“亂花漸欲迷人眼”的大模型浪潮之中，明略科技始終堅定地做一名有理想的務實派。
“把知識注入到大模型中去!找到解決問題的臨界點!”
采訪企業介紹：
明略科技是中國企業數據智能應用軟件的領先者，致力于構建企業大腦，創造人機同行的美好世界。明略科技深耕企業服務領域17年，幫助組織在數字化轉型中挖掘營銷、運營場景的商業價值。明略科技通過充分挖掘數據價值，整合企業線上線下數據，建設企業的客戶全旅程業務場景數字化，大幅提升企業營銷效率和人員效率，迄今已服務超過2000家國內外頭部企業、200余家政府機構，賦能消費、媒體、金融、餐飲等多行業領域。
