英偉達推出了自家最新430億參數大語言模型——ChipNeMo。

圖片

對于它的用途，英偉達在官方披露消息中也是非常的明確，劍指AI芯片設計。

具體而言，ChipNeMo可以幫助工作人員完成與芯片設計相關的任務——

包括回答有關芯片設計的一般問題、總結bug文檔，以及為EDA工具編寫腳本等等。

英偉達首席科學家Bill Dally對此表示：

我們的目標是讓英偉達的設計師更有效率。

即使我們的生產率（因ChipNeMo）只提高了幾個百分點，這也是值得的。

△英偉達首席科學家Bill Dally

以英偉達H100 Tensor Core GPU為例，它由數百億個晶體管組成，在顯微鏡下看著就像是一個精心規劃建設的城市一般。

這些晶體管連接在比人類頭發絲還細10000倍的“街道”上，需要多個工程團隊協作兩年多的時間來完成，其間繁瑣且龐大的工作量，可見一斑。

因此，在英偉達看來，隨著ChipNeMo這樣大語言模型的問世，所有的工作流程都將在效率上得以提升。

用Bill Dally的話來說：

這項工作標志著將大語言模型應用于半導體設計的復雜工作的重要第一步。

它展示了即使是高度專業化的領域，也可以使用其內部數據來訓練有用的生成式AI模型。

英偉達設計芯片有了新幫手

總體來看，ChipNeMo能夠幫助英偉達內部的芯片設計師們完成三大方面的工作。

首先就是問答。

ChipNeMo包含一個原型聊天機器人，它可以回答有關 GPU 架構和設計的問題，幫助許多工程師在早期測試中快速找到技術文檔。

例如，你可以向它提問：

為什么我們要添加重新計時階段（retiming stages）？

圖片

ChipNeMo就會基于這個問題，給出精準的答案：

重新計時階段的增加是為了改善設計的時序，并考慮到芯片不同部分之間的物理距離。

通過增加重定時級，我們可以減少信號在芯片不同部分之間傳輸所需的時間，這有助于提高設計的整體性能。

此外，重定時級還可以幫助減少信號上可能出現的噪聲和干擾的數量，從而進一步提高設計的性能。

其次是DEA腳本生成。

例如只需向ChipNeMo用自然語言提出想要生成代碼的要求即可：

在TOOL1中編寫代碼，輸出給定矩形（0,0,100,100）中觸發器單元的數量。

圖片

僅需靜候片刻，帶著注釋的代碼片段“啪的一下”就生成了。

據了解，英偉達目前還在對代碼生成器（如下圖所示）進行開發，它將來會和現有的工具做一個集成，好讓工程師用起來更加方便。

圖片

最后是Bug總結和分析。

芯片設計人員只需要向ChipNeMo描述一下情況即可，例如prompt的內容可能包括Bug的ID、Synopsis、Module和Description等等。

圖片

而后ChipNeMo就會根據prompt，給出做好的技術總結和管理總結等。

ChipNeMo是怎么煉成的？

首先在數據集方面，英偉達主要采用的Bug總結、設計源（Design Source）、文檔以及維基百科、GitHub等硬件相關的代碼和自然語言文本。

再經過一個集中的數據采集過程來收集，最終在清洗和過濾之后，形成了241億個token。

圖片

其次在算法、架構設計方面，英偉達并沒有直接拿目前已商用、開源的大語言模型來做部署。

而是主要采用了這些領域自適應（Domain-Adapted）技術，包括自定義標記器、領域自適應持續預訓練、帶有領域特定指令的監督微調（SFT），以及領域自適應檢索模型。

圖片

在此方法之下，便提高了大語言模型在工程助理聊天機器人、EDA腳本生成和Bug摘要和分析等三個應用中的性能。

結果顯示，這些領域自適應技術使得大語言模型的性能超過通用基礎模型；同時模型大小最多可減少5倍，且保持相似或更好的性能。

圖片

不過論文作者也坦言：

雖然目前的結果已經取得了一些進展，但與理想結果之間仍存在改進空間。進一步研究領域適應的LLM方法將有助于縮小這一差距。

參考鏈接：
[1]https://blogs.nvidia.com/blog/2023/10/30/llm-semiconductors-chip-nemo/
[2]https://www.eetimes.com/nvidia-trains-llm-on-chip-design/
[3]https://d1qx31qr3h6wln.cloudfront.net/publications/ChipNeMo%20%2824%29.pdf