前段時間，開源大模型領域迎來了一個新的模型 —— 上下文窗口大小突破 200k，能一次處理 40 萬漢字的「Yi」。

這個大模型由創新工場董事長兼 CE0 李開復創立的大模型公司「零一萬物」構建，包括了 Yi-6B 和 Yi-34B 兩個版本。

根據 Hugging Face 英文開源社區平臺和 C-Eval 中文評測榜單，Yi-34B 推出時取得了多項 SOTA 國際最佳性能指標認可，成為全球開源大模型「雙料冠軍」，擊敗了 LLaMA2 和 Falcon 等開源競品。

Yi-34B 也成為當時唯一成功登頂 Hugging Face 全球開源模型排行榜的國產模型，稱「全球最強開源模型」。

該模型在發布后引起了國內外很多研究者、開發者的關注。

但最近，有研究者發現，Yi-34B 模型基本上采用了 LLaMA 的架構，只是重命名了兩個張量。

原貼鏈接：https://news.ycombinator.com/item?id=38258015

帖子還指出：

Yi-34B 的代碼實際上是對 LLaMA 代碼的一次重構，但看似并未作出任何實質性改變。這個模型明顯是基于原始 Apache 2.0 版的 LLaMA 文件進行的編輯，但卻未提及 LLaMA：   

Yi vs LLaMA 代碼對比。代碼鏈接：https://www.diffchecker.com/bJTqkvmQ/

此外，這些代碼更改并沒有通過 Pull Request 的方式提交到 transformers 項目中，而是以外部代碼的形式附加上去，這可能存在安全風險或不被框架所支持。HuggingFace 排行榜甚至不會對這個上下文窗口最高可達 200K 的模型進行基準測試，因為它沒有自定義代碼策略。

他們聲稱這是 32K 模型，但它被配置為 4K 模型，沒有 RoPE 伸縮配置，也沒有解釋如何伸縮（注：零一萬物之前表示模型本身在 4K 的序列上進行訓練，但是在推理階段可以擴展到 32K）。目前，關于其微調數據的信息為零。他們也沒有提供復現他們的基準測試的說明，包括可疑的 MMLU 高分。

任何一個在 AI 領域工作過一段時間的人都不會對此視而不見。這是虛假宣傳？違反許可證規定？實際基準作弊？誰在乎呢？換下一篇論文，或者在這種情況下，拿走所有風險投資的錢。Yi 至少高于標準，因為它是基礎模型，而且性能確實不錯。

而在數天前，在零一萬物 Huggingface 社區中，有開發者同樣指出：

據我們了解，除了兩個張量被重命名之外，Yi 完全使用了 LLaMA 的架構。(input_layernorm, post_attention_layernorm)

討論中，有網友表示：如果他們確切使用 Meta LLaMA 架構、代碼庫和所有相關資源，則需要遵守 LLaMA 規定的許可協議。

為了符合 LLaMA 的開源協議，有位開發者將其名字改回并重新放到了 huggingface 上：

01-ai/Yi-34B，張量已重命名以匹配標準 LLaMA 模型代碼。相關鏈接：https://huggingface.co/chargoddard/Yi-34B-LLaMA

看到這里，我們也就知道前幾天，從阿里離職創業的賈揚清在朋友圈提到的是哪家企業了。

針對此事，機器之心也向零一萬物進行了求證。零一萬物回應稱：

GPT 是一個業內公認的成熟架構，LLaMA 在 GPT 上做了總結。零一萬物研發大模型的結構設計基于 GPT 成熟結構，借鑒了行業頂尖水平的公開成果，同時基于零一萬物團隊對模型和訓練的理解做了大量工作，這是我們首次發布獲得優秀結果的地基之一。與此同時，零一萬物也在持續探索模型結構層面本質上的突破。

模型結構僅是模型訓練其中一部分。Yi 開源模型在其他方面的精力，比如數據工程、訓練方法、baby sitting（訓練過程監測）的技巧、hyperparameter 設置、評估方法以及對評估指標的本質理解深度、對模型泛化能力的原理的研究深度、行業頂尖的 AI Infra 能力等，投入了大量研發和打底工作，這些工作往往比起基本結構能起到更大的作用跟價值，這些也是零一萬物在大模型預訓練階段的核心技術護城河。

在大量訓練實驗過程中，由于實驗執行需求對代碼做了更名，我們尊重開源社區的反饋，將代碼進行更新，也更好的融入 Transformer 生態。

我們非常感謝社區的反饋，我們在開源社區剛剛起步，希望和大家攜手共創社區繁榮，Yi Open-source 會盡最大努力持續進步。