超越Devin！SWEBench排行榜上迎來了新玩家——

StarShip CodeGen Agent，姚班帶隊初創公司OpenCSG出品，以23.67%的成績獲得全球第二名的成績。

同時創造了非GPT-4o基模的最高紀錄（SOTA）。

我們都知道，SWEBench評測高度貼近真實編程場景，難度極高，不僅要求模型能理解需求、協調多個函數/類甚至文件的變更，還要求模型與執行環境交互，處理超長上下文并執行遠超傳統代碼生成任務的復雜邏輯推理。

在這種高難度的真實測試中，行業中最先進的GPT4和Devin，也僅能解決1.74%和13.86%的問題。

OpenCSG的這一成績，標志著國內公司在推動語言模型向更實用、智能和自主化方向發展邁出了領先的一步。

大模型編程，到底有多難？

2024年3月，首個AI軟件工程師Devin的橫空出世，引爆了整個技術界。雖然伴隨著一系列爭議，但Devin本身強大的創新能力和巨大的潛力，帶給眾多AI愛好者和從業者新的期待。

Devin不僅能夠輕松解決編碼任務，更可以自主完成軟件開發的整個周期——從項目規劃到部署，涵蓋但不限于構建網站、自主尋找并修復 BUG、訓練以及微調AI模型等等。

為什么Devin敢于挑戰GPT4等基礎模型的編程能力呢？

核心在于軟件工程師并不只是編寫代碼，更涉及到需求理解、代碼解讀、編程計劃、代碼生成、調試與異常修復等等環節，這里面的每個環節都會影響大模型編程的可用性和效果。

針對于這類真實場景，普林斯頓大學提出了SWEBench，這是一種量化評估端到端代碼生成能力的工具。

GPT-4在SWEBench上的評分僅有1.74%，即使加上RAG技術，評分也不到3%，這表明單純依靠基礎模型來直接解決現實世界中的編程問題是不可能做到的。

而Devin的技術創新是基于Agent構建工作流程，將SWEBench的解決率提升到了一個新高度。

3月份，Devin以獨立解決13.86%的問題解決率高居榜首，這直接將“大模型編程”從幾乎不可用的狀態提升到了“看到了曙光”。硅谷大廠和大模型創業公司紛紛闖入LLM for SE這個領域，這項記錄被連續改寫。

截止2024年4月底，最好的記錄由Amazon AI團隊推出的 Amazon Q Developer Agent 創造的20.33%。

較為遺憾的是，相比于基礎模型榜單上中國公司的“百花齊放”，這項高難度的挑戰中國公司鮮少參與，直到這一次OpenCSG改寫了這一紀錄。

來自中國創業公司

SWEBench最新評測結果更新，OpenCSG躍居榜單第二名，該公司推出的OpenCSG StarShip CodeGen Agent在Lite評測中取得了23.67%的通過率，這一成績不僅超過了Devin和Amazon的成績。

OpenCSG（開放傳神）成立僅一年，是一家致力于大模型生態社區建設，匯集人工智能行業上下游企業鏈共同為大模型在垂直行業的應用提供解決方案和工具平臺的公司。

團隊在開源及大模型復合經驗十分深厚——

CEO陳冉是開源軟件領域的知名企業家，曾成功打造過多家開源領域的商業公司。

CTO王偉來自清華05級姚班，在人工智能領域有多年研發經驗。

公司核心研發團隊中還匯聚了來自清華、北大、沃頓、港科大等學府的精英學子。

那么這樣一支團隊是如何打造出新的記錄的呢？

當前許多企業正在積極探索和實踐基礎模型、垂直領域模型及RAG等技術，而OpenCSG則選擇了專注的方向：致力于編程Agent的創新開發和大型模型算法的深度優化。

Agent層面：不同于LLM+RAG或者通用Agent框架，OpenCSG StarShip CodeGen Agent針對軟件研發領域高度定制優化Agent而設計：將研發各個階段（需求理解、代碼檢索、編程計劃、編寫代碼、循環驗證等）通過LLM Agent實現，并結合軟件工程方法，例如AST語法分析、依賴檢索等進行深度優化的方式，在各個環節精益求精，最終整合實現了更高精度的代碼生成。

算法層面：針對代碼版本變更引起的API沖突等典型問題，OpenCSG提出了自適應教師模式，通過教師模型分析代碼版本變更記錄，生成高質量編程數據并用于改善基礎模型的生成效果。根據評測這些創新帶來的改進，顯著優于當前的RAG模式，尤其是在API結構高頻更新的熱門項目場景中。這部分的相關成果已經形成論文投遞到國際會議中。

正是這種算法+工程雙管齊下、精益求精的模式，讓OpenCSG CodeGen Agent能在一眾模型中脫穎而出。

“StarShip就是各種家電電器”

如果說CodeGen Agent的真實評測是牛刀小試，那么StarShip則是承載著OpenCSG的宏偉藍圖。

對于StarShip的產品定位，OpenCSG CEO陳冉表示：

StarShip承擔著我們對于大模型重塑軟件開發的愿景。用戶通過StarShip內置的智能體（Agent）組建自己的數字員工團隊。CodeGen Agent是平臺內置的數字程序員，目前已經發布的還有CodeReview Agent代碼評審員和CodeSearch代碼問答工程師。不同于代碼輔助工具，我們希望這些數字員工能直接獨立工作而不需要人工輔助干預。未來我們將發布更多類型的數字員工，全面覆蓋需求、設計、編碼、測試和運維各個環節。

CTO王偉則表示這條路徑充滿挑戰但非常有趣，“從第一性原理來看，大模型對于生產力的提升已經不是’是’或者’否’的問題，而是何時、何地、何種形態的問題，StarShip正是我們嘗試給出的一個回答。”

除StarShip之外，OpenCSG團隊還相當高產：CSGHub開源模型平臺、wukong預訓練模型、CSGCoder微調代碼模型等，這些產品定位精準，在業內頗受好評。

這些產品的快速推出與迭代，既滿足了市場需求，同時也為了一個共同的目標：讓大模型賦能每一個企業每一個人。

讓大模型賦能每個企業、每個人，就需要讓大模型變成水和電一樣。如果說大模型是電能，那么CSGHub是電力網絡，StarShip則是各種各樣的家電電器，最終賦能到千家萬戶。

OpenCSG的理念是開源開放，作為一家堅持以開源為核心的公司，不僅實現了模型開源、代碼開源，甚至將平臺開源。

CTO王偉這樣總結，我們是一家年輕的公司，受益于開源，才能在較短的時間做出一些成果，同時也會全面回饋開源社區，這是開源社區的基本原則。除此之外，我非常認同Sam Altman的說法，開源只是一種模式，比模式更重要的是產品價值。

“Benchmark本身只是一個數字，隨著GPT4-o的推出，SWEBench的測試成績預計將會很快超過30%，樂觀估計明年可以突破50%。而我們更關注這些數字背后的產品價值：隨著模型能力和工程技術的提升，數字員工將會從量變引發質變，從能用到好用，在各行業迎來全面的爆發”王偉解釋道“這可能會是大模型時代背景下的一個重大變化，從公司到個人，我們都要為此做好準備。”