速度秒殺GPT-4o！Mistral開源首個22B代碼模型破記錄，支持80+編程語言
真正Open的AI公司Mistral又低調(diào)上新了。
這次，他們發(fā)布了首款代碼生成模型Codestral，支持80多種編程語言以及32K長上下文窗口。
不僅在基準測試上取得了驚艷的表現(xiàn)，而且代碼生成的速度也讓試用的網(wǎng)友非常滿意。
目前，Codestral提供了多種API，而且模型權(quán)重也公開在HuggingFace上。
項目地址：https://huggingface.co/mistralai/Codestral-22B-v0.1/tree/main
代碼生成新SOTA
Codestral的訓(xùn)練數(shù)據(jù)包含80多種編程語言，包括最流行的Python、Java、C、C++和Bash，以及HTML、JavaScript等前端語言，在Swift和Fortran上也有良好表現(xiàn)。
模型可以完成的任務(wù)包括編寫特定功能的函數(shù)、編寫測試，以及代碼填充。
此外，由于Codestral同時精通英語，也可以與開發(fā)人員進行交互，有助于提高工程師的編碼水平并減少錯誤和漏洞。
可以通過Le Chat對話界面免費使用模型的交互功能。
在線地址：?https://chat.mistral.ai/chat??
作為一個參數(shù)量只有22B的模型，Codestral實現(xiàn)了32K的長上下文窗口，是Llama 3 70B的四倍。
Codestral使用了Llama架構(gòu)，但在7種語言的HumanEval均分超過了CodeLlama，可以和Llama 3打個平手。
RepoBench是一個用于評估存儲庫級代碼補全任務(wù)的新基準，考驗?zāi)Ｐ偷目缥募z索和理解長上下文能力。在RepoBench上，Codestral使用Python語言達到了SOTA成績。
此外，在其他語言的評估中，包括C++、bash、Java、PHP、Typescript和C#，Codestral也取得了不錯的成績。
FIM基準可以評估模型在中間填充任務(wù)上的性能，但CodeLlama和Llama不直接支持這個功能。
在FIM任務(wù)中，Codestral用更少的參數(shù)量，在Pyhon、JavaScript和Java三種語言上的分數(shù)全面超過DeepSeek Coder 33B。
目前，Mistral開放了兩個API供開發(fā)者調(diào)用Codestral，分別是codestral.mistral.ai和api.mistral.ai，前者有8周的免費測試期，后者按token收費。
此外，還可以通過Continue.dev或者Tabnine插件在VSCode或JetBrains的IDE中使用Codestral的功能。
開發(fā)者們已經(jīng)用上了
基準測試畢竟只是參考，代碼工具好不好用，只有試過才知道。
有網(wǎng)友感嘆「80種語言太瘋狂了」「終于有人想起來Swift了」。
而且實測中可以看到，Codestral的代碼生成速度非常快，而且響應(yīng)延遲也很短。
有人給了GPT-4o和Codestral相同的任務(wù)，讓它們用Go語言實現(xiàn)基本的發(fā)布/訂閱系統(tǒng)。
雖然兩個模型的響應(yīng)延遲都很短，但Codestral寫完的時候，GPT-4o剛寫到一半，生成速度高下立現(xiàn)。
有開發(fā)者分析，雖然Codestral不是最大、最好的代碼模型，但自己還是會從Claude Opus爬墻，改用Codestral。
因為模型確實包含了更多前沿知識，可以幫助編寫最新的AI代碼，但ChatGPT和Opus都做不到。
但也有Python工程師吐槽：「沒有一個LLM明白，在Python 3.9之后的版本中，就不再需要使用from typing import List了。」
「GPT-4、GPT-4o、Claude Opus、Gemini和Codestral都無法理解這一點。即使明確說明，它們?nèi)匀粺o法理解。」
看來人類程序員剩下的為數(shù)不多的優(yōu)勢還有「知錯就改」。
本文轉(zhuǎn)自 新智元 ，作者：新智元
