編輯 | 言征
出品 | 51CTO技術棧（微信號：blog51cto）
10個月過去，世界“首位AI程序員”究竟如何了？
近日， Answer.AI 團隊中經(jīng)常試驗 AI 開發(fā)工具的測試團隊秉著“百聞不如一見”的精神，與最受Twitter追捧的編程神器共事了一個月，結果非常慘烈。
“作為 Answer.AI 團隊中經(jīng)常試驗 AI 開發(fā)工具的一員，Devin 給人的感覺有些不同。如果它能實現(xiàn)承諾的一半，它就能改變我們的工作方式。但盡管 Twitter 上充滿了熱情，我們卻找不到太多關于人們實際使用它的詳細記錄。所以我們決定對它進行測試，在各種現(xiàn)實世界的任務中對其進行測試。這就是我們的故事——一次徹底的、現(xiàn)實世界的嘗試，嘗試使用 2024 年最受炒作的 AI 產(chǎn)品之一。
圖片
不過，經(jīng)過20項實際的工作測試任務后，“首位AI軟件工程師”的服務在真實工作水平表現(xiàn)相當糟糕。
隸屬于 Answer.AI（由 Jeremy Howard 和 Eric Ries 創(chuàng)立的 AI 研發(fā)實驗室）的三名數(shù)據(jù)科學家對 Devin 進行了測試，發(fā)現(xiàn)它只成功完成了 20 項任務中的 3 項。
1.20項只完成了三項，Devin真實實力不堪一擊
在本月初（1月8日），由 Hamel Husain、Isaac Flath 和 Johno Whitaker 發(fā)表了一項針對Devin的綜合分析中，Devin 開局不錯，成功地將數(shù)據(jù)從 Notion 數(shù)據(jù)庫提取到 Google 表格中。
圖片
AI 代理還設法創(chuàng)建了一個行星跟蹤器，用于檢查有關木星和土星歷史位置的說法。
但隨著三名研究人員繼續(xù)測試，他們遇到了問題。
研究人員在他們的報告中解釋說：
“看似簡單的任務通常需要幾天而不是幾小時，Devin會陷入技術死胡同或產(chǎn)生過于復雜、不可用的解決方案。“更令人擔憂的是，Devin 傾向于推進實際上不可能的任務。”
例如，他們引用了Devin在被要求將多個應用程序部署到基礎設施部署平臺 Railway 時如何不理解、如何不受支持，并花了一天多的時間嘗試不奏效的方法，此外還產(chǎn)生不存在的功能等類似的幻覺。
在提交給 Devin 的20項任務中，AI軟件工程師只圓滿地完成了其中的 3 項——上面提到的兩項任務和研究如何使用 Python 構建 Discord 機器人的第三項挑戰(zhàn)。其他3項任務產(chǎn)生了不確定的結果，14個項目徹底失敗。
圖片
研究人員表示，Devin提供了完美的用戶體驗，在奏效時令人印象深刻。
“但問題是——它很少奏效，在我們嘗試的20項任務中，我們看到14次失敗，3 次結果不確定，只有 3 次成功。”他們寫道。
“更令人擔憂的是，我們無法預測哪些任務會成功。即使是類似于我們早期勝利的任務也會以復雜、耗時的方式失敗。看似有希望的自主性變成了一種負擔——Devin會花幾天時間尋找不可能的解決方案，而不是識別根本的障礙。”
我們在實際使用AI工具中會反復觀察到這樣一種現(xiàn)象甚至是模式：無法預測哪些任務會成功。
所以，社交媒體的吹捧熱情和公司估值與現(xiàn)實世界的真實效用并不匹配。
但我們還是需要可靠的、可交付的產(chǎn)品和服務來推動增長，不是嗎？
截至目前，Devin背后的公司Cognition AI沒有回應置評請求。
2.Devin自主執(zhí)行任務的原理
“Devin”被譽為自主編程智能體，于 2024 年 3 月推出。該機器人的創(chuàng)建者是一家名為 Cognition AI 的機構，它聲稱“Devin 可以端到端地構建和部署應用程序”，以及“可以自主查找和修復代碼庫中的錯誤”。該工具于 2024 年 12 月正式發(fā)布，起價為每月 500 美元。
根據(jù) Cognition 官方文檔的描述，Devin 是一名自主的 AI 軟件工程師，可以編寫、運行和測試代碼，幫助軟件工程師完成個人任務或團隊項目，它可以審查 PR、支持代碼遷移、響應隨叫隨到的問題、構建 Web 應用程序，甚至執(zhí)行個人助理任務，例如在 DoorDash 上訂購午餐，以便您可以專注于您的代碼庫。
原理上大概是這樣：該服務使用 Slack 作為其命令的主接口，這些命令被發(fā)送到其所在的計算環(huán)境，一個托管終端、瀏覽器、代碼編輯器和規(guī)劃器的 Docker 容器。AI 代理支持與外部服務的 API 集成。例如，這允許它通過 SendGrid 代表用戶發(fā)送電子郵件。
Devin 是一個“復合 AI 系統(tǒng)”，這意味著它依賴于多個底層 AI 模型，其中包括 OpenAI 的 GPT-4o，并且之后會有更過的模型加入。
從理論上講，用戶能夠要求Devin執(zhí)行將代碼遷移到 Jupyter Notebook 開發(fā)平臺 nbdev 等任務，并期望它能夠成功完成這些任務。但這可能要求太高了。
3.早期就被曝視頻造假，問題還很多
去年3月，Devin 在爆火不久后，就被人曝料早期評估發(fā)現(xiàn)了問題。起因是Cognition AI 發(fā)布了一段宣傳視頻，引起了業(yè)界的廣泛關注，據(jù)稱該視頻展示了 AI 編碼員可以在自由職業(yè)者平臺 Upwork 上自主完成項目來賺錢。
圖片
但很快，軟件開發(fā)人員 Carl Brown 分析了該視頻，并在他的 Internet of Bugs YouTube 頻道上揭穿了它：自己對于視頻中操作只需要36分鐘，而用Devin則至少需要6小時甚至可能超過一天的時間。
另外，Devin 還因涉嫌包含關鍵安全問題而被另一位 YouTube 代碼專家點名批評。
只能說，即便是較為成熟的編程賽道，要做一款另用戶真正滿意的自主Agent，任重道遠。
參考鏈接：https://www.answer.ai/posts/2025-01-08-devin.html#appendix-tasks-attempted-with-devin
