基于生成式人工智能工具，比如ChatGPT、Bard等聊天機器人的出現，以及如何將AI工具用于學術研究引發了巨大的爭議，但與此同時，AI生成的代碼用于科學研究的價值被忽視了。

與ChatGPT生成文本導致的剽竊問題相比，用AI抄代碼顯然爭議更小，開放科學甚至鼓勵「代碼共享」和「代碼重用」，溯源起來也很方便，比如python里用到「import」導入依賴包就算引用。

最近Nature上發表了一篇評論文章，作者團隊討論了ChatGPT在科學編程領域的三個潛在能力，包括頭腦風暴、分解復雜任務、以及處理簡單但耗時的任務。

文章鏈接：https://www.nature.com/articles/s41559-023-02063-3

研究人員通過使用ChatGPT將自然語言翻譯成計算機可讀代碼，探索了使用生成式AI來增強科學編碼的能力和局限性。

實驗中的例子主要探索了可能與生態學、進化及其他領域相關的通用任務，研究人員發現，使用ChatGPT可以完成80%-90%的代碼編寫任務。

如果任務被分解成小的、可管理的代碼塊，并帶有精確的提示作為查詢，ChatGPT可以生成非常有用的代碼。

值得注意的是，用Google的Bard進行同樣的實驗通常會得到類似的結果，但代碼中的錯誤更多，所以這篇文章主要使用ChatGPT進行實驗。

第一作者Cory Merow是一位定量生態學家，主要研究方向是建立機制模型來預測人口和社區對環境變化的反應。即使是最好的數據集在預測全球變化反應方面也是不完善的，所以需要開發一些工具來結合數據源和探索數據集，以深入了解生物系統可能發生的變化。

ChatGPT助力科學編碼

ChatGPT以回歸模型GPT-3為基礎，在海量的網頁、書籍等文本上進行擬合訓練，不需要搜索即可生成文本。

所以ChatGPT更擅長內插（interpolating，即預測與訓練數據相似的文本），而不擅長外推（extrapolating，即預測與訓練樣本不同的新文本）。

訓練集的龐大規模是一個優勢，意味著GPT-3已經看到了大量的語言模式，使其能夠內插并增加生成對人類有用回復的可能性。

不過對代碼生成任務來說，GPT-3并不知道如何編程，只是知道代碼看起來像什么樣，以及哪些詞最可能出現在下一個位置，其工作原理類似于自動補全，基于概率模型預測下一個代碼塊（chunk），塊通常比詞（word）要小，也可以叫做token

生成正確token的概率基于所有token的概率乘積，即增加預測token的數量或降低選中token的確定性會增加任務的難度，從而降低獲得正確token的概率。

因此，想要增加正確token的概率，需要縮短生成任務的長度，或是提供更具體的指令。

最后，研究人員提醒，ChatGPT生成的文本有些看起來像代碼，但可能無法執行，所以在編碼過程中需要仔細觀察調試。

頭腦風暴工具

ChatGPT可以很好地檢索多個數據源，例如在生態領域可以同時獲取植物性狀、物種分布區域和氣象數據。

雖然ChatGPT提供的數據有些是不正確的，但通過其提供的鏈接可以很快地校正這些錯誤。

不過ChatGPT并不能寫爬蟲從網站上下載數據，可能是因為R語言的包和底層應用程序接口（如R訪問數據庫的協議）更新過快，畢竟ChatGPT的訓練數據是在2021年構建的。

ChatGPT可以在遇到特定問題時提出各種統計技術，在后續的提問中可以生成更多基于用戶假設的指導意見，并提供一份初始代碼。

不過綜合（synthesis）過程只適用于提出并交流想法，仍然需要通過傳統的數據源（如論文等）進行事實核查。

需要注意的是，一些網站聲稱ChatGPT有能力對書籍寫摘要，不過從研究人員的測試結果來看，這種摘要綜合的結果完全不對，可能是因為測試用的書籍沒有在GPT-3訓練集中出現。

更難的任務需要更多的debug

ChatGPT非常擅長生成模板代碼，在特定指令下提供一份包含少量函數的短腳本代碼。

比如下面的例子中，研究人員要求ChatGPT將四個常用函數的輸入和輸出串一起。并提供一個將此函數用于模擬數據的示例代碼。

可以看到ChatGPT生成的結果幾乎是完美的，調試代碼只花了幾分鐘，不過需要在提示中非常具體地說明query，包括提供命名和用到的函數。

研究人員發現，成功的關鍵在于：

1、將復雜任務分解成多個子任務，每個子任務最好只需要少數幾個步驟即可完成，畢竟ChatGPT生成的代碼是基于概率文本預測模型的結果。

2、ChatGPT在使用已經存在的函數時表現最佳，因為這時只涉及內插而非外推。

例如，使用正則表達式（regex）從文本中提取信息的代碼對于許多開發人員來說是非常困難的，不過因為已經有正則網站提供了大量在線示例，并可能出現在ChatGPT示例中，所以ChatGPT寫正則的性能還是不錯的。

3、學術界對ChatGPT最大的批評之一是其信息來源缺乏透明度。

對于代碼生成任務，通過指定「命名空間」（namespace），即在使用函數時顯式調用包名可以實現一定程度的透明性。

不過ChatGPT可能會直接復制個人的公開代碼而沒有引用出來，并且研究人員仍然有責任驗證正確的代碼歸屬人。

同時，如果要求生成更長的腳本會暴露出一些ChatGPT的缺陷，例如偽造函數名或參數等，這也是StackOverflow禁用ChatGPT生成代碼的原因。

但如果用戶提供了一組明確的執行步驟，ChatGPT仍然可以生成一個有用的工作流模板，定義步驟之間的輸入和輸出之間的連接，這可能是用GPT-3外推生成新代碼的最有用的途徑。

目前ChatGPT還不能將偽代碼（用簡單語言描述的算法步驟） 轉換為完美的計算機可執行代碼，但這可能離現實并不遙遠。

ChatGPT對于初學者、不熟悉的編程語言來說特別有幫助，因為初學者只會寫一些較短的腳本，調試更方便。

ChatGPT更擅長非創造性任務

ChatGPT最擅長解決的是耗時的公式化任務，可用于調試、檢測和解釋代碼中的錯誤。

ChatGPT在編寫函數文檔時也非常有效，例如使用roxygen 2的內聯文檔語法，在標識出所有參數及類上非常高效，不過卻很少解釋如何使用函數。

一個關鍵的限制是ChatGPT的生成被限制在大約500個單詞，只能專注于較小代碼塊的生成，同時還可以生成單元測試以自動化確認代碼功能。

ChatGPT給出的大多數建議在定義測試的結構和檢查預期的對象類方面是很有幫助的。

最后，ChatGPT在對代碼進行重新格式化以遵循標準化（例如Google）代碼樣式方面非常有效。

未來屬于偽代碼

ChatGPT和其他人工智能驅動的自然語言處理工具已經準備好將開發人員的簡單任務進行自動化，例如編寫短函數，語法調試，注釋和格式化，而擴展復雜性取決于用戶的調試意愿（以及他們的熟練程度）。

研究人員總結了ChatGPT在代碼生成上的功能，可以簡化科學領域的代碼編寫過程，不過人工檢查仍然是必要的，可運行的代碼并不一定意味著代碼能夠執行預期的任務，因此單元測試或非正式的交互式測試仍然至關重要。

在解決方案可能由人類開發，并由ChhatGPT簡單復制生成的情況下，確保正確的代碼歸屬人至關重要。

目前已經有聊天機器人開始自動提供指向其來源的鏈接（例如，微軟的必應），盡管這一步還處于起步階段。

與傳統方法相比，ChatGPT提供了一種學習編碼技能的替代方法，通過將偽代碼直接轉換為代碼，可以緩解編寫初始任務的障礙。

研究人員懷疑未來的進展將使用ChatGPT這樣的工具來自動調試編寫的代碼，根據遇到的錯誤迭代地生成、運行和提出新代碼，在實驗過程中，研究人員發現糾正代碼的能力有限，只有在非常具體的指令針對小代碼塊時才會偶爾成功，調試過程的效率遠低于人工調試。

研究人員猜想，隨著技術的進步（比如最近發布的GPT-4模型 ，據稱比GPT-3模型大10倍），自動化調試將會得到改進。

未來即將到來，現在是開發人員學習提示工程技能以利用新興AI工具的時候了，研究人員預計，使用人工智能生成的代碼將成為軟件開發各個方面越來越有價值的技能，這些技能是科學發現和理解的基礎。