2024年即將結束，回顧這一年與大語言模型（LLMs）的共同進步，我們見證了許多令人振奮的變化。每個月，約有30,000名新用戶加入了 LangSmith，這讓我們得以更清楚地觀察到人工智能領域的變革。

就像去年我們所做的那樣，我們在此分享一些有趣的統計數據，揭示了產品使用模式的變化，以及人工智能生態系統的演變。特別是隨著開發者利用 LangSmith 來跟蹤、評估并迭代應用，觀察到一些顯著的趨勢，包括開源模型的使用增長，以及從以檢索為主的工作流轉向了多步驟的 AI 代理應用。

接下來，我們將通過一些關鍵統計數據，深入了解開發者正在關注和構建的內容。

基礎設施使用趨勢

隨著大語言模型（LLMs）的快速發展，大家不禁要問：“哪些模型最受歡迎？”讓我們來一起看看這一年在這方面的變化。

主要 LLM 提供商

與去年相比，OpenAI 仍然是 LangSmith 用戶中最受歡迎的 LLM 提供商，使用量是排名第二的 Ollama 的六倍以上（按組織使用量計算）。

不過，Ollama 和 Groq 今年的增長勢頭非常強勁，成功躋身前五名。這也說明了開發者對靈活部署選項和可定制人工智能基礎設施的需求日益增加，尤其是這些平臺支持運行開源模型——Ollama 更側重于本地執行，而 Groq 更側重云端部署。

至于開源模型的使用情況，與去年相比，主要開源模型提供商保持了一定的一致性——Ollama、Mistral 和 Hugging Face 仍是大部分開發者使用的主要平臺。這些開源模型的集體使用量占到了**20%**，這顯示了開源生態系統的強勁發展。

頂級檢索工具/向量存儲

對于許多生成性人工智能（GenAI）工作流來說，檢索仍然是不可或缺的一部分。2024年，排名前列的向量存儲工具并未發生太大變化，Chroma 和 FAISS 仍然是最受歡迎的選擇。今年，Milvus、MongoDB 和 Elastic 也成功進入了前十名。

LangChain產品在應用構建中的使用

隨著開發者對生成性人工智能的使用經驗不斷積累，他們開始構建更加復雜和動態的應用。我們觀察到，從日益復雜的工作流到 AI 代理的崛起，創新生態系統正在不斷發展。

可觀察性不僅限于 LangChain 應用

雖然 LangChain（我們的開源框架）是許多開發者構建 LLM 應用的核心，但 LangSmith 的數據表明，約 15.7% 的跟蹤數據來自 非LangChain框架。這反映了一個趨勢：無論開發者使用何種框架來構建 LLM 應用，系統的可觀察性和監控都是至關重要的，而 LangSmith 完全支持不同框架之間的互操作性。

Python 依然主導，JavaScript 使用增長

對于許多開發者來說，調試、測試和監控仍然是至關重要的環節，因此Python SDK占據了LangSmith使用量的絕大部分，達到 84.7%。不過，隨著開發者轉向以 Web 為主的應用，JavaScript SDK 也呈現出顯著增長，使用量達到了 LangSmith 總使用量的 **15.3%**，是去年的三倍之多。

AI 代理的關注度持續提升

隨著企業在各個行業中越來越多地采用 AI 代理，我們的控制代理框架 LangGraph 的使用量也在不斷增加。自從2024年3月發布以來，43% 的 LangSmith 組織正在使用 LangGraph 進行跟蹤。相比于傳統的 LLM 交互，LangGraph 允許開發者實現更復雜的任務。

與此同時，工具調用的增加也是一個顯著趨勢，我們看到 21.9% 的跟蹤數據涉及工具調用，相比2023年的 0.5% 增長了很多。這表明模型開始更加自主地決定何時采取行動，增強了與外部系統的互動能力，比如執行數據庫寫入等任務。

性能與優化

在應用開發中，平衡速度與復雜性是一個重要挑戰——尤其是在涉及 LLM 資源時。我們將進一步探討開發者如何優化應用，確保高效性能和復雜性之間的平衡。

復雜性不斷增長，任務處理更高效

過去一年中，平均步驟數翻倍，從 2023年 的 2.8步 增長到 2024年的7.7步。這表明開發者越來越多地采用多步驟的工作流——例如，信息檢索、數據處理和生成結果等操作。這些系統能夠串聯多個任務，提高了工作的綜合效率。

相比之下，LLM調用次數的增長較為溫和——從 1.1次 增長到 1.4次。這表明開發者正在設計更加高效的系統，通過較少的 LLM 調用完成更多任務，從而有效控制高成本的 LLM 請求。

LLM 測試與評估

為了確保生成的LLM響應質量和準確性，開發者通常采取哪些措施進行測試？雖然保持高質量的LLM應用始終是個挑戰，越來越多的組織開始借助 LangSmith 的評估能力來實現自動化測試和用戶反饋循環，從而提升應用的可靠性和穩定性。

LLM 作為評估工具

開發者正在使用 LLM 來評估輸出結果，判斷其是否符合預設標準。最常見的測試特征包括：相關性、準確性、完全匹配 和 有用性。

這些測試結果表明，開發者通常進行基礎檢查，以確保生成的 AI 輸出不會完全偏離目標。

通過人工反饋不斷迭代

人工反饋對于迭代開發至關重要。借助 LangSmith，開發者可以更加高效地收集和整合人工反饋，進而改進和優化應用。在過去的一年里，標注的運行記錄數量增加了 18倍，這與 LangSmith 使用量的增長保持一致。

每次運行的反饋量也略有增加，從 2.28條 增長到 2.59條。然而，盡管每次運行的反饋數量有所增加，整體反饋仍然偏少，開發者可能更注重快速審查，或只對最關鍵的部分進行反饋。

結論

2024年，開發者通過構建多步驟的代理模型應對更高的復雜性，采用更高效的工作流，并通過反饋和評估提高了應用的質量。隨著更多 LLM 應用的出現，開發者對更智能的工作流、更高效的性能和更強的可靠性提出了更高的要求。

本文轉載自 ??AI小智??，作者： AI小智