InfoWorld 公布了 2023 年最佳開源軟件榜單，旨在表彰年度領先的軟件開發、數據管理、分析、人工智能和機器學習開源工具。

InfoWorld 是致力于引領 IT 決策者走在科技前沿的國際科技媒體品牌，每年 InfoWorld 都會根據軟件對開源界的貢獻，以及在業界的影響力評選出當年的 “最佳開源軟件” (InfoWorld's Best of Open Source Software Awards, Bossies)，該獎項評選已經延續了十多年。

此次上榜的 25 個軟件涵蓋編程語言、運行時、應用程序框架、數據庫、分析引擎、機器學習庫、大型語言模型 (LLM)、用于部署 LLM 的工具等領域，具體如下（點擊每個項目名可跳轉進入項目介紹頁面）：

Apache Hudi

在構建開放式數據湖或湖倉一體時，許多行業都需要一個更可發展和可變化的平臺。以出版商、廣告商和媒體買家的廣告平臺為例，僅有快速分析是不夠的。InfoWorld 認為，Apache Hudi 不僅提供了快速的數據格式、表格和 SQL，還使它們能夠進行低延遲的實時分析。它與 Apache Spark、Apache Flink 以及 Presto、StarRocks 和 Amazon Athena 等工具集成。簡而言之，如果你想在數據湖上進行實時分析，Hudi 是一個非常不錯的選擇。

Apache Iceberg

“HDFS 和 Hive 太慢了”。Apache Iceberg 不僅能與 Hive 協同工作，還能直接與 Apache Spark 和 Apache Flink 以及 ClickHouse、Dremio 和 StarRocks 等其他系統協同工作。Iceberg 可為所有這些系統提供高性能的表格式，同時支持完整的模式演進、數據壓縮和版本回滾。Iceberg 是許多現代開放數據湖的關鍵組成部分。

Apache Superset

多年來，Apache Superset 一直是數據可視化領域的佼佼者。對于想要大規模部署自助服務、面向客戶或面向用戶的分析工具的人來說，Superset 幾乎是唯一的選擇。Superset 幾乎可以為任何分析場景提供可視化功能，包括從餅狀圖到復雜的地理空間圖表。它適用于大多數 SQL 數據庫，并提供 drag-and-drop builder  和 SQL IDE。如果你要對數據進行可視化，Superset 值得一試。

Bun

Bun 是采用 Zig 語言編寫的高性能 “全家桶” JavaScript 運行時，官方稱其為 "all-in-one JavaScript runtime"。Bun 提供了打包、轉譯、安裝和運行 JavaScript & TypeScript 項目的功能，內置原生打包器 (native bundler)、轉譯器、task runner、npm 客戶端，以及 fetch、WebSocket等 Web API。

InfoWorld 評價稱，當你以為 JavaScript 已經進入可預見的 routine 時，Bun 出現了。這個 “輕佻” 的名字掩蓋了它嚴肅的目標：將服務器端 JS-- 運行時、捆綁程序、包管理器 -- 所需的一切都集成到一個工具中。讓它成為 Node.js 和 NPM 的直接替代品，但速度要快得多。這個簡單的主張似乎讓 Bun 成為了自 Node 顛覆 applecart 以來最具顛覆性的 JavaScript 工具。

Bun 的速度部分歸功于 Zig，其余則歸功于創始人 Jared Sumner 對性能的執著追求。除了性能之外，將所有工具集成在一個軟件包中，也讓 Bun 成為 Node 和 Deno 的有力替代品。

Claude 2

Anthropic 的 Claude 2 在單個提示中最多可接受 100K tokens（約 7 萬字），并可生成多達數千個 tokens 的故事。Claude 可以編輯、改寫、總結、分類、提取結構化數據、根據內容進行問答等。它在英語方面的訓練最多，但在其他一系列常用語言方面也表現出色。Claude 還掌握了大量常用編程語言的知識。

Claude 從一開始就被訓練成 helpful、honest 以及 harmless 的機器人，并經過廣泛的重新訓練，變得更加無害，更難產生攻擊性或危險的輸出。它不會根據你的數據進行訓練，也不會在互聯網上查詢答案。

CockroachDB

CockroachDB 是一種分布式 SQL 數據庫，可實現強一致性 ACID 事務，通過實現數據庫讀寫的水平擴展性，解決了高性能、事務繁重型應用程序的關鍵擴展性問題。CockroachDB 還支持多區域和多云部署，以減少延遲并遵守數據法規。部署實例包括 Netflix 的數據平臺，該平臺擁有 100 多個 CockroachDB 生產集群，支持媒體應用和設備管理。主要客戶包括 Hard Rock Sportsbook、摩根大通、桑坦德銀行和 DoorDash。

CPython

在 Python 3.11 和 Python 3.12 這兩個版本中，Python 核心開發團隊對 Python 解釋器的參考實現 CPython 進行了一系列變革性升級。其結果是，Python 運行時性能對所有人來說都實現了大幅提升，而不僅限于那些選擇使用新庫或 cutting-edge 語法的少數人。

InfoWorld 認為，全局解釋器鎖（Global Interpreter Lock）是阻礙 Python 真正實現多線程并行的一個長期障礙。

DuckDB

DuckDB 是一種分析數據庫，它秉承了 SQLite 等小型但功能強大的項目的精神。DuckDB 提供所有熟悉的 RDBMS 功能 --SQL 查詢、ACID 事務、二級索引 -- 但增加了分析功能，如大型數據集的連接和聚合。它還可以攝取和直接查詢常見的大數據格式，如 Parquet。

HTMX 和 Hyperscript 

HTMX 采用了大眾所熟悉和喜愛的 HTML，并通過增強功能對其進行了擴展，使編寫現代網絡應用程序變得更加容易。HTMX 消除了用于連接網絡前端和后端的大量模板 JavaScript。相反，它使用直觀的 HTML 屬性來執行任務，如發出 AJAX 請求和用數據填充元素。

同類項目 Hyperscript 引入了類似于 HyperCard 的語法，簡化了許多 JavaScript 任務，包括異步操作和 DOM 操作。總之，HTMX 和 Hyperscript 為當前的反應式框架趨勢提供了一個大膽的替代方案。

Istio

Istio 是一個服務網格，可為基于容器的微服務簡化網絡和通信，提供流量路由、監控、日志記錄和可觀測性，同時通過加密、身份驗證和授權功能增強安全性。

Istio 將通信及其安全功能與應用程序和基礎架構分離開來，從而實現了更安全、更一致的配置。該架構由部署在 Kubernetes 集群中的控制平面和用于控制通信策略的數據平面組成。2023 年，Istio 從 CNCF 孵化項目中畢業，在云原生社區中獲得包括谷歌、IBM、紅帽、Solo.io 等公司在內的支持和貢獻。

Kata Containers

Kata Containers 結合了容器的速度和虛擬機的隔離性，是一種安全的容器運行時，使用了英特爾 Clear Containers 和 Hyper.sh runV。Kata Containers 可與 Kubernetes 和 Docker 協同工作，同時支持多種硬件架構，包括 x86_64、AMD64、Arm、IBM p 系列和 IBM z 系列。

獲得了谷歌云、微軟、AWS、阿里云、思科、戴爾、英特爾、紅帽、SUSE 和 Ubuntu 等企業的贊助。

LangChain

LangChain 是一個模塊化框架，可簡化由語言模型驅動的應用程序的開發。LangChain 使語言模型能夠連接到數據源并與其環境交互。LangChain 組件是模塊化抽象和抽象實現的集合。

LangChain off-the-shelf chains 是組件的結構化組合，用于完成特定的高級任務。你可以使用組件定制現有的鏈，也可以構建新的鏈。LangChain 目前有三個版本： 一個是 Python 版本，一個是 TypeScript/JavaScript 版本，還有一個是 Go 版本。截至目前，已有大約 160 個 LangChain 集成。

Language Model Evaluation Harness

當一個新的大語言模型（LLM）發布時，通常都會被進行評估，將該模型與 ChatGPT 在某個基準上進行比較，很多公司可能會使用 lm-eval-harness 來生成評估分數。lm-eval-harness 由分布式人工智能研究所 EleutherAI 創建，包含 200 多個基準，而且很容易擴展。該工具甚至被用來發現現有基準中的不足，以及為 Hugging Face 的開放式 LLM 排行榜提供支持。

Llama 2

Llama 2 是 Meta AI 的下一代大型語言模型，與 Llama 1 相比，其訓練數據量增加了 40%（來自公開來源的 2 萬億個 tokens），上下文長度增加了一倍（4096）。

Llama 2 是一個使用優化的 Transformer 架構的 auto-regressive 語言模型。調整后的版本使用了監督微調（SFT）和人類反饋強化學習（RLHF），以符合人類對有用性和安全性的偏好。Code Llama 是通過在代碼特定數據集上對 Llama 2 進行微調而訓練出來的，它可以根據代碼或自然語言提示生成代碼和有關代碼的自然語言。

Ollama

Ollama 是一款命令行工具，可在 macOS 和 Linux 上本地運行 Llama 2、Code Llama 和其他模型，并計劃支持 Windows。Ollama 目前支持近二十多個語言模型系列，每個模型系列都有許多可用的 "tags"。Tags 是模型的變體，這些模型使用不同的微調方法以不同的規模進行訓練，并以不同的級別進行量化，以便在本地良好運行。量化級別越高，模型越精確，但運行速度越慢，所需的內存也越大。

Polars

Pandas 能做到的 Polars 不一定能做到，但它能做到的事情都能以極快的速度完成 -- 比 Pandas 快 10 倍，使用的內存只有 Pandas 的一半。來自 PySpark 的開發人員會覺得 Polars API 比 Pandas 中的更易上手。如果你正在處理大量數據，Polars 會讓你的工作速度更快。

PostgreSQL

PostgreSQL 已經有 35 年的歷史，有 700 多位貢獻者參與其中，在關系數據庫管理系統中估計占有 16.4% 的市場份額。最近的一項調查顯示，在 9 萬名開發人員中，45% 的人首選 PostgreSQL。

9 月份發布的 PostgreSQL 16 提升了聚合和選擇不同查詢的性能，增加了查詢并行性，帶來了新的 I/O 監控功能，并增加了更細粒度的安全訪問控制。同樣在 2023 年，Amazon Aurora PostgreSQL 增加了 pgvector，以支持生成式 AI 嵌入，谷歌云也為 AlloyDB PostgreSQL 發布了類似的功能。

QLoRA

QLoRA 是華盛頓大學提出的一種有效的微調方法，可以減少內存使用量，足以在單個 48GB GPU 上微調 65B 參數模型，同時保留完整的 16 位微調任務性能。QLoRA 通過凍結的 4 位量化預訓練語言模型將梯度反向傳播到低階適配器 (LoRA)。

使用 QLoRA 意味著你可以在臺式機上微調 30B 以上的龐大參數模型，與在多個 GPU 上進行全面調整相比，精度損失很小。事實上，QLoRA 有時甚至做得更好。InfoWorld 評價稱，“低位推理和訓練意味著更多的人可以使用 LLM-- 這不正是開源的意義所在嗎？”

RAPIDS

RAPIDS 是用于常見數據科學和分析任務的 GPU 加速庫的集合。每個庫處理特定的任務，例如用于數據幀處理的 cuDF、用于圖形分析的 cuGraph 和用于機器學習的 cuML 。

其他庫涵蓋圖像處理、信號處理和空間分析，而集成則將 RAPIDS 引入 Apache Spark、SQL 和其他工作負載。如果現有的庫都不符合要求，RAPIDS 還包括 RAFT，這是用于構建自己的解決方案的 GPU-accelerated primitives 的集合。RRAPIDS 還可與 Dask 攜手跨多個節點進行擴展，并與 Slurm 一起在高性能計算環境中運行。

Spark NLP

Spark NLP 是一個自然語言處理庫，可在 Apache Spark 上運行，支持 Python、Scala 和 Java。該庫可幫助開發人員和數據科學家嘗試使用大型語言模型，包括來自 Google、Meta、OpenAI 等的 Transformer 模型。

Spark NLP 的模型中心有 2 萬多個模型和管道可供下載，用于語言翻譯、命名實體識別、文本分類、問題解答、情感分析和其他用例。2023 年，Spark NLP 發布了許多 LLM 集成、新的圖像到文本注釋器、對所有主要公共云存儲系統的支持以及對 ONNX（開放神經網絡交換）的支持。

StarRocks

分析技術已經發生了變化。如今的公司經常要向數百萬并發用戶實時提供復雜的數據，即使是 PB 級的查詢也必須在數秒內完成。StarRocks 是一個查詢引擎，它結合了 native code（C++）、高效的基于成本的優化器、使用 SIMD 指令集的矢量處理、緩存和物化視圖，可高效處理大規模連接。

StarRocks 甚至能在直接查詢數據湖和湖倉一體（包括 Apache Hudi 和 Apache Iceberg）時提供接近原生的性能。InfoWorld 認為，無論你是在追求實時分析、提供面向客戶的分析服務，還是只是想在不移動數據的情況下查詢數據湖，StarRocks 都值得一試。

TensorFlow.js

TensorFlow.js 將谷歌 TensorFlow 機器學習框架的強大功能打包到 JavaScript 軟件包中，以最低的學習成本為 JavaScript 開發人員帶來非凡的功能。你可以在瀏覽器、帶有 WebGL 加速功能的純 JavaScript 棧或服務器上的 tfjs-node 庫中運行 TensorFlow.js。Node 庫為你提供了相同的 JavaScript API，但運行于 C 二進制程序之上，可最大限度地提高速度和 CPU/GPU 使用率。

“就對機器學習感興趣的 JS 開發人員而言，TensorFlow.js 顯然是是一個不錯的選擇。它為 JS 生態系統做出了值得歡迎的貢獻，讓廣大開發者更容易接觸到人工智能。”

vLLM

由于急于在生產中部署大語言模型，導致出現了大量專注于盡可能快地進行推理的框架。vLLM 是最有前途的框架之一，它支持 Hugging Face 模型、兼容 OpenAI 的 API 和 PagedAttention 算法。

目前，它是在生產中為 LLM 提供服務的不二之選，并且 FlashAttention 2 支持等新功能也在快速添加中。

Weaviate

生成式 AI 的蓬勃發展激發了對新型數據庫的需求，這種數據庫可以支持海量復雜的非結構化數據。向量數據庫應運而生。

Weaviate 在部署模式、生態系統集成和數據隱私方面為開發人員提供了大量靈活性。Weaviate 將關鍵詞搜索與向量搜索相結合，可快速、可擴展地發現多模態數據（文本、圖像、音頻、視頻）。它還有用于檢索增強生成（RAG）的開箱即用模塊，可為聊天機器人和其他生成式 AI 應用程序提供特定領域的數據，使其更加有用。

Zig

InfoWorld 稱，Zig 可能是當今所有的開源項目中最重要的一個。

Zig 致力于創建一種具有程序級內存控制功能的通用編程語言，其性能優于 C 語言，同時提供更強大、更不易出錯的語法。其目標是取代 C 語言，成為編程生態系統中的基準語言。由于 C 語言無處不在（即系統和設備中最常見的組件），Zig 的成功可能意味著性能和穩定性的廣泛提升。

“這是我們都應該期待的。另外，Zig 是一個優秀的、老式的草根項目，擁有著巨大的抱負和開源精神。”