OpenSearch vs Elasticsearch，誰(shuí)更勝一籌？

作者：Tinywan 2024-07-31 09:39:33

OpenSearch搜索引擎是亞馬遜自2021年1月以來(lái)維護(hù)的Elasticsearch的一個(gè)分支。在fork事件之前，它基本上是相同的代碼庫(kù)，這也是項(xiàng)目開(kāi)始略有分歧的時(shí)候。

Elasticsearch

Elasticsearch是一個(gè)流行的搜索引擎，基于Apache Lucene項(xiàng)目（也是Apache Solr的父項(xiàng)目），自2010年以來(lái)已被許多人用于搜索和日志分析。它的設(shè)計(jì)具有高度可擴(kuò)展性，可用于廣泛的應(yīng)用程序，從簡(jiǎn)單的搜索功能到復(fù)雜的數(shù)據(jù)分析。

Elasticsearch和Kibana作為Elastic Stack的一部分，都有一套強(qiáng)大的功能，包括支持全文搜索、企業(yè)搜索、真實(shí)的時(shí)間分析和地理空間查詢。它曾經(jīng)在Apache許可證下完全開(kāi)源，直到2021年初競(jìng)爭(zhēng)對(duì)手亞馬遜開(kāi)始創(chuàng)建自己的項(xiàng)目。Elasticsearch通常部署在自我管理或Elastic Cloud上。

什么是OpenSearch？

OpenSearch搜索引擎是亞馬遜自2021年1月以來(lái)維護(hù)的Elasticsearch的一個(gè)分支。在fork事件之前，它基本上是相同的代碼庫(kù)，這也是項(xiàng)目開(kāi)始略有分歧的時(shí)候。OpenSearch的一個(gè)關(guān)鍵特征是它對(duì)透明度和社區(qū)驅(qū)動(dòng)開(kāi)發(fā)的關(guān)注。

與Elasticsearch不同，OpenSearch由社區(qū)驅(qū)動(dòng)的基金會(huì)管理。這意味著任何人都可以為OpenSearch的發(fā)展做出貢獻(xiàn)。雖然這兩個(gè)軟件產(chǎn)品的代碼庫(kù)都是開(kāi)放的，任何想要審查它的人都可以檢查，但貢獻(xiàn)代碼和影響OpenSearch的方向比Elasticsearch更容易。它通常用作Amazon OpenSearch Service（以前稱為Amazon Elasticsearch Service）的一部分。

在比較這兩者時(shí)，我們將回顧C(jī)odebase作為牽引力和開(kāi)發(fā)工作的信號(hào)，以及特性-因此您可以選擇哪一個(gè)更適合您的需求。

代碼庫(kù)和發(fā)布

OpenSearch項(xiàng)目在7.10.2版本是最新版本時(shí)派生了Elasticsearch代碼庫(kù)，然后在OpenSearch代碼庫(kù)上進(jìn)行了大量工作，以重命名項(xiàng)目并清理所有非Apache許可的代碼（即X-Pack功能）。為了正確地比較兩者所做的工作，我們統(tǒng)計(jì)了自2021年4月22日以來(lái)在主/主分支上進(jìn)行的提交，這標(biāo)志著OpenSearch在幾個(gè)月前分叉后的第一個(gè)候選版本。

Elasticsearch倉(cāng)庫(kù)有近20 k次提交，其中6 k次提交到核心Elasticsearch（“服務(wù)器”文件夾），還有一些提交到衛(wèi)星模塊：

# total commits in repo since fork
?  elasticsearch git:(master) git log --oneline --all --since='Apr 22 2021' | wc -l
19527
# total commits to the main codebase (server folder) since fork
?  elasticsearch git:(master) git log --oneline --all --since='Apr 22 2021' -- server/ | wc -l
6130
# total commits to main modules (various surrounding functionality not under x-pack) since fork
# https://github.com/elastic/elasticsearch/tree/main/modules
?  elasticsearch git:(master) git log --oneline --all --since='Apr 22 2021' -- modules/ | wc -l
1437
# just as means of comparison, the amount of work made on x-pack features is not negligible
?  elasticsearch git:(master) git log --oneline --all --since='Apr 22 2021' -- x-pack/ | wc -l
7294

OpenSearch的核心代碼提交減少了超過(guò)3倍，重要模塊的工作量減少了14倍，其中包括腳本語(yǔ)言、重新索引功能、攝入管道處理器等：

?  OpenSearch git:(main) git log --oneline --all --since='Apr 22 2021' | wc -l           
3727
?  OpenSearch git:(main) git log --oneline --all --since='Apr 22 2021' -- server/ | wc -l
1966
# total commits to main modules (surrounding functionality not under x-pack) since fork
# https://github.com/opensearch-project/OpenSearch/tree/main/modules
?  OpenSearch git:(main) git log --oneline --all --since='Apr 22 2021' -- modules/ | wc -l
470

因此，與Elasticsearch發(fā)布的版本（主要和次要）相比，OpenSearch發(fā)布的版本較少。

雖然提交的數(shù)量并不是代碼質(zhì)量或軟件性能的直接證據(jù)，但很明顯，Elasticsearch項(xiàng)目在核心上看到了更多的工作，這反過(guò)來(lái)肯定會(huì)轉(zhuǎn)化為更好的性能，更多的功能，跟上最新版本的依賴項(xiàng)和Lucene功能等等-特別是當(dāng)差異達(dá)到這種程度時(shí)。

功能比較

搜索、分析和儀表板的所有基本功能在這兩種技術(shù)之間完全相同。畢竟，OpenSearch是從Elasticsearch的一個(gè)非常成熟的版本派生出來(lái)的。對(duì)于標(biāo)準(zhǔn)用例，從功能的角度來(lái)看，選擇哪個(gè)搜索引擎并不重要。

項(xiàng)目之間的功能差異將是Elastic的X-Pack（免費(fèi)或付費(fèi)）下的任何內(nèi)容，以及分叉后添加的所有功能。

對(duì)于重要的功能，去一點(diǎn)點(diǎn)以上只是基本的-那些最終存在或?qū)⒋嬖谟趦烧摺Ｗ鳛橹饕睦樱覀兛梢粤谐鲆韵聝?nèi)容：

數(shù)據(jù)流API由兩者實(shí)現(xiàn)（盡管Elasticsearch剛剛發(fā)布了OpenSearch中沒(méi)有的時(shí)間序列數(shù)據(jù)流）
索引狀態(tài)管理在OpenSearch中成為索引狀態(tài)管理
兩者都有一些警報(bào)支持（盡管我們實(shí)際上建議使用ElastAlert2，而不是任何內(nèi)置的警報(bào)解決方案）。
兩者都支持跨集群復(fù)制，在Elasticsearch中，這是一個(gè)高級(jí)層功能（不是免費(fèi)的）。

在寫(xiě)這篇文章的時(shí)候，一些利基核心功能仍然是Elasticsearch獨(dú)有的，比如geoshape和geohex網(wǎng)格聚合。

一些OpenSearch功能僅在托管服務(wù)Amazon OpenSearch Service上可用，另一方面，與Elastic Cloud不同，Elastic Cloud始終保持最新的Elasticsearch版本，Amazon的托管OpenSearch產(chǎn)品通常落后2-3個(gè)版本。

大多數(shù)主要差異存在于可用于各種用例的垂直解決方案堆棧（例如APM，SIEM等）。以下是Elasticsearch和OpenSearch之間的主要區(qū)別。

安全

Elasticsearch和OpenSearch中的安全功能是一個(gè)相當(dāng)廣泛的類別，涉及幾個(gè)功能和問(wèn)題。身份驗(yàn)證（允許用戶進(jìn)入）、授權(quán)和RBAC（基于角色的訪問(wèn)控制）、用戶模擬、審計(jì)日志、靜態(tài)和傳輸中的加密以及各種多租戶問(wèn)題。

Elasticsearch的所有內(nèi)置安全功能都是X-Pack Basic許可證的一部分，并且僅限于基于Elasticsearch的用戶目錄。從7.0版開(kāi)始，所有用戶都可以免費(fèi)使用。要使用LDAP、OpenID、SAML和更多付費(fèi)許可進(jìn)行身份驗(yàn)證，需要使用這些許可。這同樣適用于其他安全功能，如IP過(guò)濾，文檔和字段級(jí)安全等。

OpenSearch提供相同的安全功能和控制，但完全免費(fèi)。OpenSearch的安全模塊完全在開(kāi)放環(huán)境下開(kāi)發(fā)，具有所有必要的功能：Active Directory和LDAP、SAML、OpenID、訪問(wèn)控制功能（包括屏蔽和字段級(jí)安全性）、審計(jì)日志、加密支持等。

隨著安全性的發(fā)展，Elasticsearch和OpenSearch完全處于同一水平，OpenSearch通過(guò)將所有這些完全免費(fèi)作為開(kāi)源內(nèi)置模塊提供而具有優(yōu)勢(shì)。

可搜索快照

創(chuàng)建“離線”搜索體驗(yàn)的能力，從而顯著減少了使用較舊、訪問(wèn)頻率較低的數(shù)據(jù)運(yùn)行Elasticsearch集群所需的硬件數(shù)量，這對(duì)許多用例來(lái)說(shuō)是一個(gè)真正的游戲規(guī)則改變者。

Elasticsearch已經(jīng)實(shí)現(xiàn)了這個(gè)功能，并且已經(jīng)廣泛使用了一段時(shí)間;而OpenSearch最近剛剛發(fā)布了它，它仍然被標(biāo)記為實(shí)驗(yàn)性的。然而，非常重要的是- Elasticsearch需要在高層（企業(yè)）上使用此功能的付費(fèi)許可證，而在OpenSearch中，可搜索快照是一個(gè)完全免費(fèi)的功能。

此功能由托管服務(wù)提供，在Elastic Cloud中稱為“可搜索快照”或“凍結(jié)層搜索”，在Amazon OpenSearch Service中稱為“Ultrawarm”。

機(jī)器學(xué)習(xí)

我們的建議是，不要僅僅因?yàn)镋lasticsearch或OpenSearch不是專門(mén)為它構(gòu)建的，就在其上運(yùn)行機(jī)器學(xué)習(xí)和人工智能工作負(fù)載。當(dāng)然，有時(shí)候它很方便，但它不是沒(méi)有價(jià)格標(biāo)簽的。

Elasticsearch和OpenSearch應(yīng)該被認(rèn)為是服務(wù)層引擎。你應(yīng)該準(zhǔn)備好數(shù)據(jù)結(jié)構(gòu)，這樣無(wú)論是否涉及ML，都可以輕松地從它們中提供數(shù)據(jù)。例如，您可以使用向量字段（密集或稀疏向量）并使用kNN / ANN算法通過(guò)向量搜索查找類似文檔。

另一種方法是使用重新評(píng)分方法，如LTR插件所做的，以提高評(píng)分能力。

Elasticsearch和OpenSearch都為機(jī)器學(xué)習(xí)工作負(fù)載和用例提供了內(nèi)置的解決方案（或“應(yīng)用程序”），在某些情況下可能會(huì)派上用場(chǎng)（例如Elastic Stack中的內(nèi)置SIEM），但在我們看來(lái)-不是一般的，廣泛的使用。

數(shù)據(jù)攝取

當(dāng)分叉發(fā)生時(shí)，Elasticsearch已經(jīng)在作為Elastic Stack的一部分發(fā)布的所有外圍軟件工具中強(qiáng)制執(zhí)行了版本檢查。Logstash、Beats和JavaScript、Java等客戶端庫(kù)都在檢查Elasticsearch集群，以確認(rèn)它確實(shí)是Elasticsearch而不是OpenSearch。這在項(xiàng)目的這些方面產(chǎn)生了顯著的分歧-您不能在OpenSearch中使用現(xiàn)代的Logstash或Beats;因此，您需要找到替代方案。

Data Prepper技術(shù)是OpenSearch項(xiàng)目的一部分，旨在滿足這一需求。

或者，有專門(mén)的連接器準(zhǔn)備各種數(shù)據(jù)流技術(shù)，如Kafka連接Kafka，F(xiàn)link接收器用于各種來(lái)源，等等。

客戶端庫(kù)

兩者之間的一個(gè)顯著差異是易于使用各種編碼語(yǔ)言和平臺(tái)，以及客戶端庫(kù)的成熟度。

Elasticsearch擁有幾乎所有軟件開(kāi)發(fā)平臺(tái)的客戶端庫(kù)- Ruby，JavaScript，.NET，Java，Python等等。雖然它是一個(gè)HTTP REST API，但有很多不同的API，有很多細(xì)節(jié)，一個(gè)好的客戶端庫(kù)能夠提供良好的語(yǔ)法糖，并簡(jiǎn)化編寫(xiě)和維護(hù)與之交互的代碼的過(guò)程。

自從分叉以來(lái)，大多數(shù)客戶端庫(kù)在嘗試將它們連接到OpenSearch集群時(shí)都會(huì)拋出錯(cuò)誤;隨著時(shí)間的推移，這些技術(shù)自然會(huì)出現(xiàn)分歧，因此即使是核心和當(dāng)前共享的API也會(huì)在兩者之間發(fā)展和變化。因此OpenSearch需要開(kāi)發(fā)和維護(hù)自己的客戶端庫(kù)。

不幸的是，這是OpenSearch的一個(gè)大弱點(diǎn)。我們嘗試使用的各種客戶端庫(kù)都是最小的，缺乏，甚至有bug和文檔漏洞。它們并不是完全不可用，但它們通常接近于不可用。有時(shí)直接使用簡(jiǎn)單的HTTP客戶端庫(kù)比使用OpenSearch的客戶端庫(kù)更容易。

許可和限制

當(dāng)然，我們不能在沒(méi)有討論房間里的大象的情況下比較兩者，這就是許可模式。Elasticsearch以前是在Apache許可證下發(fā)布的，這是一個(gè)非常寬松的許可證。這也是OpenSearch當(dāng)前的許可證-但Elasticsearch現(xiàn)在是在一個(gè)不同的，不太寬松的許可證下發(fā)布的，許多人認(rèn)為這不是開(kāi)源許可證。

我和團(tuán)隊(duì)都不是律師--我們更喜歡保持高度的技術(shù)性，這是我們能夠提供的真實(shí)的價(jià)值。但更多的時(shí)候，我們會(huì)被問(wèn)到做X是合法的還是違反了Elastic的許可證。

要點(diǎn)是新許可證禁止將Elasticsearch API作為托管服務(wù)提供。如果你只是使用Elasticsearch作為你的應(yīng)用程序的后端-你很好去。但是有很多灰色地帶，比如將Elasticsearch嵌入作為一個(gè)整體銷售的更大解決方案的一部分，暴露一些可以被視為Elasticsearch API的API（例如通過(guò)API進(jìn)行搜索）等等。我們很多客戶都希望零風(fēng)險(xiǎn)，特別是如果他們不需要Elasticsearch的任何特殊功能-他們選擇使用OpenSearch并使用其基本功能，然后一些。

支持和文檔

OpenSearch是一個(gè)開(kāi)源項(xiàng)目，這意味著沒(méi)有官方支持。OpenSearch的托管服務(wù)，如Amazon OpenSearch Service、Aiven等，將負(fù)責(zé)為您運(yùn)行硬件和軟件，但不負(fù)責(zé)您如何使用它。

Elasticsearch背后的公司Elastic Co確實(shí)通過(guò)其標(biāo)準(zhǔn)訂閱許可證或通過(guò)Elastic Cloud上的托管產(chǎn)品提供支持。但同樣，這種支持將是有限的，并不總是提供最好的定制建議，如何使用該技術(shù)，以最好地滿足您的需求。

當(dāng)文檔不夠時(shí)，當(dāng)您需要一個(gè)真正的專家作為您值得信賴的顧問(wèn)時(shí)，我們已經(jīng)確立了我們作為Elasticsearch和OpenSearch支持的世界領(lǐng)導(dǎo)者的名字。除了咨詢和遷移服務(wù)，我們還提供24/7生產(chǎn)支持，以幫助處理緊急事務(wù)，并始終保持集群的健康運(yùn)行。

還可以查看Pulse-我們的自動(dòng)化顧問(wèn)解決方案，用于主動(dòng)監(jiān)控和支持。