Apache Spark 2.3重要特性介紹
為了繼續(xù)實現(xiàn) Spark 更快，更輕松，更智能的目標(biāo)，Spark 2.3 在許多模塊都做了重要的更新，比如 Structured Streaming 引入了低延遲的連續(xù)處理(continuous processing);支持 stream-to-stream joins;通過改善 pandas UDFs 的性能來提升 PySpark;支持第四種調(diào)度引擎 Kubernetes clusters(其他三種分別是自帶的獨立模式Standalone，YARN、Mesos)。除了這些比較具有里程碑的重要功能外，Spark 2.3 還有以下幾個重要的更新：
- 引入 DataSource v2 APIs [SPARK-15689, SPARK-20928]
- 矢量化(Vectorized)的 ORC reader [SPARK-16060]
- Spark History Server v2 with K-V store [SPARK-18085]
- 基于 Structured Streaming 的機(jī)器學(xué)習(xí)管道API模型 [SPARK-13030, SPARK-22346, SPARK-23037]
- MLlib 增強(qiáng) [SPARK-21866, SPARK-3181, SPARK-21087, SPARK-20199]
- Spark SQL 增強(qiáng) [SPARK-21485, SPARK-21975, SPARK-20331, SPARK-22510, SPARK-20236]
這篇文章將簡單地介紹上面一些高級功能和改進(jìn)，更多的特性請參見 Spark 2.3 release notes：https://spark.apache.org/releases/spark-release-2-3-0.html。
毫秒延遲的連續(xù)流處理
Apache Spark 2.0 的 Structured Streaming 將微批次處理(micro-batch processing)從它的高級 APIs 中解耦出去，原因有兩個：首先，開發(fā)人員更容易學(xué)習(xí)這些 API，不需要考慮這些 APIs 的微批次處理情況;其次，它允許開發(fā)人員將一個流視為一個***表，他們查詢流的數(shù)據(jù)，就像他們查詢靜態(tài)表一樣簡便。
但是，為了給開發(fā)人員提供不同的流處理模式，社區(qū)引入了一種新的毫秒級低延遲(millisecond low-latency)模式：連續(xù)模式(continuous mode)。
在內(nèi)部，結(jié)構(gòu)化的流引擎逐步執(zhí)行微批中的查詢計算，執(zhí)行周期由觸發(fā)器間隔決定，這個延遲對大多數(shù)真實世界的流應(yīng)用程序來說是可以容忍的。
對于連續(xù)模式，流讀取器連續(xù)拉取源數(shù)據(jù)并處理數(shù)據(jù)，而不是按指定的觸發(fā)時間間隔讀取一批數(shù)據(jù)。通過不斷地查詢源數(shù)據(jù)和處理數(shù)據(jù)，新的記錄在到達(dá)時立即被處理，將等待時間縮短到毫秒，滿足低延遲的應(yīng)用程序的需求，具體如下面圖所示：
目前連續(xù)模式支持 map-like Dataset 操作，包括投影(projections)、selections以及其他 SQL 函數(shù)，但是不支持 current_timestamp(), current_date() 以及聚合函數(shù)。它還支持將 Kafka 作為數(shù)據(jù)源和數(shù)據(jù)存儲目的地(sink)，也支持 console 和 memory sink。
現(xiàn)在，開發(fā)人員可以根據(jù)延遲要求選擇模式連續(xù)或微量批處理，來構(gòu)建大規(guī)模實時流式傳輸應(yīng)用程序，同時這些系統(tǒng)還能夠享受到 Structured Streaming 提供的 fault-tolerance 和 reliability guarantees 特性。
簡單來說，Spark 2.3 中的連續(xù)模式是實驗性的，它提供了以下特性：
- 端到端的毫秒級延遲
- 至少一次語義保證
- 支持 map-like 的 Dataset 操作
- 流與流進(jìn)行Join
Spark 2.0 版本的 Structured Streaming 支持流 DataFrame/Dataset 和靜態(tài)數(shù)據(jù)集之間的 join，但是 Spark 2.3 帶來了期待已久的流和流的 Join 操作。支持內(nèi)連接和外連接，可用在大量的實時場景中。
廣告收益是流與流進(jìn)行Join的典型用例。例如，展示廣告流和廣告點擊流共享您希望進(jìn)行流式分析的公共關(guān)鍵字(如adId)和相關(guān)數(shù)據(jù)，根據(jù)這些數(shù)據(jù)你可以分析出哪些廣告更容易被點擊。
這個例子看起來很簡答，但是實現(xiàn)流和流的Join需要解決很多技術(shù)難題，如下：
- 需要緩存延遲的數(shù)據(jù)，直到從其他流中找到匹配的事件;
- 通過 watermark 機(jī)制來限制緩存區(qū)使用增長;
- 用戶可以在資源使用和延遲之間作出權(quán)衡;
- 靜態(tài)連接和流式連接之間保持一致的SQL連接語義。
Apache Spark 和 Kubernetes
Apache Spark 和 Kubernetes 結(jié)合了它們的功能來提供大規(guī)模的分布式數(shù)據(jù)處理一點都不奇怪。在 Spark 2.3 中，用戶可以利用新的 Kubernetes scheduler backend 在 Kubernetes 集群上啟動 Spark 工作。 這使得 Spark 作業(yè)可以和 Kubernetes 集群上的其他作業(yè)共享資源。
此外，Spark 可以使用所有管理功能，例如資源配額(Resource Quotas)，可插拔授權(quán)(Pluggable Authorization)和日志記錄(Logging)。
支持 PySpark 的 Pandas UDFs
Pandas UDFs 也稱為 Vectorized UDFs，是提升 PySpark 性能的主要推動力。它構(gòu)建在 Apache Arrow 的基礎(chǔ)上，為您提供兩全其美的解決方案：低開銷和高性能的UDF，并完全使用 Python 編寫。
在 Spark 2.3 中，有兩種類型的 Pandas UDF：標(biāo)量(scalar)和分組映射(grouped map)。 兩者均可在 Spark 2.3 中使用。
下面是運行的一些基準(zhǔn)測試，可以看出 Pandas UDFs 比 row-at-time UDFs 提供更好的性能。
MLlib 提升
Spark 2.3 包含了許多 MLlib 方面的提升，主要有算法、特性、性能、擴(kuò)展性以及可用性。這里只介紹其中三方面。
首先，為了將 MLlib 模型和 Pipelines 移動到生產(chǎn)環(huán)境，現(xiàn)在擬合的模型(fitted models)和 Pipelines 可以在 Structured Streaming 作業(yè)中使用。 一些現(xiàn)有的管道(Pipelines)需要修改才能在流式作業(yè)中進(jìn)行預(yù)測。
其次，為了實現(xiàn)許多 Deep Learning 圖像分析用例，Spark 2.3 引入了 ImageSchema [SPARK-21866] 用于在 Spark DataFrame中表示圖像，以及加載常見格式圖像的實用程序。
***，對于開發(fā)人員來說，Spark 2.3 引入了改進(jìn)的 Python API以編寫自定義算法。
