zure Synapse Analytics 是一項(xiàng)針對(duì)大型公司的無(wú)限信息分析服務(wù)，它被呈現(xiàn)為 Azure SQL 數(shù)據(jù)倉(cāng)庫(kù) (SQL DW) 的演變，將業(yè)務(wù)數(shù)據(jù)存儲(chǔ)和宏或大數(shù)據(jù)分析結(jié)合在一起。

在處理、管理和提供數(shù)據(jù)以滿足即時(shí)商業(yè)智能和數(shù)據(jù)預(yù)測(cè)需求時(shí)，Synapse 為所有工作負(fù)載提供單一服務(wù)。后者通過(guò)與 Power BI 和 Azure 機(jī)器學(xué)習(xí)的集成而成為可能，因?yàn)?Synapse 能夠使用 ONNX 格式集成數(shù)學(xué)機(jī)器學(xué)習(xí)模型。它提供了處理和查詢大量信息的自由度.作為微軟在西班牙為數(shù)不多的 Power BI 合作伙伴之一，在 Bismart，我們?cè)谑褂?Power BI 和 Azure Synapse 方面擁有豐富的經(jīng)驗(yàn)。

Azure Synapse 分析如何工作?

微軟的服務(wù)是SaaS(軟件即服務(wù))，可以按需使用，只在需要的時(shí)候運(yùn)行(這對(duì)成本節(jié)約有影響)。它有四個(gè)組成部分：

• 具有完整基于 T-SQL 的分析的 SQL 分析：SQL 集群(按計(jì)算單位付費(fèi))和 SQL 按需(按處理的 TB 付費(fèi))。
• Apache Spark 完全集成。
• 具有多個(gè)數(shù)據(jù)源的連接器。

Azure Synapse 使用 Azure Data Lake Storage Gen2 作為數(shù)據(jù)倉(cāng)庫(kù)和包含管理、監(jiān)視和元數(shù)據(jù)管理部分的一致數(shù)據(jù)模型。在安全領(lǐng)域，它允許您保護(hù)、監(jiān)視和管理您的數(shù)據(jù)和分析解決方案，例如使用單點(diǎn)登錄和 Azure Active Directory 集成。基本上，Azure Synapse 完成了整個(gè)數(shù)據(jù)集成和 ETL 過(guò)程，它不僅僅是一個(gè)普通的數(shù)據(jù)倉(cāng)庫(kù)，因?yàn)樗ㄔ撨^(guò)程的進(jìn)一步階段，使用戶還可以創(chuàng)建報(bào)告和可視化。

在編程語(yǔ)言支持方面，它提供了 SQL、Python、.NET、Java、Scala 和 R 等多種語(yǔ)言的選擇。這使其非常適合不同的分析工作負(fù)載和不同的工程配置文件。

一切都包含在 Synapse Analytics Studio 中，可以輕松地將人工智能、機(jī)器學(xué)習(xí)、物聯(lián)網(wǎng)、智能應(yīng)用程序或商業(yè)智能集成到同一個(gè)統(tǒng)一平臺(tái)中。

使用 T-SQL 和 Spark

關(guān)于執(zhí)行時(shí)間，它允許兩個(gè)引擎。一方面是傳統(tǒng)的 SQL 引擎 (T-SQL)，另一方面是 Spark 引擎。通過(guò)這種方式，可以將 T-SQL 用于批處理、流式處理和交互式處理，或者在需要使用 Python、Scala、R 或 .NET 進(jìn)行大數(shù)據(jù)處理時(shí)使用 Spark。

在這里，它直接鏈接到 Azure Databricks，這是一種基于 Apache Spark 的人工智能和宏數(shù)據(jù)分析服務(wù)，允許在交互式工作區(qū)中對(duì)共享項(xiàng)目進(jìn)行自動(dòng)可擴(kuò)展性和協(xié)作。Azure Synapse 在兩種服務(wù)之間提供了一個(gè)高性能連接器，可實(shí)現(xiàn)快速數(shù)據(jù)傳輸。這意味著可以繼續(xù)使用 Azure Databricks(Apache Spark 的優(yōu)化)和專門(mén)用于提取、轉(zhuǎn)換和加載 (ETL) 工作負(fù)載的數(shù)據(jù)架構(gòu)，以大規(guī)模準(zhǔn)備和塑造數(shù)據(jù)。反過(guò)來(lái)，Azure Synapse 和 Azure Databricks 可以對(duì) Azure Data Lake Storage 中的相同數(shù)據(jù)運(yùn)行分析。

Azure Synapse 和 Azure Databricks 為我們提供了更大的機(jī)會(huì)，可以將分析、商業(yè)智能和數(shù)據(jù)科學(xué)解決方案與服務(wù)之間的共享數(shù)據(jù)湖相結(jié)合。

在實(shí)現(xiàn)最大兼容性和功率的道路上

最初，Microsoft 服務(wù)是作為公司必須面對(duì)的兩個(gè)基本問(wèn)題的解決方案而提出的。首先是兼容性。它集成的數(shù)據(jù)分析系統(tǒng)能夠同時(shí)處理傳統(tǒng)系統(tǒng)和非結(jié)構(gòu)化數(shù)據(jù)以及各種數(shù)據(jù)源。因此，它能夠分析存儲(chǔ)在系統(tǒng)中的數(shù)據(jù)，例如客戶數(shù)據(jù)庫(kù)(姓名和地址位于像電子表格一樣排列的行和列中)以及存儲(chǔ)在數(shù)據(jù)湖中的鑲木地板格式的數(shù)據(jù)。

但它還在自動(dòng)處理任務(wù)以構(gòu)建用于分析數(shù)據(jù)的系統(tǒng)方面提供了更大的多功能性。這種增強(qiáng)的功能直接導(dǎo)致減少了程序員所需的工作量，并延長(zhǎng)了項(xiàng)目開(kāi)發(fā)時(shí)間(它是第一個(gè)也是唯一一個(gè)以 PB 級(jí)執(zhí)行所有 TPC-H 查詢的分析系統(tǒng))。

Azure Synapse 實(shí)現(xiàn)了需要幾個(gè)月的項(xiàng)目可以在幾天內(nèi)完成，或者需要幾分鐘或幾小時(shí)的復(fù)雜數(shù)據(jù)庫(kù)查詢現(xiàn)在只需幾秒鐘。

毫秒內(nèi)成功協(xié)商

除了單獨(dú)擴(kuò)展進(jìn)程和存儲(chǔ)資源之外，Azure Synapse Analytics 還因其結(jié)果緩存功能而脫穎而出(它具有完全托管的 1 TB 緩存)。因此，當(dāng)進(jìn)行查詢時(shí)，它會(huì)存儲(chǔ)在此緩存中，以加快使用相同類(lèi)型數(shù)據(jù)的下一個(gè)查詢。

這是它能夠在毫秒內(nèi)引發(fā)響應(yīng)的關(guān)鍵之一。這是因?yàn)榫彺嬖跁和！⒒謴?fù)和擴(kuò)展操作(可以通過(guò)為云設(shè)計(jì)的大規(guī)模并行處理架構(gòu)非?？焖俚丶せ?中幸存下來(lái)。

工作負(fù)載和性能

同樣值得注意的是它對(duì) JSON 的全面支持、數(shù)據(jù)屏蔽以確保高水平的安全性、對(duì) SSDT(SQL Server 數(shù)據(jù)工具)的支持，尤其是工作負(fù)載管理以及如何對(duì)其進(jìn)行優(yōu)化和隔離。在這里，多個(gè)工作負(fù)載共享實(shí)現(xiàn)的資源。這使得創(chuàng)建工作負(fù)載并為其分配 CPU 數(shù)量和并發(fā)性成為可能。

例如，在擁有 1000 個(gè) DWU(數(shù)據(jù)倉(cāng)庫(kù)單元)的情況下，Azure Synapse 有助于將工作的一部分分配給銷(xiāo)售，另一部分分配給市場(chǎng)營(yíng)銷(xiāo)(例如 60% 分配給一個(gè)，40% 分配給另一個(gè))。這個(gè)想法是為了便于管理和優(yōu)先考慮數(shù)據(jù)庫(kù)查詢。

在數(shù)據(jù)準(zhǔn)備和攝取方面，它支持以集成方式流式傳輸(Native SQL Streaming)以生成分析，例如與事件中心或物聯(lián)網(wǎng)中心集成。它通過(guò)實(shí)現(xiàn)高達(dá) 200MB/秒的高性能、以秒為單位的交付延遲、隨計(jì)算規(guī)模擴(kuò)展的攝取性能以及使用基于 Microsoft SQL 的組合、聚合、過(guò)濾器查詢的分析能力來(lái)實(shí)現(xiàn)這一目標(biāo)……

一些附加功能

最后，我們必須強(qiáng)調(diào) Azure Synapse Analytics 的其他有趣方面，這些方面有助于加快數(shù)據(jù)加載和促進(jìn)流程。其中有：

• 對(duì)于數(shù)據(jù)準(zhǔn)備和加載，復(fù)制命令不再需要外部表，因?yàn)樗试S您將表直接加載到數(shù)據(jù)庫(kù)中。
• 它提供對(duì)標(biāo)準(zhǔn) CSV 的全面支持：換行符和自定義分隔符以及 SQL 日期。
• 提供用戶控制的文件選擇(通配符支持)
• 機(jī)器學(xué)習(xí)支持：可以以 ONNX 格式創(chuàng)建和保存機(jī)器學(xué)習(xí)模型，這些模型存儲(chǔ)在 Azure Synapse 數(shù)據(jù)存儲(chǔ)中并與本機(jī) PREDICT 指令一起使用。

與 Data Lake 集成：來(lái)自 Azure Synapse，文件以 Parquet 格式在 Data Lake 中讀取，從而實(shí)現(xiàn)了更高的性能，將 Polybase 執(zhí)行提高了 13 倍以上。

簡(jiǎn)而言之，一種保證開(kāi)發(fā)線的服務(wù)，以確保 SQL DW 客戶可以繼續(xù)在生產(chǎn)中運(yùn)行現(xiàn)有的數(shù)據(jù)存儲(chǔ)工作負(fù)載并自動(dòng)受益于新功能。

本文轉(zhuǎn)載自微信公眾號(hào)「超級(jí)架構(gòu)師」，可以通過(guò)以下二維碼關(guān)注。轉(zhuǎn)載本文請(qǐng)聯(lián)系超級(jí)架構(gòu)師公眾號(hào)。