Spark SQL 究竟是何方神圣?
譯文【51CTO.com快譯】Spark SQL允許大家在Python、Java以及Scala中使用數據幀;利用多種結構化格式讀取并寫入數據;通過SQL進行大數據查詢。
Spark SQL屬于Spark用于處理結構化與半結構化數據的接口。結構化數據是指那些擁有一定模式的數據，包括JSON、Hive Tables以及Parquet。模式意味著每條記錄都擁有一套已知字段組。半結構化數據則代表著模式與數據之間不存在明確的區分。
Spark SQL提供三種主要功能以使用結構化及半結構化數據：
1. 在Python、Java與Scala中提供DataFrame抽象以簡化結構化數據集的處理方式。DataFrame類似于關系數據庫中的表。
2. 它能夠對多種結構化格式進行數據讀取及寫入(例如JSON、Hive Tables以及Parquet)。
3. 允許大家利用SQL進行數據查詢，適用范圍包括Spark程序之內以及通過標準數據庫連接器(JDBC/ODBC)接入Spark SQL的外部工具，例如Tableau等商務智能工具。
鏈接
將Spark SQL納入應用，需要提供額外的庫關聯性。Spark SQL在構建中可選擇支持或不支持Apache Hive。在以二進制方式下載Spark時，其默認構建為Hive支持模式。
在應用中使用Spark SQL
Spark SQL最適合用于Spark應用之內。通過這種方式，我們能夠輕松將數據加載與數據查詢進行結合，同時將其與Python、Java或者Scala協作使用。
基本查詢示例
要查詢一套表，我們需要在HiveContext或者SQLContext上調用sql()方法。
Scala代碼示例：從JSON加載客戶數據：
- val customers = sqlContext.jsonFile("customers.json")
- customers.registerTempTable("customers")
- val firstCityState = sqlContext.sql("SELECT first_name, address.city, address.state FROM customers LIMIT 10")
DataFrames
DataFrames類似于關系數據庫中的表。DataFrame事實上屬于Row對象的一條RDD。一個DataFrame還能夠識別出每一行中的模式。由于能夠識別數據模式，DataFrames的數據存儲效率比原生RDD更高。
緩存
Spark SQL中的緩存更為高效，這是因為DataFrame能夠識別各列的類型。
數據載入及保存
Spark SQL能夠原生支持多種結構化數據源，包括Hive表、JSON以及Parquet文件。
另外，Spark SQL還擁有用于集成的DataSource API。DataSource API所能夠實現的集成對象包括Avro、Apache HBase、Elasticsearch以及Canssandra等等。完整的支持列表可參閱http://spark-packages.org。
JDBC連接
Spark SQL提供JDBC連接，其能夠用于同Tableau等商務智能工具的對接。
用戶定義功能(簡稱UDF)
Spark SQL支持在Python、Java以及Scala當中注冊用戶定義功能，從而在SQL內部進行調用。這一能力可為SQL帶來更多先進功能，幫助用戶無需編碼即可加以使用。
Spark SQL性能
Spark SQL的額外類型信息使其更為高效，且能夠提供遠超關系數據庫的SQL性能。它還簡化了各類條件型聚合操作，包括計算多個列的數值總和。
性能調節選項
Spark SQL當中提供多種不同性能調節選項，例如codegen、內存設置、批量大小與壓縮編碼等等。
總結
在多種數據處理流程當中，Spark SQL與Python、Scala或者Java代碼相結合都能夠帶來便捷而強大的實際效果。另外，Spark SQL亦能夠利用模式識別能力充分發揮該引擎的性能優勢。
原文鏈接：https://dzone.com/articles/what-is-spark-sql
【51CTO.com獨家譯稿，合作站點轉載請注明來源】
