SparkSQL訪問(wèn)Hive遇到的問(wèn)題及解決方法
作者：若澤大數(shù)據(jù)
SparkSQL訪問(wèn)Hive遇到的問(wèn)題及解決方法，需要先將hadoop的core-site.xml，hive的hive-site.xml拷貝到project中。
需要先將hadoop的core-site.xml，hive的hive-site.xml拷貝到project中
測(cè)試代碼
報(bào)錯(cuò)
查看源碼
解決方法
將$HIVE_HOME/lib下的spark-hive_2.11-2.4.2.jar與spark-hive-thriftserver_2.11-2.4.2.jar添加到project中
繼續(xù)報(bào)錯(cuò)
查看源碼
進(jìn)入ConfVars
發(fā)現(xiàn)ConfVars中定義的變量并沒(méi)有METASTORE_CLIENT_SOCKET_LIFETIME，而HiveConf.java來(lái)自于hive-exec-1.1.0-cdh5.7.0.jar，即證明hive1.1.0中并沒(méi)有假如該參數(shù)。
解決方法
將hive依賴換為1.2.1
繼續(xù)報(bào)錯(cuò)
解決方法
這是因?yàn)檫h(yuǎn)端沒(méi)有啟動(dòng)hive造成的，啟動(dòng)hive時(shí)需要配置metastore。
責(zé)任編輯：未麗燕
來(lái)源：
今日頭條
