數(shù)據(jù)查詢與篩選：Excel、SQL、PowerBI、Python，比比誰更快
在開始之前，再次強調一下：
- 本內容為高頻常用的數(shù)據(jù)處理操作對比，不涉及底層技術問題，煩請愛鉆牛角的杠精繞行。
- 本內容盡量簡單直白、詳細步驟，適合數(shù)據(jù)分析入門。特別喜歡技術語言的大佬們，可自行跳過。
關于網(wǎng)友的留言，老海也反饋一下自己的看法
之前有網(wǎng)友留言說：
- “SQL從來不是工具，它是語言!”
說實話，我很吃驚。在我的理解中，語言的本質就是工具，而百度百科也是這樣定義的：
語言即傳遞信息的聲音。是人類最重要的交際工具,是人們進行溝通的主要表達方式
自然語言也好、計算機語言、數(shù)據(jù)庫語言也好，就是人與人、人與機之間溝通的一種編碼解碼工具。
語言作為一種溝通工具，通常需要通過一定的實體載體來記錄和傳達，不能獨立存在。
就如英語是門語言，也是溝通工具，而聽、說、讀、寫是它的傳達方式，是工具化的載體。
SQL也是一樣，它是語言工具，而MySQL、HiveSQL等等數(shù)據(jù)庫工具都是它的設計表達載體。
回頭看我們?yōu)槭裁匆獙W英語?，為什么要學Python?，為什么要學SQL?
相信你的理由，絕對不僅僅它是一門語言或者文化，否則只會像高中應試外語那么難受!
更多的時候是出于實現(xiàn)某種目的，而刺激我們主動去尋找這樣一種可以實現(xiàn)思考溝通的工具
總之，語言即是工具。凡是工具，不拘一格，皆為所用!
還有網(wǎng)友留言說：
- “Power BI 只是可視化厲害一點兒，其他都不行”
OK，我們來看看這幾年PowerBI發(fā)展趨勢，你會發(fā)現(xiàn)它比Tableau更加強大，與其他BI產品的差異也是越來越大，這與微軟本身的用戶環(huán)境和軟件家族存在很大關系。
2020
2019年
再來看看招聘網(wǎng)站上的要求，PowerBI近幾年開始逐步成為主力工具，比如運營部門、財務部門、商業(yè)分析等覆蓋的業(yè)務范圍越來越廣。
餓了吧招聘要求
阿里招聘要求
以前Python一直是我的主力工具，可是現(xiàn)在老海強推Power BI，甚至建議首選它來做商業(yè)分析
一個公式：Power BI 數(shù)據(jù)分析流程 = PQ + PP + PV
即PowerQuery—數(shù)據(jù)處理查詢、PowerPivot—數(shù)據(jù)結構建模、PowerView—數(shù)據(jù)圖表可視化
這個流程順序，也是所有分析工具都通用的套路，使用起來自然相當順手舒服。
而且Power BI可以徹底解決很多在Python或者Excel中讓人煩透了的問題，比如：
- 做個圖表再也不用寫Python幾十甚至上百行的代碼，也不用調整N多了Excel圖表參數(shù)。
- 做個表格直接星型連接，再也不用pandas來回join、也不用Excel迷之效果的VLOOKUP函數(shù)
- 做個分析，前期用Python處理數(shù)據(jù)，后期用Excel出圖表，現(xiàn)在直接PowerBI搞定!
具體的這里不多說了，感興趣的可以看看我的問答，里面專門有寫到。
總之，老海認為：Power BI絕非只有可視化，相信隨著版本迭代，未來足可代替Exce甚至是Python
OK，我們回過來繼續(xù)對比Excel、SQL、PowerBI與Python
之前已經(jīng)介紹了數(shù)據(jù)準備和導入，不了解的可自行翻看之前的文章。
今天涉及數(shù)據(jù)的查看與篩選，廢話不多說直接上操作演示：
查看與篩選數(shù)據(jù)
當使用Excel時：
第一步：可以先觀察一下數(shù)據(jù)情況，比如行數(shù)、列數(shù)，首行以及尾行，
可以使用shift + ctrl + 方向鍵 ↓ ，直接拉到底部查看
查看行數(shù)&列數(shù)
使用shift + ctrl + 方向鍵 ↑，來查看最前面的數(shù)據(jù)情況
查看最前面的數(shù)據(jù)
第二步：也可以選中整個列來查看特定字段的數(shù)據(jù)情況
特定字段
第三步：或者查看前10行數(shù)據(jù)
前10行
第四步：查看最大或者最小的前10行數(shù)據(jù)
最大前10行
第五步：查看不同數(shù)據(jù)列的空值情況
第六步：查看符合某個條件的數(shù)據(jù)情況
第7步：選擇“篩選”中的“高級”，可以進行多條件篩選數(shù)據(jù)，比如同時滿足天津市購買量大于2、武漢市購買量大于3
第8步：高級篩選也可以實現(xiàn)多條件或關系篩選數(shù)據(jù)，即滿足其中一個條件即可。
第9步：查看特定列名去重的數(shù)據(jù)情況，可以選擇“數(shù)據(jù)”中的“刪除重復項”來實現(xiàn)
也可以通過“數(shù)據(jù)”中“篩選”下的“高級”來完成，此處注意勾選“不重復的記錄”
第10步：查看去重后數(shù)據(jù)的統(tǒng)計情況，此方法類似于python的value_couts
當使用SQL時：
第1步：查看數(shù)據(jù)情況
第2步：查看前10行數(shù)據(jù)
第3步：查看某個條件的數(shù)據(jù)，比如查看門店城市為天津的數(shù)據(jù)
第4步：查看滿足多個條件中任一個的數(shù)據(jù)，比如查看天津或者武漢的數(shù)據(jù)
第5步：查看特定列名數(shù)據(jù)
第6步：查看特定列名的去重后數(shù)據(jù)的統(tǒng)計數(shù)量。比如門店城市共計多少
第7步：查看特定列名去重數(shù)據(jù)，查看去重后的具體城市名稱
第8步：查看非空值記錄與空值記錄
當使用Power BI時：
第1步：查看數(shù)據(jù)基本情況，在“主頁”下選擇“轉換數(shù)據(jù)”，進入PQ編輯器，查看數(shù)據(jù)。
第2步：選中某個字段，在左下角可以查看非重復值的數(shù)量
第3步：在PQ編輯器中，可以使用各類查看功能，比如保留最前幾行、最后幾行等等
第4步：查看特定的字段列數(shù)據(jù)，點擊“選擇列”來篩選特定的字段列即可
第5步：查看符合某個條件的數(shù)據(jù)情況，可點擊字段右側的下拉箭頭來篩選
第6步：查看去重后的數(shù)量統(tǒng)計情況，可以使用PQ編輯器中“轉換”下的“統(tǒng)計信息”中的“對非重復值進行計數(shù)”
第7步：查看不同數(shù)據(jù)值的統(tǒng)計情況，點擊字段右側箭頭，選擇“分組依據(jù)”，設置分組字段以及計算的方式，即可完成分組統(tǒng)計。
當使用Python時：
第1步：查看數(shù)據(jù)情況，主要看看是否存在亂碼，以及數(shù)據(jù)的整體規(guī)模是否正確
第2步：查看數(shù)據(jù)前10行情況，主要查看不同字段下的數(shù)據(jù)格式情況，當然還可使用.dtypes查看當前字段的數(shù)據(jù)類型是否合理。
第3步：查看特定列的數(shù)據(jù)，一般建議使用loc、iloc進行切片操作。
第4步：查看滿足某個條件的數(shù)據(jù)，一般使用loc，配合條件篩選
第5步：查看滿足多個條件中任一條件的數(shù)據(jù)，除了isin，還可以使用或與非的關系組合
第6步：查看是否存在空值，關于空值NULL，Nan的內容，可翻閱老海之前的文章
第7步：查看特定列去重后的數(shù)據(jù)，以及統(tǒng)計個數(shù)。
OK，限于篇幅和時間，本篇內容先到這里了。老海原本計劃3篇完成，看來需要5篇才能全部寫完。
歡迎關注后續(xù)內容，涉及更新與刪除、分組聚合、多表關聯(lián)、多表聯(lián)合、排序與分組、存儲與導出等操作。
