教你幾招，Pandas輕松處理超大規(guī)模數(shù)據(jù)
處理大規(guī)模數(shù)據(jù)集時(shí)常是棘手的事情，尤其在內(nèi)存無(wú)法完全加載數(shù)據(jù)的情況下。在資源受限的情況下，可以使用 Python Pandas 提供的一些功能，降低加載數(shù)據(jù)集的內(nèi)存占用。可用技術(shù)包括壓縮、索引和數(shù)據(jù)分塊。
在上述過程中需要解決一些問題，其中之一就是數(shù)據(jù)量過大。如果數(shù)據(jù)量超出本機(jī)內(nèi)存的容量，項(xiàng)目執(zhí)行就會(huì)產(chǎn)生問題。
對(duì)此有哪些解決方案？
有多種解決數(shù)據(jù)量過大問題的方法。它們或是消耗時(shí)間，或是需要增加投資。
可能的解決方案
- 投資解決：新購(gòu)有能力處理整個(gè)數(shù)據(jù)集，具有更強(qiáng) CPU 和更大內(nèi)存的計(jì)算機(jī)?；蚴侨プ庥迷品?wù)或虛擬內(nèi)存，創(chuàng)建處理工作負(fù)載的集群。
- 耗時(shí)解決：如果內(nèi)存不足以處理整個(gè)數(shù)據(jù)集，而硬盤的容量要遠(yuǎn)大于內(nèi)存，此時(shí)可考慮使用硬盤存儲(chǔ)數(shù)據(jù)。但使用硬盤管理數(shù)據(jù)會(huì)大大降低處理性能，即便是 SSD 也要比內(nèi)存慢很多。
只要資源允許，這兩種解決方法均可行。如果項(xiàng)目資金充裕，或是不惜任何時(shí)間代價(jià)，那么上述兩種方法是最簡(jiǎn)單也是最直接的解決方案。
但如果情況并非如此呢？也許你的資金有限，或是數(shù)據(jù)集過大，從磁盤加載將增加 5~6 倍甚至更多的處理時(shí)間。是否有無(wú)需額外資金投入或時(shí)間開銷的大數(shù)據(jù)解決方案呢？
這個(gè)問題正中我的下懷。
有多種技術(shù)可用于大數(shù)據(jù)處理，它們無(wú)需額外付出投資，也不會(huì)耗費(fèi)大量加載的時(shí)間。本文將介紹其中三種使用 Pandas 處理大規(guī)模數(shù)據(jù)集的技術(shù)。
壓 縮
第一種技術(shù)是數(shù)據(jù)壓縮。壓縮并非指將數(shù)據(jù)打包為 ZIP 文件，而是以壓縮格式在內(nèi)存中存儲(chǔ)數(shù)據(jù)。
換句話說(shuō)，數(shù)據(jù)壓縮就是一種使用更少內(nèi)存表示數(shù)據(jù)的方法。數(shù)據(jù)壓縮有兩種類型，即無(wú)損壓縮和有損壓縮。這兩種類型只影響數(shù)據(jù)的加載，不會(huì)影響到處理代碼。
無(wú)損壓縮
無(wú)損壓縮不會(huì)對(duì)數(shù)據(jù)造成任何損失，即原始數(shù)據(jù)和壓縮后的數(shù)據(jù)在語(yǔ)義上保持不變。執(zhí)行無(wú)損壓縮有三種方式。在下文中，將使用美國(guó)按州統(tǒng)計(jì)的新冠病毒病例數(shù)據(jù)集依次介紹。
- 加載特定的數(shù)據(jù)列
例子中所使用的數(shù)據(jù)集具有如下結(jié)構(gòu)：
- import pandas as pd
- data = pd.read_csv("https://raw.githubusercontent.com/nytimes/covid-19-data/master/us-counties.csv")
- data.sample(10)
加載整個(gè)數(shù)據(jù)集需要占用 111MB 內(nèi)存！
如果我們只需要數(shù)據(jù)集中的兩列，即州名和病例數(shù)，那么為什么要加載整個(gè)數(shù)據(jù)集呢？加載所需的兩列數(shù)據(jù)只需 36MB，可降低內(nèi)存使用 32%。
使用 Pandas 加載所需數(shù)據(jù)列的代碼如下：
本節(jié)使用的代碼片段如下：
- # 加載所需軟件庫(kù) Import needed library
- import pandas as pd
- # 數(shù)據(jù)集
- csv = "https://raw.githubusercontent.com/nytimes/covid-19-data/master/us-counties.csv"
- # 加載整個(gè)數(shù)據(jù)集
- data = pd.read_csv(csv)
- data.info(verbose=False, memory_usage="deep")
- # 創(chuàng)建數(shù)據(jù)子集
- df = data[["county", "cases"]]
- df.info(verbose=False, memory_usage="deep")
- # 加速所需的兩列數(shù)據(jù)
- df_2col = pd.read_csv(csv , usecols=["county", "cases"])
- df_2col.info(verbose=False, memory_usage="deep")
代碼地址：
https://gist.github.com/SaraM92/3ba6cac1801b20f6de1ef3cc4a18c843#file-column_selecting-py
- 操作數(shù)據(jù)類型
另一個(gè)降低數(shù)據(jù)內(nèi)存使用量的方法是截取數(shù)值項(xiàng)。例如將 CSV 加載到 DataFrame，如果文件中包含數(shù)值，那么一個(gè)數(shù)值就需要 64 個(gè)字節(jié)存儲(chǔ)。但可通過使用 int 格式截取數(shù)值以節(jié)省內(nèi)存。
- int8 存儲(chǔ)值的范圍是 -128 到 127；
- int16 存儲(chǔ)值的范圍是 -32768 到 32767；
- int64 存儲(chǔ)值的范圍是 -9223372036854775808 到 9223372036854775807。
如果可預(yù)先確定數(shù)值不大于 32767，那么就可以使用 int16 或 int32 類型，該列的內(nèi)存占用能降低 75%。
假定每個(gè)州的病例數(shù)不超過 32767（雖然現(xiàn)實(shí)中并非如此），那么就可截取該列為 int16 類型而非 int64。
- 稀疏列
如果數(shù)據(jù)集的一或多個(gè)列中具有大量的 NaN 空值，那么可以使用 稀疏列表示 降低內(nèi)存使用，以免空值耗費(fèi)內(nèi)存。
假定州名這一列存在一些空值，我們需要跳過所有包含空值的行。該需求可使用 pandas.sparse 輕松實(shí)現(xiàn)（譯者注：原文使用 Sparse Series，但在 Pandas 1.0.0 中已經(jīng)移除了 SparseSeries）。
有損壓縮
如果無(wú)損壓縮并不滿足需求，還需要進(jìn)一步壓縮，那么應(yīng)該如何做？這時(shí)可使用有損壓縮，權(quán)衡內(nèi)存占用而犧牲數(shù)據(jù)百分之百的準(zhǔn)確性。
有損壓縮有兩種方式，即修改數(shù)值和抽樣。
- 修改數(shù)值：有時(shí)并不需要數(shù)值保留全部精度，這時(shí)可以將 int64 截取為 int32 甚至是 int16。
- 抽樣：如果需要確認(rèn)某些州的新冠病例數(shù)要高于其它州，可以抽樣部分州的數(shù)據(jù)，查看哪些州具有更多的病例。這種做法是一種有損壓縮，因?yàn)槠渲胁⑽纯紤]到所有的數(shù)據(jù)行。
第二種技術(shù)：數(shù)據(jù)分塊（chunking）
另一個(gè)處理大規(guī)模數(shù)據(jù)集的方法是數(shù)據(jù)分塊。將大規(guī)模數(shù)據(jù)切分為多個(gè)小分塊，進(jìn)而對(duì)各個(gè)分塊分別處理。在處理完所有分塊后，可以比較結(jié)果并給出最終結(jié)論。
本文使用的數(shù)據(jù)集中包含了 1923 行數(shù)據(jù)。
假定我們需要找出具有最多病例的州，那么可以將數(shù)據(jù)集切分為每塊 100 行數(shù)據(jù)，分別處理每個(gè)數(shù)據(jù)塊，從這各個(gè)小結(jié)果中獲取最大值。
本節(jié)代碼片段如下：
- # 導(dǎo)入所需軟件庫(kù)
- import pandas as pd
- # 數(shù)據(jù)集
- csv = "https://raw.githubusercontent.com/nytimes/covid-19-data/master/us-counties.csv"
- # 循環(huán)處理每個(gè)數(shù)據(jù)塊，獲取每個(gè)數(shù)據(jù)塊中的最大值
- result = {}
- for chunk in pd.read_csv(csv, chunksize=100):
- max_case = chunk["cases"].max()
- max_case_county = chunk.loc[chunk[ cases ] == max_case, county ].iloc[0]
- result[max_case_county] = max_case
- # 給出結(jié)果
- print(max(result, key=result.get) , result[max(result, key=result.get)])
代碼地址：
https://gist.github.com/SaraM92/808ed30694601e5eada5e283b2275ed7#file-chuncking-py
第三種方法：索引
數(shù)據(jù)分塊非常適用于數(shù)據(jù)集僅加載一次的情況。但如果需要多次加載數(shù)據(jù)集，那么可以使用索引技術(shù)。
索引可理解為一本書的目錄。無(wú)需讀完整本書就可以獲取所需得信息。
例如，分塊技術(shù)非常適用于獲取指定州的病例數(shù)。編寫如下的簡(jiǎn)單函數(shù)，就能實(shí)現(xiàn)這一功能。
索引 vs 分塊
分塊需讀取所有數(shù)據(jù)，而索引只需讀取部分?jǐn)?shù)據(jù)。
上面的函數(shù)加載了每個(gè)分塊中的所有行，但我們只關(guān)心其中的一個(gè)州，這導(dǎo)致大量的額外開銷。可使用 Pandas 的數(shù)據(jù)庫(kù)操作，例如簡(jiǎn)單的做法是使用 SQLite 數(shù)據(jù)庫(kù)。
首先，需要將 DataFrame 加載到 SQLite 數(shù)據(jù)庫(kù)，代碼如下：
- import sqlite3
- csv = "https://raw.githubusercontent.com/nytimes/covid-19-data/master/us-counties.csv"
- # 創(chuàng)建新的數(shù)據(jù)庫(kù)文件
- db = sqlite3.connect("cases.sqlite")
- # 按塊加載 CSV 文件
- for c in pd.read_csv(csv, chunksize=100):
- # 將所有數(shù)據(jù)行加載到新的數(shù)據(jù)庫(kù)表中
- c.to_sql("cases", db, if_exists="append")
- # 為“state”列添加索引
- db.execute("CREATE INDEX state ON cases(state)")
- db.close()
代碼地址：
https://gist.github.com/SaraM92/5b445d5b56be2d349cdfa988204ff5f3#file-load_into_db-py
為使用數(shù)據(jù)庫(kù)，下面需要重寫 get_state_info 函數(shù)。
這樣可降低內(nèi)存占用 50%。
小 結(jié)
處理大規(guī)模數(shù)據(jù)集時(shí)常是棘手的事情，尤其在內(nèi)存無(wú)法完全加載數(shù)據(jù)的情況下。一些解決方案或是耗時(shí)，或是耗費(fèi)財(cái)力。畢竟增加資源是最簡(jiǎn)單直接的解決方案。
但是在資源受限的情況下，可以使用 Pandas 提供的一些功能，降低加載數(shù)據(jù)集的內(nèi)存占用。其中的可用技術(shù)包括壓縮、索引和數(shù)據(jù)分塊。
