如何在機(jī)器學(xué)習(xí)中處理大型數(shù)據(jù)集

作者：聞數(shù)起舞 2020-06-24 07:53:03

如何在機(jī)器學(xué)習(xí)中處理大型數(shù)據(jù)集,不是大數(shù)據(jù)…。數(shù)據(jù)集是所有共享一個公共屬性的實(shí)例的集合。機(jī)器學(xué)習(xí)模型通常將包含一些不同的數(shù)據(jù)集，每個數(shù)據(jù)集用于履行系統(tǒng)中的各種角色。

不是大數(shù)據(jù)…。

數(shù)據(jù)集是所有共享一個公共屬性的實(shí)例的集合。機(jī)器學(xué)習(xí)模型通常將包含一些不同的數(shù)據(jù)集，每個數(shù)據(jù)集用于履行系統(tǒng)中的各種角色。

當(dāng)任何經(jīng)驗(yàn)豐富的數(shù)據(jù)科學(xué)家處理與ML相關(guān)的項(xiàng)目時，將完成60%的工作來分析數(shù)據(jù)集，我們稱之為探索性數(shù)據(jù)分析(EDA)。這意味著數(shù)據(jù)在機(jī)器學(xué)習(xí)中起著重要作用。在現(xiàn)實(shí)世界中，我們需要處理大量數(shù)據(jù)，這使得使用普通大熊貓進(jìn)行計算和讀取數(shù)據(jù)似乎不可行，這似乎需要花費(fèi)更多時間，并且我們的工作資源通常有限。為了使其可行，許多AI研究人員提出了一種解決方案，以識別處理大型數(shù)據(jù)集的不同技術(shù)和方式。

現(xiàn)在，我將通過一些示例來分享以下技術(shù)。在這里為實(shí)際實(shí)施，我使用的是google Colab，它的RAM容量為12.72 GB。

讓我們考慮使用隨機(jī)數(shù)從0(含)到10(不含)創(chuàng)建的數(shù)據(jù)集，該數(shù)據(jù)集具有1000000行和400列。

執(zhí)行上述代碼的CPU時間和掛墻時間如下：

現(xiàn)在，讓我們將此數(shù)據(jù)幀轉(zhuǎn)換為CSV文件。

執(zhí)行上述代碼的CPU時間和掛墻時間如下：

現(xiàn)在，使用熊貓加載現(xiàn)在生成的數(shù)據(jù)集(將近763 MB)，然后看看會發(fā)生什么。

當(dāng)您執(zhí)行上述代碼時，由于RAM的不可用，筆記本電腦將崩潰。在這里，我采用了一個相對較小的數(shù)據(jù)集，大小約為763MB，然后考慮需要處理大量數(shù)據(jù)的情況。解決該問題的下一個計劃是什么?

處理大型數(shù)據(jù)集的技術(shù)：

1.以塊大小讀取CSV文件：

當(dāng)我們通過指定chunk_size讀取大型CSV文件時，原始數(shù)據(jù)幀將被分解成塊并存儲在pandas解析器對象中。我們以這種方式迭代對象，并連接起來以形成花費(fèi)較少時間的原始數(shù)據(jù)幀。

在上面生成的CSV文件中，此文件包含1000000行和400列，因此，如果我們讀取100000行中的CSV文件作為塊大小，則

執(zhí)行上述代碼的CPU時間和掛墻時間如下：

現(xiàn)在我們需要迭代列表中的塊，然后需要將它們存儲在列表中并連接起來以形成完整的數(shù)據(jù)集。

執(zhí)行上述代碼的CPU時間和掛墻時間如下：

我們可以觀察到閱讀時間的大幅改善。這樣，我們可以讀取大型數(shù)據(jù)集并減少讀取時間，有時還可以避免系統(tǒng)崩潰。

2.更改數(shù)據(jù)類型的大小：

如果要在對大型數(shù)據(jù)集執(zhí)行任何操作時提高性能，則需要花費(fèi)更多時間來避免此原因，我們可以更改某些列的數(shù)據(jù)類型的大小，例如(int64→int32)，(float64→float32)以減少空間它存儲并保存在CSV文件中，以供進(jìn)一步實(shí)施。

例如，如果我們在分塊后將其應(yīng)用于數(shù)據(jù)幀，并比較文件大小減少到一半之前和之后的內(nèi)存使用情況，并且內(nèi)存使用減少到一半，這最終導(dǎo)致CPU時間減少

數(shù)據(jù)類型轉(zhuǎn)換前后的內(nèi)存使用情況如下：

在這里，我們可以清楚地觀察到3 GB是數(shù)據(jù)類型轉(zhuǎn)換之前的內(nèi)存使用量，而1.5 GB是數(shù)據(jù)類型轉(zhuǎn)換之后的內(nèi)存使用量。如果我們通過計算數(shù)據(jù)幀前后的平均值來計算性能，那么CPU時間將減少，我們的目標(biāo)就可以實(shí)現(xiàn)。

3.從數(shù)據(jù)框中刪除不需要的列：

我們可以從數(shù)據(jù)集中刪除不需要的列，以便減少加載的數(shù)據(jù)幀的內(nèi)存使用量，這可以提高我們在數(shù)據(jù)集中執(zhí)行不同操作時的CPU性能。

4.更改數(shù)據(jù)格式：

您的數(shù)據(jù)是否以CSV文件之類的原始ASCII文本存儲?

也許您可以通過使用另一種數(shù)據(jù)格式來加快數(shù)據(jù)加載速度并使用更少的內(nèi)存。一個很好的例子是二進(jìn)制格式，例如GRIB，NetCDF或HDF。您可以使用許多命令行工具將一種數(shù)據(jù)格式轉(zhuǎn)換為另一種格式，而無需將整個數(shù)據(jù)集都加載到內(nèi)存中。使用另一種格式可以使您以更緊湊的形式存儲數(shù)據(jù)，以節(jié)省內(nèi)存，例如2字節(jié)整數(shù)或4字節(jié)浮點(diǎn)數(shù)。

5.使用正確的數(shù)據(jù)類型減少對象大小：

通常，可以通過將數(shù)據(jù)幀轉(zhuǎn)換為正確的數(shù)據(jù)類型來減少數(shù)據(jù)幀的內(nèi)存使用量。幾乎所有數(shù)據(jù)集都包含對象數(shù)據(jù)類型，該對象數(shù)據(jù)類型通常為字符串格式，這對內(nèi)存效率不高。當(dāng)您考慮日期，類別特征(如區(qū)域，城市，地名)時，它們會占用更多的內(nèi)存，因此，如果將它們轉(zhuǎn)換為相應(yīng)的數(shù)據(jù)類型(如DateTime)，則類別將使內(nèi)存使用量比以前減少10倍以上。

6.使用像Vaex這樣的快速加載庫：

Vaex是一個高性能Python庫，用于懶惰的Out-of-Core DataFrame(類似于Pandas)，以可視化方式瀏覽大型表格數(shù)據(jù)集。它以每秒超過十億(10 ^ 9)個樣本/行的速度在N維網(wǎng)格上計算統(tǒng)計信息，例如平均值，總和，計數(shù)，標(biāo)準(zhǔn)差等。可視化使用直方圖，密度圖和3d體積渲染完成，從而允許交互式探索大數(shù)據(jù)。 Vaex使用內(nèi)存映射，零內(nèi)存復(fù)制策略和惰性計算來獲得優(yōu)質(zhì)性能(不浪費(fèi)內(nèi)存)。

現(xiàn)在，讓我們在上面隨機(jī)生成的數(shù)據(jù)集中實(shí)現(xiàn)vaex庫，以觀察性能。

1.首先，我們需要根據(jù)您使用的操作系統(tǒng)，使用命令提示符/ shell安裝vaex庫。

2.然后，我們需要使用vaex庫將CSV文件轉(zhuǎn)換為hdf5文件。

執(zhí)行上述代碼后，將在您的工作目錄中生成一個dataset.csv.hdf5文件。數(shù)據(jù)類型轉(zhuǎn)換前后的內(nèi)存使用情況如下：