迭代vs向量化，如何提升Pandas性能？
在本文中，我們將探討幾種通過迭代和向量化技術(shù)來提高Pandas代碼性能的方法。
迭代是遍歷數(shù)據(jù)結(jié)構(gòu)元素的過程，而向量化是將操作同時(shí)應(yīng)用于整個(gè)數(shù)組或數(shù)據(jù)系列的一種方法，利用底層優(yōu)化來提高效率。
通過有效地使用這些技術(shù)，我們可以加速數(shù)據(jù)分析任務(wù)并提高代碼的效率。
理解迭代和向量化的區(qū)別
在這個(gè)例子中，我們將使用NumPy比較迭代和向量化的性能。
首先，導(dǎo)入所需的庫并創(chuàng)建一個(gè)隨機(jī)數(shù)據(jù)集。
import numpy as np
import time
# 創(chuàng)建一個(gè)包含1000萬個(gè)數(shù)據(jù)點(diǎn)的隨機(jī)數(shù)據(jù)集
data = np.random.rand(10000000)
data.shape(10000000,)
現(xiàn)在，使用for循環(huán)（迭代）來計(jì)算數(shù)據(jù)集中各元素的總和。
start_time = time.time()
sum_iter = 0
for i in data:
sum_iter += i
end_time = time.time()
print("Iteration - Sum:", sum_iter)
Print("Iteration - Time taken:", end_time - start_time, "seconds")(‘Iteration — Time taken:’, 3.507000207901001, ‘seconds’)
接下來，使用NumPy的內(nèi)置函數(shù)（向量化）來計(jì)算數(shù)據(jù)集中各元素的總和。
start_time = time.time()
sum_vec = np.sum(data)
end_time = time.time()
print("Vectorization - Sum:", sum_vec)
print("Vectorization - Time taken:", end_time - start_time, "seconds")(‘Vectorization — Time taken:’, 0.006000041961669922, ‘seconds’)
通過比較兩種方法所需的時(shí)間，可以觀察到向量化所實(shí)現(xiàn)的性能提升。
使用向量化函數(shù)加速操作
在這個(gè)例子中，我們將演示如何使用向量化函數(shù)來加速Python中的操作。我們將比較使用for循環(huán)和向量化函數(shù)執(zhí)行操作所需的時(shí)間。
首先，導(dǎo)入必要的庫并創(chuàng)建一個(gè)包含隨機(jī)數(shù)的數(shù)組。
import numpy as np
import time
# 創(chuàng)建一個(gè)包含100萬個(gè)隨機(jī)數(shù)的數(shù)組
data = np.random.rand(1000000)
data.shape(1000000,)
現(xiàn)在，使用for循環(huán)執(zhí)行操作，并計(jì)算出所需的時(shí)間。
使用for循環(huán)
start_time = time.time()
result = []
for value in data:
result.append(value * 2)
end_time = time.time()
for_loop_time = end_time - start_time
print("Time taken using a for loop: ", for_loop_time)(‘Time taken using a for loop: ‘, 0.3400001525878906)
接下來，使用向量化函數(shù)執(zhí)行相同的操作，并計(jì)算出所需的時(shí)間。
使用向量化函數(shù)
start_time = time.time()
result = data * 2
end_time = time.time()
vectorized_time = end_time - start_time
print("Time taken using a vectorized function: ", vectorized_time)(‘Time taken using a vectorized function: ‘, 0.059999942779541016)
最后，比較一下兩種方法所需的時(shí)間。
print("Speedup factor: ", for_loop_time / vectorized_time)(‘Speedup factor: ‘, 5.6666746139602155)
正如在示例中所看到的那樣，向量化函數(shù)比for循環(huán)快得多。這是因?yàn)橄蛄炕瘮?shù)利用了底層優(yōu)化和硬件能力，使它們更加高效地處理大型數(shù)據(jù)集上的操作。
使用NumPy向量化優(yōu)化代碼
向量化是將一個(gè)逐個(gè)處理元素的算法轉(zhuǎn)換為一個(gè)等效的同時(shí)處理多個(gè)元素的算法的過程。
這可以帶來顯著的性能提升，特別是在處理大型數(shù)據(jù)集時(shí)。
讓我們從創(chuàng)建一個(gè)簡單的NumPy數(shù)組并使用迭代和向量化進(jìn)行加法運(yùn)算開始。
首先，導(dǎo)入所需的庫并創(chuàng)建一個(gè)NumPy數(shù)組。
import numpy as np
import time
# 創(chuàng)建一個(gè)包含1000萬個(gè)元素的NumPy數(shù)組
arr = np.arange(1, 10000001)
arrarray([ 1, 2, 3, …, 9999998, 9999999, 10000000])
現(xiàn)在，使用迭代（for循環(huán)）執(zhí)行加法運(yùn)算。
# 使用for循環(huán)進(jìn)行迭代
start_time = time.time()
result = np.zeros(len(arr))
for i in range(len(arr)):
result[i] = arr[i] + 1
print("Time taken for iteration: {} seconds".format(time.time() - start_time))Time taken for iteration: 7.158999681472778 seconds
接下來，使用NumPy向量化執(zhí)行相同的加法運(yùn)算。
# 使用NumPy進(jìn)行向量化
start_time = time.time()
result_vectorized = arr + 1
print("Time taken for vectorization: {} seconds".format(time.time() - start_time))Time taken for vectorization: 0.01999974250793457 seconds
你會注意到向量化所需的時(shí)間明顯低于迭代所需的時(shí)間。這展示了NumPy向量化在優(yōu)化代碼性能方面的強(qiáng)大作用。
現(xiàn)在，看另一個(gè)使用更復(fù)雜的操作的例子——計(jì)算兩組點(diǎn)之間的歐幾里得距離。
# 創(chuàng)建兩組點(diǎn)
points_a = np.random.random((1000000, 2))
points_b = np.random.random((1000000, 2))首先，使用迭代法計(jì)算歐幾里得距離。
def euclidean_distance_iterative(points_a, points_b):
num_points = len(points_a)
distances = np.zeros(num_points)
for i in range(num_points):
distances[i] = np.sqrt(np.sum((points_a[i] - points_b[i])**2))
return distancesstart_time = time.time()
result_iterative = euclidean_distance_iterative(points_a, points_b)
print("Time taken for iterative Euclidean distance: {} seconds".format(time.time() - start_time))Time taken for iterative Euclidean distance: 7.052000045776367 seconds
現(xiàn)在，使用NumPy向量化計(jì)算歐幾里得距離。
def euclidean_distance_vectorized(points_a, points_b):
return np.sqrt(np.sum((points_a - points_b)**2, axis=1))start_time = time.time()
result_vectorized = euclidean_distance_vectorized(points_a, points_b)
print("Time taken for vectorized Euclidean distance: {} seconds".format(time.time() - start_time))Time taken for vectorized Euclidean distance: 0.03600001335144043 seconds
同樣，你會注意到向量化方法所需的時(shí)間要比迭代方法低得多。
總之，使用NumPy的向量化可以極大地提高代碼性能，特別是在處理大型數(shù)據(jù)集時(shí)。在處理數(shù)值運(yùn)算時(shí)，可以考慮向量化你的代碼，從而獲得更好的性能。
