在Python中，requests庫是處理HTTP請求的一個非常流行和強大的工具。當需要處理大型數據或實時數據時，使用流式輸出（streaming）可以有效地減少內存消耗，并提高處理速度。流式輸出允許你按塊讀取內容，而不是一次性將整個響應內容加載到內存中。

如何使用requests實現流式輸出

要在requests中啟用流式輸出，你需要在請求函數中設置stream參數為True。默認情況下，stream參數是False，這意味著requests會立即下載響應內容。

以下是一個基本的示例，展示了如何使用requests進行流式讀取數據：

python
import requests


# 發起請求，啟用流式輸出
response = requests.get('http://httpbin.org/stream/20', stream=True)


# 按行遍歷響應內容
for line in response.iter_lines():
    # 過濾掉可能的空行
    if line:
        print(line)

注意事項

使用流式輸出時，需要確保及時處理每個塊的數據。如果處理太慢，可能會導致客戶端或服務器端的資源耗盡。

在完成數據處理后，應該關閉響應流。雖然requests會在垃圾收集時自動關閉未關閉的連接，但顯式關閉是一個好習慣。可以使用response.close()方法或者使用with語句來自動管理上下文。

使用with語句自動管理流

為了確保流被正確關閉，可以使用with語句，這樣無論處理過程中發生什么情況，都會在退出時關閉流。下面是使用with語句改寫的示例：

python
import requests


url = 'http://httpbin.org/stream/20'


with requests.get(url, stream=True) as response:
    for line in response.iter_lines():
        if line:
            print(line)

處理二進制數據流

如果響應是二進制數據（例如，圖片或文件），可以使用iter_content方法來按塊讀取數據。這里可以指定每個塊的大小（以字節為單位）：

python
import requests


url = 'http://example.com/somefile.zip'


with requests.get(url, stream=True) as response:
    with open('somefile.zip', 'wb') as fd:
        for chunk in response.iter_content(chunk_size=128):
            fd.write(chunk)

在這個示例中，我們按128字節的塊讀取數據，并將其寫入文件。這種方法對于下載大文件非常有用，因為它可以防止大文件一次性加載到內存中，從而導致內存溢出。

通過以上方法，你可以有效地在Python中使用requests庫實現流式輸出，適用于各種需要按塊處理數據的場景。