一文理解Python的全局解釋器鎖（GIL）

作者：Lorin 洛林 2024-04-02 09:38:21

GIL是Python解釋器中的一個互斥鎖，它確保在同一時刻只有一個線程能夠執行Python字節碼。這意味著在多線程環境下，Python解釋器無法同時利用多個CPU核心進行并行執行，因為只有一個線程能夠執行Python字節碼指令。

前言

? 在Python中，全局解釋器鎖（Global Interpreter Lock，簡稱GIL）是一個重要的概念，它對Python解釋器的并發執行模型產生了重大影響。本文將介紹GIL的概念、原理以及對Python多線程程序執行效率的影響，并附帶詳細的代碼案例進行說明。

什么是 GIL

? GIL是Python解釋器中的一個互斥鎖，它確保在同一時刻只有一個線程能夠執行Python字節碼。這意味著在多線程環境下，Python解釋器無法同時利用多個CPU核心進行并行執行，因為只有一個線程能夠執行Python字節碼指令。

GIL 的工作原理

? 當Python解釋器運行Python代碼時，它會獲取GIL，然后執行相應的字節碼指令。其他線程想要執行Python字節碼時，必須先獲取GIL，但只有在當前線程釋放GIL后才能獲得。因此，只有一個線程能夠在任意時刻執行Python字節碼，這就是GIL的工作原理。

GIL 的影響

多線程

? 盡管Python完全支持多線程編程，但是解釋器的C語言實現部分在完全并行執行時并不是線程安全的。實際上，解釋器被一個全局解釋器鎖保護著，它確保任何時候都只有一個Python線程執行。 GIL最大的問題就是Python的多線程程序并不能利用多核CPU的優勢（比如一個使用了多個線程的計算密集型程序只會在一個單CPU上面運行）。

? 有一點要強調的是GIL只會影響到那些嚴重依賴CPU的程序（比如計算型的）。如果你的程序大部分只會涉及到I/O，比如網絡交互，那么使用多線程就很合適，因為它們大部分時間都在等待。

? 對于依賴CPU的程序，你需要弄清楚執行的計算的特點。例如，優化底層算法可能要比使用多線程運行快得多。類似的，由于Python是解釋執行的，如果你將那些性能瓶頸代碼移到一個C語言擴展模塊中，速度也會提升的很快。如果你要操作數組，那么使用NumPy這樣的擴展會非常的高效。最后，你還可以考慮下其他可選實現方案，比如PyPy，它通過一個JIT編譯器來優化執行效率。

多進程

? 在 Python 中，GIL（全局解釋器鎖）只影響到了多線程，而不會對多進程產生直接的影響。多進程是通過創建不同的 Python 解釋器來實現的，因此每個進程都有自己的獨立 GIL，它們之間互不影響。

如何解決 GIL 的缺點

示例代碼

? 代碼版本 Python 3.x

? 如我們如何優化下列代碼：

# Performs a large calculation (CPU bound)
def some_work(args):
    ...
    return result

# A thread that calls the above function
def some_thread():
    while True:
        ...
        r = some_work(args)
    ...

使用多進程的方式

? 如果你完全工作于Python環境中，你可以使用 multiprocessing 模塊來創建一個進程池，并像協同處理器一樣的使用它，每個進程有獨立的 GIL。

# Processing pool (see below for initiazation)
pool = None

# Performs a large calculation (CPU bound)
def some_work(args):
    ...
    return result

# A thread that calls the above function
def some_thread():
    while True:
        ...
        r = pool.apply(some_work, (args))
        ...

# Initiaze the pool
if __name__ == '__main__':
    import multiprocessing
    pool = multiprocessing.Pool()

使用C擴展編程技術

? 主要思想是將計算密集型任務轉移給C，跟Python獨立，在工作的時候在C代碼中釋放GIL。可以通過在C代碼中插入下面這樣的特殊宏來完成:

#include "Python.h"
...

PyObject *pyfunc(PyObject *self, PyObject *args) {
   ...
   Py_BEGIN_ALLOW_THREADS
   // Threaded C code
   ...
   Py_END_ALLOW_THREADS
   ...
}

? 如果使用其他工具訪問C語言，比如對于Cython的ctypes庫，你不需要做任何事。例如，ctypes在調用C時會自動釋放GIL。

參考

? 12.9 Python的全局鎖問題

責任編輯：武曉燕來源： Lorin 洛林