萬(wàn)丈高樓平地起，一切從 PyObject 開(kāi)始
楔子
在前面的文章中我們說(shuō)到，面向?qū)ο罄碚撝械念惡蛯?duì)象這兩個(gè)概念在 Python 內(nèi)部都是通過(guò)對(duì)象實(shí)現(xiàn)的。類是一種對(duì)象，稱為類型對(duì)象，類實(shí)例化得到的也是對(duì)象，稱為實(shí)例對(duì)象。
但是對(duì)象在 Python 的底層是如何實(shí)現(xiàn)的呢？Python 解釋器是基于 C 語(yǔ)言實(shí)現(xiàn)的 ，但 C 并不是一個(gè)面向?qū)ο蟮恼Z(yǔ)言，那么它是如何實(shí)現(xiàn) Python 的面向?qū)ο蟮哪兀?/p>
首先對(duì)于人的思維來(lái)說(shuō)，對(duì)象是一個(gè)比較形象的概念，但對(duì)于計(jì)算機(jī)來(lái)說(shuō)，對(duì)象卻是一個(gè)抽象的概念。它并不能理解這是一個(gè)整數(shù)，那是一個(gè)字符串，計(jì)算機(jī)所知道的一切都是字節(jié)。
通常的說(shuō)法是：對(duì)象是數(shù)據(jù)以及基于這些數(shù)據(jù)所能進(jìn)行的操作的集合。在計(jì)算機(jī)中，一個(gè)對(duì)象實(shí)際上就是一片被分配的內(nèi)存空間，這些內(nèi)存可能是連續(xù)的，也可能是離散的。
而 Python 的任何對(duì)象在 C 中都對(duì)應(yīng)一個(gè)結(jié)構(gòu)體實(shí)例，在 Python 中創(chuàng)建一個(gè)對(duì)象，等價(jià)于在 C 中創(chuàng)建一個(gè)結(jié)構(gòu)體實(shí)例。所以 Python 的對(duì)象，其本質(zhì)就是 C 的 malloc 函數(shù)為結(jié)構(gòu)體實(shí)例在堆區(qū)申請(qǐng)的一塊內(nèi)存。
下面我們就來(lái)分析一下對(duì)象在 C 中是如何實(shí)現(xiàn)的。
對(duì)象的地基：PyObject
Python 一切皆對(duì)象，而所有的對(duì)象都擁有一些共同的信息（也叫頭部信息），這些信息位于 PyObject 中，它是 Python 對(duì)象機(jī)制的核心，下面來(lái)看看它的定義。
注：我們整個(gè)系列的源碼都是 3.12 版本的。
// Include/pytypedefs.h
typedef struct _object PyObject;我們看到具體定義位于 struct _object 中，PyObject 只是它的別名。
// Include/object.h
struct _object {
_PyObject_HEAD_EXTRA
union {
Py_ssize_t ob_refcnt;
PY_UINT32_T ob_refcnt_split[2];
};
PyTypeObject *ob_type;
};注：源碼中定義的 struct _object 看起來(lái)會(huì)更復(fù)雜一些，因?yàn)槔锩孢€包含了一些宏判斷，用于適配不同的操作系統(tǒng)和編譯器。
圖片
這些宏判斷我們不需要關(guān)注，對(duì)于當(dāng)前的 64 位機(jī)器來(lái)說(shuō)，等價(jià)于如下。
// Include/object.h
struct _object {
_PyObject_HEAD_EXTRA
union {
Py_ssize_t ob_refcnt;
PY_UINT32_T ob_refcnt_split[2];
};
PyTypeObject *ob_type;
};然后是 _PyObject_HEAD_EXTRA，它也是一個(gè)宏，定義如下。
// Include/object.h
// 如果定義了宏 Py_TRACE_REFS
#ifdef Py_TRACE_REFS
// 那么 _PyObject_HEAD_EXTRA 會(huì)展開(kāi)成如下兩個(gè)字段
// 顯然程序中創(chuàng)建的對(duì)象會(huì)組成一個(gè)雙向鏈表
#define _PyObject_HEAD_EXTRA \
PyObject *_ob_next; \
PyObject *_ob_prev;
// 用于將 _ob_next 和 _ob_prev 初始化為空
#define _PyObject_EXTRA_INIT _Py_NULL, _Py_NULL,
// 否則說(shuō)明沒(méi)有定義宏 Py_TRACE_REFS
// 那么 _PyObject_HEAD_EXTRA 和 _PyObject_EXTRA_INIT 不會(huì)有任何作用
#else
# define _PyObject_HEAD_EXTRA
# define _PyObject_EXTRA_INIT
#endif關(guān)于 PyObject 的定義，再畫(huà)一張圖總結(jié)一下。
圖片
Py_TRACE_REFS 一般只在編譯調(diào)試的時(shí)候會(huì)開(kāi)啟，我們從官網(wǎng)下載的都是 Release 版本，不包含這個(gè)宏，因此這里我們也不考慮它。
所以 PyObject 最終就等價(jià)于下面這個(gè)樣子：
// Include/object.h
struct _object {
union {
Py_ssize_t ob_refcnt;
PY_UINT32_T ob_refcnt_split[2];
};
PyTypeObject *ob_type;
};
// Include/pytypedefs.h
typedef struct _object PyObject;當(dāng)然這兩者也可以寫(xiě)在一起，即定義結(jié)構(gòu)體的同時(shí)起一個(gè)別名。
typedef struct _object {
union {
Py_ssize_t ob_refcnt;
PY_UINT32_T ob_refcnt_split[2];
};
PyTypeObject *ob_type;
} PyObject;方式是等價(jià)的，只不過(guò) Python 將兩者分開(kāi)了，并寫(xiě)在了不同的文件中。
了解了 PyObject 的結(jié)構(gòu)之后，我們?cè)賮?lái)看一下它內(nèi)部的字段。
ob_refcnt：引用計(jì)數(shù)
ob_refcnt 表示對(duì)象的引用計(jì)數(shù)，當(dāng)對(duì)象被引用時(shí)，ob_refcnt 會(huì)自增 1；引用解除時(shí)，ob_refcnt 會(huì)自減 1。而當(dāng)對(duì)象的引用計(jì)數(shù)為 0 時(shí)，則會(huì)被回收。
那么在哪些情況下，引用計(jì)數(shù)會(huì)加 1 呢？哪些情況下，引用計(jì)數(shù)會(huì)減 1 呢？
導(dǎo)致引用計(jì)數(shù)加 1 的情況：
- 對(duì)象被創(chuàng)建：比如 name = "古明地覺(jué)"，此時(shí)對(duì)象就是 "古明地覺(jué)" 這個(gè)字符串, 創(chuàng)建成功時(shí)它的引用計(jì)數(shù)為 1；
- 變量傳遞使得對(duì)象被新的變量引用：比如 name2 = name；
- 引用該對(duì)象的某個(gè)變量作為參數(shù)傳到一個(gè)函數(shù)或者類中：比如 func(name)；
- 引用該對(duì)象的某個(gè)變量作為元組、列表、集合等容器的元素：比如 lst = [name]；
導(dǎo)致引用計(jì)數(shù)減 1 的情況：
- 引用該對(duì)象的變量被顯式地銷毀：del name；
- 引用該對(duì)象的變量指向了別的對(duì)象：name = ""；
- 引用該對(duì)象的變量離開(kāi)了它的作用域，比如函數(shù)的局部變量在函數(shù)執(zhí)行完畢的時(shí)候會(huì)被刪除；
- 引用該對(duì)象的變量所在的容器被銷毀，或者變量從容器里面被刪除；
因?yàn)樽兞恐皇且粋€(gè)和對(duì)象綁定的符號(hào)，接地氣一點(diǎn)的說(shuō)法就是變量是個(gè)便利貼，貼在指定的對(duì)象上面。所以 del 變量 并不是刪除變量指向的對(duì)象，而是刪除變量本身，可以理解為將對(duì)象身上的便利貼給撕掉了，其結(jié)果就是對(duì)象的引用計(jì)數(shù)減一。
至于對(duì)象是否被刪除（回收）則是解釋器判斷引用計(jì)數(shù)是否為 0 決定的，為 0 就刪，不為 0 就不刪，就這么簡(jiǎn)單。
然后需要強(qiáng)調(diào)的是，在 3.12 之前的 Python 源碼中，PyObject 是這么定義的，以 3.8 為例。
圖片
在 3.12 之前，引用計(jì)數(shù)通過(guò)一個(gè) ob_refcnt 字段來(lái)維護(hù)，字段類型為 Py_ssize_t，它是 ssize_t 的別名，在 64 位機(jī)器上等價(jià)于 int64。因此一個(gè)對(duì)象的引用計(jì)數(shù)不能超過(guò) int64 所表示的最大范圍。但很明顯，如果不費(fèi)九牛二虎之力去寫(xiě)惡意代碼，是不可能超過(guò)這個(gè)范圍的。
還是很好理解的，但從 3.12 開(kāi)始，卻搞了個(gè)共同體（union）出來(lái)，這是為啥呢？因?yàn)?Python 從 3.12 開(kāi)始引入了一個(gè)概念叫永恒對(duì)象。顧名思義，永恒對(duì)象就是那些永遠(yuǎn)不會(huì)被回收的對(duì)象。
// Include/object.h
#define _Py_IMMORTAL_REFCNT UINT_MAX永恒對(duì)象的引用計(jì)數(shù)為 uint32 類型的最大值，即 2 的 32 次方減 1，像 None、-5 到 256 之間的小整數(shù)，都屬于永恒對(duì)象。
圖片
共同體中的 ob_refcnt 字段的作用還和之前一樣，依舊是負(fù)責(zé)維護(hù)對(duì)象的引用計(jì)數(shù)。
但 ob_refcnt_split 也會(huì)維護(hù)一份引用計(jì)數(shù)，它是 uint32 類型的數(shù)組，長(zhǎng)度為 2，但只會(huì)用數(shù)組的一個(gè)元素來(lái)維護(hù)。如果發(fā)現(xiàn)對(duì)象的引用計(jì)數(shù)達(dá)到了 uint32 的最大值，那么會(huì)將對(duì)象判定為永恒對(duì)象，而永恒對(duì)象永遠(yuǎn)不會(huì)被回收。
所以 ob_refcnt_split 是針對(duì)永恒對(duì)象引入的，它是一個(gè)長(zhǎng)度為 2 的 uint32 類型的數(shù)組，大小是 8 字節(jié)。而 ob_refcnt 是 Py_ssize_t 類型，等價(jià)于 int64，大小也是 8 字節(jié)。由于這兩者組成的是共同體，所以整體大小依舊是 8 字節(jié)，因此 PyObject 結(jié)構(gòu)體實(shí)例的大小和之前一樣。
當(dāng)然啦，雖然引用計(jì)數(shù)是由共同體來(lái)維護(hù)，但你把它當(dāng)成普通的 Py_ssize_t 類型的字段來(lái)理解也是可以的。因?yàn)?3.12 之前只有一個(gè) ob_refcnt，而 ob_refcnt_split 是針對(duì)永恒對(duì)象專門引入的。
ob_type：類型指針
對(duì)象是有類型的，類型對(duì)象描述實(shí)例對(duì)象的行為，而 ob_type 存儲(chǔ)的便是對(duì)應(yīng)類型對(duì)象的指針，所以類型對(duì)象在底層是一個(gè) PyTypeObject 結(jié)構(gòu)體實(shí)例。
從這里可以看出，所有的類型對(duì)象在底層都是由同一個(gè)結(jié)構(gòu)體實(shí)例化得到的，因?yàn)?PyObject 是所有對(duì)象共有的，它們的 ob_type 指向的都是 PyTypeObject。
所以不同的實(shí)例對(duì)象對(duì)應(yīng)不同的結(jié)構(gòu)體，但是類型對(duì)象對(duì)應(yīng)的都是同一個(gè)結(jié)構(gòu)體。
以上就是 PyObject，它的定義非常簡(jiǎn)單，就一個(gè)引用計(jì)數(shù)和一個(gè)類型對(duì)象的指針。這兩個(gè)字段的大小都是 8 字節(jié)，所以一個(gè) PyObject 結(jié)構(gòu)體實(shí)例的大小是 16 字節(jié)。
另外，由于 PyObject 是所有對(duì)象都具有的，換句話說(shuō)就是所有對(duì)象對(duì)應(yīng)的結(jié)構(gòu)體內(nèi)部都內(nèi)嵌了 PyObject，因此你在 Python 里面看到的任何一個(gè)對(duì)象都有引用計(jì)數(shù)和類型這兩個(gè)屬性。
>>> num = 666
>>> sys.getrefcount(num)
2
>>> num.__class__
<class 'int'>
>>> sys.getrefcount(sys)
72
>>> sys.__class__
<class 'module'>
>>> sys.getrefcount(sys.path)
2
>>> sys.path.__class__
<class 'list'>
>>> def foo(): pass
...
>>> sys.getrefcount(foo)
2
>>> foo.__class__
<class 'function'>引用計(jì)數(shù)可以通過(guò) sys.getrefcount 函數(shù)查看，類型可以通過(guò) type(obj) 或者 obj.__class__ 查看。
可變對(duì)象的地基：PyVarObject
PyObject 是所有對(duì)象的核心，它包含了所有對(duì)象都共有的信息，但是還有那么一個(gè)屬性雖然不是每個(gè)對(duì)象都有，但至少有一大半的對(duì)象會(huì)有，能猜到是什么嗎？
之前說(shuō)過(guò)，對(duì)象根據(jù)所占的內(nèi)存是否固定，可以分為定長(zhǎng)對(duì)象和變長(zhǎng)對(duì)象，而變長(zhǎng)對(duì)象顯然有一個(gè)長(zhǎng)度的概念，比如字符串、列表、元組等等。即便是相同類型的實(shí)例對(duì)象，但是長(zhǎng)度不同，所占的內(nèi)存也是不同的。
比如字符串內(nèi)部有多少個(gè)字符，元組、列表內(nèi)部有多少個(gè)元素，顯然這里的多少也是 Python 中很多對(duì)象的共有特征。雖然不像引用計(jì)數(shù)和類型那樣是每個(gè)對(duì)象都必有的，但也是絕大部分對(duì)象所具有的。
所以針對(duì)變長(zhǎng)對(duì)象，Python 底層也提供了一個(gè)結(jié)構(gòu)體，因?yàn)?Python 里面很多都是變長(zhǎng)對(duì)象。
// Include/object.h
typedef struct {
PyObject ob_base;
Py_ssize_t ob_size;
} PyVarObject;我們看到 PyVarObject 實(shí)際上是 PyObject 的一個(gè)擴(kuò)展，它在 PyObject 的基礎(chǔ)上提供了一個(gè) ob_size 字段，用于記錄內(nèi)部的元素個(gè)數(shù)。比如列表，列表的 ob_size 維護(hù)的就是列表的元素個(gè)數(shù)，插入一個(gè)元素，ob_size 會(huì)加 1，刪除一個(gè)元素，ob_size 會(huì)減 1。
因此使用 len 函數(shù)獲取列表的元素個(gè)數(shù)是一個(gè)時(shí)間復(fù)雜度為 O(1) 的操作，因?yàn)?ob_size 始終和內(nèi)部的元素個(gè)數(shù)保持一致，所以會(huì)直接返回 ob_size。
所有的變長(zhǎng)對(duì)象都擁有 PyVarObject，而所有的對(duì)象都擁有 PyObject，這就使得在 Python 中，對(duì)對(duì)象的引用變得非常統(tǒng)一。我們只需要一個(gè) PyObject * 就可以引用任意一個(gè)對(duì)象，而不需要管這個(gè)對(duì)象實(shí)際是一個(gè)什么樣的對(duì)象。
所以 Python 變量、以及容器內(nèi)部的元素，本質(zhì)上都是一個(gè) PyObject *。而在操作變量的時(shí)候，也要先根據(jù) ob_type 字段判斷指向?qū)ο蟮念愋停缓笤賹ふ以搶?duì)象具有的方法，這也是 Python 效率慢的原因之一。
由于 PyObject 和 PyVarObject 要經(jīng)常被使用，所以底層提供了兩個(gè)宏，方便定義。
// Include/object.h
#define PyObject_HEAD PyObject ob_base;
#define PyObject_VAR_HEAD PyVarObject ob_base;比如定長(zhǎng)對(duì)象浮點(diǎn)數(shù)，在底層對(duì)應(yīng)的結(jié)構(gòu)體為 PyFloatObject，它只需在 PyObject 的基礎(chǔ)上再加一個(gè) double 即可。
typedef struct {
// 等價(jià)于 PyObject ob_base;
PyObject_HEAD
double ob_fval;
} PyFloatObject;再比如變長(zhǎng)對(duì)象列表，在底層對(duì)應(yīng)的結(jié)構(gòu)體是 PyListObject，所以它需要在 PyVarObject 的基礎(chǔ)上再加一個(gè)指向指針數(shù)組首元素的二級(jí)指針和一個(gè)容量。
typedef struct {
PyObject_VAR_HEAD
PyObject **ob_item;
Py_ssize_t allocated;
} PyListObject;這上面的每一個(gè)字段都代表什么，我們之前提到過(guò)，當(dāng)然這些內(nèi)置的數(shù)據(jù)結(jié)構(gòu)后續(xù)還會(huì)單獨(dú)剖析。
里面的 ob_item 就是指向指針數(shù)組首元素的二級(jí)指針，而 allocated 表示已經(jīng)分配的容量，一旦添加元素的時(shí)候發(fā)現(xiàn) ob_size 自增 1 之后會(huì)大于 allocated，那么解釋器就知道數(shù)組已經(jīng)滿了（容量不夠了）。于是會(huì)申請(qǐng)一個(gè)長(zhǎng)度更大的指針數(shù)組，然后將舊數(shù)組內(nèi)部的元素按照順序逐個(gè)拷貝到新數(shù)組里面去，并讓 ob_item 指向新數(shù)組的首元素，這個(gè)過(guò)程就是列表的擴(kuò)容，后續(xù)在剖析列表的時(shí)候還會(huì)細(xì)說(shuō)。
所以我們看到列表在添加元素的時(shí)候，地址是不會(huì)改變的，即使容量不夠了也沒(méi)有關(guān)系，直接讓 ob_item 指向新的數(shù)組就好了，至于 PyListObject 對(duì)象本身的地址是不會(huì)變化的。
小結(jié)
PyObject 是 Python 對(duì)象的核心，因?yàn)?Python 對(duì)象在 C 的層面就是一個(gè)結(jié)構(gòu)體，并且所有的結(jié)構(gòu)體都嵌套了 PyObject 結(jié)構(gòu)體。而 PyObject 內(nèi)部有引用計(jì)數(shù)和類型這兩個(gè)字段，因此我們可以肯定的說(shuō) Python 的任何一個(gè)對(duì)象都有引用計(jì)數(shù)和類型這兩個(gè)屬性。
另外大部分對(duì)象都有長(zhǎng)度的概念，所以 PyObject 再加上長(zhǎng)度就誕生出了 PyVarObject，它在 PyObject 的基礎(chǔ)上添加了一個(gè) ob_size 字段，用于描述對(duì)象的長(zhǎng)度。比如字符串內(nèi)部的 ob_size 維護(hù)的是字符串的字符個(gè)數(shù)，元組、列表、字典等等，其內(nèi)部的 ob_size 維護(hù)的是存儲(chǔ)的元素個(gè)數(shù)，所以使用 len 函數(shù)獲取對(duì)象長(zhǎng)度是一個(gè) O(1) 的操作。
