[[388528]]

bytes實例包含的是原始數據，即8位的無符號值(通常按照ASCII編碼標準來顯示)。

 

a = b'h\x65llo' 
print(list(a)) 
print(a) 
>>> 
[104, 101, 108, 108, 111] 
b'hello' 

str實例包含的是Unicode碼點(code point，也叫作代碼點)，這些碼點與人類語言之中的文本字符相對應。

 

a = 'a\u0300 propos' 
print(list(a)) 
print(a) 
>>> 
['a', '`', ' ', 'p', 'r', 'o', 'p', 'o', 's'] 
à propos 

 

大家一定要記住：str實例不一定非要用某一種固定的方案編碼成二進制數據，bytes實例也不一定非要按照某一種固定的方案解碼成字符串。

• 要把Unicode數據轉換成二進制數據，必須調用str的encode方法。
• 要把二進制數據轉換成Unicode數據，必須調用bytes的decode方法。

調用這些方法的時候，可以明確指出自己要使用的編碼方案，也可以采用系統默認的方案，通常是指UTF-8(但有時也不一定，下面就會講到這個問題)。

編寫Python程序的時候，一定要把解碼和編碼操作放在界面最外層來做，讓程序的核心部分可以使用Unicode數據來運作，這種辦法通常叫作Unicode三明治(Unicode sandwich)。程序的核心部分，應該用str類型來表示Unicode數據，并且不要鎖定到某種字符編碼上面。

這樣可以讓程序接受許多種文本編碼(例如Latin-1、Shift JIS及Big5)，并把它們都轉化成Unicode，也能保證輸出的文本信息都是用同一種標準(最好是UTF-8)編碼的。

兩種不同的字符類型與Python中兩種常見的使用情況相對應：

• 開發者需要操作原始的8位值序列，序列里面的這些8位值合起來表示一個應該按UTF-8或其他標準編碼的字符串。
• 開發者需要操作通用的Unicode字符串，而不是操作某種特定編碼的字符串。

我們通常需要編寫兩個輔助函數(helper function)，以便在這兩種情況之間轉換，確保輸入值類型符合開發者的預期形式。

第一個輔助函數接受bytes或str實例，并返回str：

 

def to_str(bytes_or_str): 
    if isinstance(bytes_or_str, bytes): 
        value = bytes_or_str.decode('utf-8') 
    else: 
        value = bytes_or_str 
    return value  # Instance of str 
 
print(repr(to_str(b'foo'))) 
print(repr(to_str('bar'))) 
>>> 
'foo' 
'bar' 

 

第二個輔助函數也接受bytes或str實例，但它返回的是bytes：

 

def to_bytes(bytes_or_str): 
    if isinstance(bytes_or_str, str): 
        value = bytes_or_str.encode('utf-8') 
    else: 
        value = bytes_or_str 
    return value  # Instance of bytes 
 
print(repr(to_bytes(b'foo'))) 
print(repr(to_bytes('bar'))) 

 

在Python中使用原始的8位值與Unicode字符串時，有兩個問題要注意。

第一個問題是，bytes與str這兩種類型似乎是以相同的方式工作的，但其實例并不相互兼容，所以在傳遞字符序列的時候必須考慮好其類型。

可以用+操作符將bytes添加到bytes，str也可以這樣。

 

print(b'one' + b'two') 
print('one' + 'two') 
>>> 
b'onetwo' 
onetwo 

 

但是不能將str實例添加到bytes實例：

 

b'one' + 'two' 
>>> 
Traceback ... 
TypeError: can't concat str to bytes 

 

也不能將bytes實例添加到str實例：

 

'one' + b'two' 
>>> 
Traceback ... 
TypeError: can only concatenate str (not "bytes") to str 

 

bytes與bytes之間可以用二元操作符(binary operator)來比較大小，str與str之間也可以：

 

assert b'red' > b'blue' 
assert 'red' > 'blue' 

 

但是str實例不能與bytes實例比較：

 

assert 'red' > b'blue' 

反過來也一樣，也就是說bytes實例不能與str實例比較：

 

assert b'blue' < 'red' 

判斷bytes與str實例是否相等，總是會評估為假(False)，即便這兩個實例表示的字符完全相同，它們也不相等。例如，在下面這個例子里，它們表示的字符串都相當于ASCII編碼之中的foo。

 

print(b'foo' == 'foo') 
>>> 
False 

 

兩種類型的實例都可以出現在%操作符的右側，用來替換左側那個格式字符串(format string)里面的%s。

 

print(b'red %s' % b'blue') 
print('red %s' % 'blue') 
>>> 
b'red blue' 
red blue 

 

如果格式字符串是bytes類型，那么不能用str實例來替換其中的%s，因為Python不知道這個str應該按照什么方案來編碼。

 

print(b'red %s' % 'blue') 

但反過來卻可以，也就是說如果格式字符串是str類型，則可以用bytes實例來替換其中的%s，問題是，這可能跟你想要的結果不一樣。

 

print('red %s' % b'blue') 
>>> 
red b'blue' 

 

這樣做，會讓系統在bytes實例上面調用__repr__方法，然后用這次調用所得到的結果替換格式字符串里的%s，因此程序會直接輸出b'blue'，而不是像你想的那樣，輸出blue本身。

第二個問題發生在操作文件句柄的時候，這里的句柄指由內置的open函數返回的句柄。這樣的句柄默認需要使用Unicode字符串操作，而不能采用原始的bytes。習慣了Python 2的開發者，尤其容易碰到這個問題，進而導致程序出現奇怪的錯誤。例如，向文件寫入二進制數據的時候，下面這種寫法其實是錯誤的。

 

with open('data.bin', 'w') as f: 
    f.write(b'\xf1\xf2\xf3\xf4\xf5') 
>>> 
Traceback ... 
TypeError: write() argument must be str, not bytes 

 

程序發生異常是因為在調用open函數時，指定的是'w'模式，所以系統要求必須以文本模式寫入。如果想用二進制模式，那應該指定'wb'才對。在文本模式下，write方法接受的是包含Unicode數據的str實例，不是包含二進制數據的bytes實例。所以，我們得把模式改成'wb'來解決該問題。

 

with open('data.bin', 'wb') as f: 
    f.write(b'\xf1\xf2\xf3\xf4\xf5') 

 

讀取文件的時候也有類似的問題。例如，如果要把剛才寫入的二進制文件讀出來，那么不能用下面這種寫法。

 

with open('data.bin', 'r') as f: 
    data = f.read() 

 

程序出錯，是因為在調用open函數時指定的是'r'模式，所以系統要求必須以文本模式來讀取。若要用二進制格式讀取，應該指定'rb'。以文本模式操縱句柄時，系統會采用默認的文本編碼方案處理二進制數據。

所以，上面那種寫法會讓系統通過bytes.decode把這份數據解碼成str字符串，再用str.encode把字符串編碼成二進制值。然而對于大多數系統來說，默認的文本編碼方案是UTF-8，所以系統很可能會把b'\xf1\xf2\xf3\xf4\xf5'當成UTF-8格式的字符串去解碼，于是就會出現上面那樣的錯誤。為了修正錯誤，需要把模式改成'rb'。

 

with open('data.bin', 'rb') as f: 
    data = f.read() 
 
assert data == b'\xf1\xf2\xf3\xf4\xf5' 

 

另一種改法是在調用open函數的時候，通過encoding參數明確指定編碼標準，以確保平臺特有的一些行為不會干擾代碼的運行效果。例如，假設剛才寫到文件里的那些二進制數據表示的是一個采用'cp1252'標準(cp1252是一種老式的Windows編碼方案)來編碼的字符串，則可以這樣寫：

 

with open('data.bin', 'r', encoding='cp1252') as f: 
    data = f.read() 
 
assert data == 'ñòóôõ' 

 

這樣程序就不會出現異常了，但返回的字符串也與讀取原始字節數據所返回的有很大區別。通過這個例子，我們要提醒自己注意當前操作系統默認的編碼標準(可以執行 python3 -c 'import locale; print(

locale.getpreferredencoding())'命令查看)，了解它與你所期望的是否一致。如果不確定，那就在調用open時明確指定encoding參數。

要點

• bytes包含的是由8位值所組成的序列，str包含的是由Unicode碼點所組成的序列。
• 我們可以編寫輔助函數來確保程序收到的字符序列確實是期望要操作的類型(要知道自己想操作的到底是Unicode碼點，還是原始的8位值。用UTF-8標準給字符串編碼，得到的就是這樣的一系列8位值)。
• bytes與str這兩種實例不能在某些操作符(例如>、==、+、%操作符)上面混用。
• 從文件中讀取二進制數據(或者把二進制數據寫入文件)時，應該用'rb'('wb')這樣的二進制模式打開文件。
• 如果要從文件中讀取(或者要寫入文件之中)的是Unicode數據，那么必須注意系統默認的文本編碼方案。若無法肯定，可通過encoding參數明確指定。