位置編碼（Postitional Encoding）是Transformer架構中的關鍵技術之一。不同于卷積神經網絡利用局部感受野、共享權重和池化操作等機制，可以自然地感受輸入數據的空間位置信息，也不同于循環神經網絡憑借循環結構和隱藏狀態的記憶與更新機制，能夠隱式地捕捉輸入序列中的時間順序信息，Tranformer架構并未顯式地建模輸入序列中的絕對或相對位置信息，故需通過位置編碼技術顯式地注入位置信息，以使模型能更好地理解序列中不同位置間的依賴關系。

1.位置編碼技術的發展

位置編碼技術的發展從Transformer模型最初使用的利用序列中元素的絕對位置的絕對位置編碼（Absolute Positional Encoding）技術開始，到可以捕捉序列中元素之間的相對位置關系的相對位置編碼（Relative Positional Encoding）技術，再到結合了前二者優點的旋轉位置編碼（Rotary Position Embedding, RoPE）技術的提出，在DeepSeek等大語言模型中得到了廣泛且有效的使用。

本文主要針對Transformer模型最初提出的絕對位置編碼技術進行深入探究，包括技術原理、優缺點及基于Pytorch的代碼實現和效果可視化展示。（全文近1700字，感興趣可點贊、推薦、轉發、關注，將持續更新！！！）

2.Transformer中的絕對位置編碼

3.絕對位置編碼的優點與局限性

（1）優點：絕對位置編碼在 Transformer 模型中具有簡單易實現、顯式順序信息和計算效率高等優點，特別適用于短文本處理任務。

（2）局限性：絕對位置編碼是基于固定長度的序列設計的，無法適應模型推理階段序列長度變化的情況，這種缺乏外推性的問題限制了模型在處理不同長度序列時的靈活性。同時，無法捕捉序列中元素之間的相對位置關系，使模型對長距離依賴的捕捉能力有限。

4.絕對位置?編碼的實現

（3）可視化位置編碼效果：由下圖可見，每一行代表輸入序列中一個token的位置信息編碼，具有明顯不同且連續的模式，能夠幫助Transformer區分輸入序列中不同位置的元素。

本文轉載自??南夏的算法驛站??，作者：趙南夏