Linux漢字亂碼解決辦法(數據庫插入、服務器上傳)
51CTO編輯注：本文來自阿里巴巴數據倉庫部門的團隊對外宣傳和技術溝通博客alidw.com。
在Linux下，你有沒有這樣的經歷，文本文件里面的漢字顯示都是正常的，可一插到數據庫里就變成了亂碼；文件名在本機顯示都很正常，一傳到服務器上顯示的都變成亂碼了，最近就差點被這個問題搞死，***還算小有收獲，這里寫一下心得：
1，首先要知道文件自己的編碼方式，就是文件是以utf8還是以gbk等編碼方式存儲的，因為這是根本。以xxx.dat文件為例
用vi命令打開xxx.dat文件
在命令行模式：輸入set fileencoding 這時會在終端的底部顯示文件的編碼方式，顯示的結果如果是cp936(等同于gbk)或者utf8等，那說明文件的編碼方式已經被正確判斷出來了，如果是latin1，我們就可能要設定VI的fileencodings這個環境變量的值，打開vimrc這個文件，RHEL的這個文件在/etc目錄下、Ubuntu在/etc/vim目錄下；或者你也可以建一個~/.vimrc文件
然后把里面merge成：set fileencodings=ucs-bom,utf-8,cp936,gb18030,big5,euc-jp,euc-kr,latin1 然后重新vi xxx.dat
PS:我們打開文件的時候， VIM 按順序使用 fileencodings 中的編碼進行嘗試解碼， 如果成功的話， 就使用該編碼方式進行解碼， 并將 fileencoding 設置為這個值， 如果失敗的話， 就繼續試驗下一個編碼。而latin1 是一種非常寬松的編碼方式， 任何一種編碼方式得到的文本， 用 latin1 進行解碼， 都不會發生解碼失敗 —— 當然， 解碼得到的結果自然也就是理所當然的“亂碼”
2，下一個比較重要的就是LANG這個環境變量了(關于這個變量的含義和作用自己百度，可以搜出一堆)
假如xxx.dat是以utf8編碼，往數據庫里插的時候，我們就需要把LANG這個環境變量設成LANG=zh_CN.utf8，如果xxx.dat是以cp936、LANG就需要設成LANG=zh_CN.gbk
這樣在插入的時候，就不需要用程序對文件的字符進行轉換，可以直接插入
PS：用locale -a命令查看可以把LANG設成哪些值，locale -m 查看系統支持哪些字符集，假如locale -a沒有你所需要的值，比如zh_CN.gbk，那就需要手動安裝，安裝方法也很簡單
a. sudo cp /var/lib/locales/supported.d/local /var/lib/locales/supported.d/local.old【可選，備份】
b. sudo cp /usr/share/i18n/SUPPORTED /var/lib/locales/supported.d/local
編輯/var/lib/locales/supported.d/local去掉大多數不用的行(locales)
c. sudo dpkg-reconfigure locales
編輯/etc/environment文件，設置一下要用的LANG
也可以用locale-gen命令設置默認的locale，如sudo locale-gen zh_CN.UTF-8
3，還有一個同事，LANG環境變量（這里要注意環境變量生效的范圍）也已經改過了，把windows的文件重新傳到了Linux服務器上，通過網頁瀏覽，文件名仍然是亂碼，這是因為LANG還未在apache服務器上生效，重啟一下apache服務就可以了。
原文：http://www.alidw.com/?p=1643
【編輯推薦】
