談談WEB開發中的苦大難字符集問題
記得剛做javaweb開發的時候被這個編碼問題搞得暈頭轉向，經常稀里糊涂的編碼正常了一會編碼又亂了。那個時候迫于項目進度大多都是知其然不知其所以然。后來有時間就把整個體系搞了個遍，終于摸通了來龍去脈。
在C++的CGI開發時大家喜歡用latin，這個屬于字節方式的編碼格式，存儲mysql節約空間，而C++也是比較容易控制到byte級別的語言。所以經過框架封裝基本也問題不大。
在Java語言中，要涉及修改編碼問題的地方還真多。一個地方沒有設好就會亂碼滿天飛。大概總結包括以下這幾部分：瀏覽器、服務器、數據庫、操作系統。
瀏覽器：
如果使用模板語言，html需要設置顯示的字符集。這個適用于瀏覽器判斷什么編碼顯示。
- <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
擴展，瀏覽器識別編碼的順序：
1.如果HTTP頭部申明了charset，則會使用HTTP頭部的，
2.讓HTTP頭部沒有設置，則會去解析meta標簽的，
3.如果meta也沒有的話，瀏覽器會根據是否設置了auto detect來進行編碼識別，
4.否則會使用本地UI的字符編碼。
服務器：
對于JSP等動態語言，需要在jsp頭部設置編碼格式，J2EE服務器解析這個JSP的時候才會把整個頁面編碼為UTF-8輸出，不然就按照系統默認編碼格式ISO-8859-1輸出了。JSP設置格式如下：
- <%@ page language= "java" contentType = "text/html; charset=UTF-8"
- pageEncoding ="UTF-8" %>
大家都知道，JSP對應的就是servlet。servlet的編碼對應如下設置：
- public void service(HttpServletRequest request, HttpServletResponse response)
- throws ServletException,IOException{
- response.setContentType("text/html;charset=utf-8");
- }
還有不要漏掉大家常用的spring工具類，編碼轉換filter，很實用。在你用struts、spring mvc時這個過濾器幫你轉換沒有設置的編碼過濾。如下設置：
- <filter>
- <filter-name> Set Character Encoding</filter-name>
- <filter-class>
- org.springframework.web.filter.CharacterEncodingFilter
- </filter-class>
- <init-param>
- <param-name> encoding</param-name>
- <param-value> UTF-8</param-value>
- </init-param>
- </filter>
萬一還有亂碼怎么辦呢？doGet方式的參數傳遞肯定會有亂碼問題。只需要在tomcat的監聽器里設置編碼字符集如下（文件一般存儲在 /tomcat安裝目錄/conf/server.xml ）：
- <Connector port="80" protocol="HTTP/1.1"
- connectionTimeout="20000"
- redirectPort="8443" URIEncoding="utf-8" />
大家在開發的時候別忘了java文件本身也是有編碼格式的。在類文件右鍵查看屬性。
如果開發時忘記更改文件的編碼格式，windows默認是GBK的，后來又要一直到utf8編碼的linux怎么辦。文件巨多，總不能一個一個去更改吧。其實很簡單，只需要在java命令的環境參數設置 -Dfile.encoding=GBK 解決。
編譯java代碼時，如果使用ant需要在javac里設置編譯的字符集。這樣打印的log輸出到文件或者控制臺上就不會亂碼了。
- <javac debuglevel= "source,lines" source= "1.6" encoding= "utf-8">
maven編譯時設置的字符集：
- < artifactId> maven-compiler-plugin </artifactId >
- < version> 2.5 </version >
- < configuration>
- < optimize> true </optimize >
- < showDeprecation> false </showDeprecation >
- < debuglevel> lines,source </debuglevel >
- < source> 1.6 </source >
- < target> 1.6 </target >
- < encoding> UTF-8 </encoding >
- < meminitial> 128m </meminitial >
- < maxmem> 768m </maxmem >
- </ configuration>
sqlmap的sql xml，sping的xml 也是需要設置的，因為涉及到跨平臺。 頂上添加：
- <!--?xml version="1.0" encoding="UTF-8"?-->
數據庫：
這里列出大家用的最多的Mysql字符集設置。打開mysql的配置文件( linux 一般在 /etc/my.cnf ，windows在mysql的安裝目錄 my.ini)。設置如下：
- [mysqld]
- default-character-set = utf8
- [ mysql]
- character_set_server = utf8
jdbc需要設置
jdbc : mysql://192.168.0.237:3306/dzh_db?useUnicode=true&characterEncoding=UTF-8
這些都設置了一般的中文是不會有問題的。
不過最近出現了一個問題很搞怪。以前以為所有的字符只要設置好了所有數據都可以錄入數據庫，結果有些字符就不行，比如●■★這類型的。后來把這些字符變成字節碼，居然不是三位utf8的，我擦，大汗淋漓。后來查詢可以通過過濾utf8 特殊字符的方式處理。
#p#
- public static String Utf2String (byte buf[]) {
- int len = buf.length ;
- StringBuffer sb = new StringBuffer(len / 2);
- for (int i = 0; i < len; i++) {
- if (by2int(buf[i]) <= 0x7F)
- sb.append(( char ) buf[i]);
- else if (by2int(buf[i]) <= 0xDF && by2int(buf[i]) >= 0xC0) {
- int bh = by2int(buf[i] & 0x1F);
- int bl = by2int(buf[++i] & 0x3F);
- bl = by2int(bh << 6 | bl); bh = by2int(bh >> 2);
- int c = bh << 8 | bl;
- sb.append(( char ) c);
- } else if (by2int(buf[i]) <= 0xEF && by2int(buf[i]) >= 0xE0) {
- int bh = by2int(buf[i] & 0x0F);
- int bl = by2int(buf[++i] & 0x3F);
- int bll = by2int(buf[++i] & 0x3F);
- bh = by2int(bh << 4 | bl >> 2);
- bl = by2int(bl << 6 | bll);
- int c = bh << 8 | bl;
- // 空格轉換為半角
- if (c == 58865) {
- c = 32;
- }
- sb.append(( char ) c);
- }
- }
- return sb.toString();
- }
或者把mysql的字符集改為 utf8mb4 ，記得這個只有mysql55支持哦！
- [mysqld]
- default-character-set =utf8mb4
- [ mysql]
- character_set_server = utf8mb4
操作系統：
windows默認是gbk，一般不需要變動。不過大家又想每個文件都要建立為utf8格式怎么辦，不可能我們每個文件建立后都去用屬性改變一下？太麻煩！直接在eclipse設置后，同種類型的文件建立都會是utf8格式。
linux，可以有兩個地方修改基本就足夠了：
vi /etc/sysconfig/i18n
修改
- LANG="zh_CN.GB3212"
- LANGUAGE="zh_CN.GB18030:zh_CN.GB2312:zh_CN"
- SUPPORTED="zh_CN.GB18030:zh_CN:zh:en_US.UTF-8:en_US:en"
vi /etc/profile
- export LC_ALL="zh_CN.GB2312"
- export LANG="zh_CN.GB2312"
