驚呆，Oracle的這個坑竟然讓我踩上了
今天，系統中的一個業務處理莫名地執行了6個小時都沒有結束，正常處理也就是3分鐘左右，對原因進行定位，發現是在Oracle客戶端上同步執行一個命令沒有響應。今天來分享一下這個問題，讓更多的人避開這個坑。
1 業務場景
我們要把一個csv文件(文件名biz.csv)中的數據讀取到Oracle數據庫表(表名t_biz，t_biz)中，數據庫表t_biz表結構如下：
biz.csv文件內容如下：
- id,a,b,c
- 1,a1,b1,c1
- 2,a2,b2,c2
- 3,a3,b3,c3
把biz.csv文件的內容讀入到表t_biz，為了提高效率，這里使用了sqlldr 命令，命令如下：
- sqlldr test/test123@biz control=/home/jinjunzhu/biz/T_BIZ.ctl log=/home/jinjunzhu/biz/T_BIZ.log bad=/home/jinjunzhu/biz/T_BIZ.bad
解釋一下這個命令，test/test123 是要訪問的數據庫實例的用戶名/密碼，biz 是數據庫實例名稱。T_BIZ.ctl是控制文件，內容如下：
- options(skip=1,rows=10000,errors=0,parallel=true,bindsize=1048576,readsize=1048576)
- load data
- infile '/home/jinjunzhu/biz/biz.csv'
- fields terminated by ','
- truncate into table day_data
- trailing nullcols
- (id,a,b,c)
業務代碼中調用這個命令，代碼如下：
- private int execute(String cmd) throws Exception{
- Process process = Runtime.getRuntime().exec(new String[]{"/bin/bash", "-c", cmd});
- process.waitFor(10, TimeUnit.SECONDS);
- Integer status = process.waitFor();
- return status == null ? -1 : status;
- }
2 問題現場
程序執行到上面第4行的時候，程序hang住了，一直沒有返回。這個代碼之前從來沒有出過問題，最近也沒有上過線，今天唯一的不同就是文件數據量越來越大，今天比昨天大了幾萬行。
數據庫情況：
- 看不到有sqlldr命令等待的情況
- CPU正常
- 手工執行上面命令可以成功，但是打印的日志非常多，如下圖：
3 原因分析
網上搜這個問題竟然很多，原因有下面三類：
3.1 Oracle版本低
Oracle版本低，建議升級到10.2.0.2或以上，這個方案忽略，因為我們的數據庫版本是Oracle 11.2.0.4.0。
3.2 數據落庫情況
本以為sqlldr命令執行失敗了，但是文件數據已經全部落到t_biz表。這說明命令執行成功了，只是Oracle沒有給應用返回結果。難道是Oracle數據庫hang住了?但是上面的問題現場已經確認，Oracle并沒有hang在sqlldr這個命令上。
3.3 最終答案
看了好多博客，最后發現竟然不是Oracle的原因。根本原因是使用java執行shell時，如果不讀取標準輸出，這個輸出就會輸出到缺省緩沖區，如果輸出流太大，必將打滿緩沖區，導致程序hang住。
從上面問題現場的手工執行中可以看到，因為加載的數據量很大大，結果輸出也流非常大，這很容易超出缺省緩沖區大小。
4 解決方案
問題已經很明確了，解決方案也就有了，處理sqlldr的輸出就可以解決。解決方法有下面三種。
4.1 增加參數
在sqlldr命令后面增加一個參數，silent=(ALL)，最后命令如下：
- sqlldr test/test123@biz control=/home/jinjunzhu/biz/T_BIZ.ctl log=/home/jinjunzhu/biz/T_BIZ.log bad=/home/jinjunzhu/biz/T_BIZ.bad silent=(ALL)
4.2 程序讀取標準輸出
程序中讀取sqlldr命令返回的輸出，修改后的代碼如下：
- private int execute(String cmd) throws Exception{
- Process process = Runtime.getRuntime().exec(new String[]{"/bin/bash", "-c", cmd});
- process.waitFor(10, TimeUnit.SECONDS);
- Integer status;
- BufferedReader br = new BufferedReader(new InputStreamReader(process.getInputStream()));
- String line;
- while ((line = br.readLine()) != null) {
- System.out.println(line);
- }
- return (status = process.waitFor()) == null ? -1 : status;
- }
4.3 文件接收標準輸出
可以在sqlldr命令中增加文件參數來接收命令的標準輸出，最后我采用了這種方式，命令如下：
- sqlldr test/test123@biz control=/home/jinjunzhu/biz/T_BIZ.ctl log=/home/jinjunzhu/biz/T_BIZ.log bad=/home/jinjunzhu/biz/T_BIZ.bad 1>/home/jinjunzhu/biz/std.log 2>/home/jinjunzhu/biz/err.log
5 總結
這個問題剛出現的時候，一直以為是Oracle的問題，但是后來研究發現，這個鍋真的不能讓Oracle來背。關于sqlldr命令的詳細參數介紹，已經比較成熟，大家可以自行網絡查找。
【編輯推薦】
