相信每一個維護hbase集群的運維人員一定碰到過disable失敗，陷入無窮的"Region has been PENDING_CLOSE for too long..."狀態，此時沒有什么好的辦法處理。經常需要重啟集群。 
    這個問題產生的原因非常討厭，經過一段時間的分析和驗證，得到了根本原因。要理解它，必須從disable的原理說起： 

1. 　　disable線程是一個DisableTableHandler類，我們看它的handleDisableTable()方法，在while循環中先獲取table的regions列表，然后調用BulkDisabler的bulkAssign()方法，等待bulkAssign()返回為true時則結束
2. 　　在bulkAssign()方法中啟動線程池，然后等待線程池超時，超時時間由hbase.bulk.assignment.waiton.empty.rit控制
3. 　　在每個線程中，先從regions collection中得到regions列表，然后通知rs來處理該region，并且把該region放入RIT列表中，表示該region正在進行處理
4. 　　rs處理完region以后，將該region狀態在zk上置為closing，此時master得到通知
5. 　　master將這個region從RIT列表中刪除，并從regions列表中刪除。

     注意以上最后一步，當master把它從RIT中刪除以后，還有短暫的時間這個region還在regions列表中，此時另一個線程拿到了這個region，并且此時這個region不處于RIT狀態保護，于是另一個線程開始重復以上過程，而前一個線程己經把它從collection中刪除了，于是后一個線程再也無法完成closing事件。直到RIT超時（默認30秒）。 

    于是有兩個修改辦法： 
     1、縮短hbase.bulk.assignment.waiton.empty.rit這個時間(默認10分鐘，it's too long...)，讓它重新進行一輪disable，此時會先把RIT的region都處理掉再繼續，這樣多幾次嘗試總會成功的。 
     2、修改代碼：(https://issues.apache.org/jira/secure/attachment/12487669/HBASE-4064_branch90V2.patch) 

Index: src/main/java/org/apache/hadoop/hbase/master/AssignmentManager.java    
===================================================================    
--- src/main/java/org/apache/hadoop/hbase/master/AssignmentManager.java (revision 1150529)    
+++ src/main/java/org/apache/hadoop/hbase/master/AssignmentManager.java (working copy)    
@@ -767,14 +767,15 @@    
    * @param regionInfo    
    */    
   public void regionOffline(final HRegionInfo regionInfo) {    
+    // remove the region plan as well just in case.    
+    clearRegionPlan(regionInfo);    
+    setOffline(regionInfo);    
+        
     synchronized(this.regionsInTransition) {    
       if (this.regionsInTransition.remove(regionInfo.getEncodedName()) != null) {    
         this.regionsInTransition.notifyAll();    
       }    
     }    
-    // remove the region plan as well just in case.    
-    clearRegionPlan(regionInfo);    
-    setOffline(regionInfo);    
   }   

    即在以上步驟5時，先從regions列表中刪除，再清除它的RIT狀態。 
    方法2己經測試成功，方法1更簡單，各位被這個問題困擾的同學可以一試。

原文鏈接：koven2049.iteye.com