由于hystrix官方已經(jīng)停止維護(hù)了，目前spring-cloud推薦使用resilience4j來代替hystrix實現(xiàn)熔斷、限流。
熔斷一般指客戶端調(diào)用服務(wù)端接口出現(xiàn)異常時客戶端側(cè)的處理，當(dāng)然也可以是服務(wù)端的處理出現(xiàn)異常時熔斷快速返回，可以暫時切斷對下游服務(wù)的調(diào)用，是一種犧牲局部保全整體的有效措施（同時此客戶端也可能是服務(wù)端）。
限流一般是指限制在指定時間間隔內(nèi)的請求量，避免因請求過多導(dǎo)致服務(wù)崩潰，限流被看作是服務(wù)端的自我保護(hù)能力。
1、客戶端openfeign使用resilience4j實現(xiàn)熔斷
模擬一個客戶端，通過feign調(diào)用一個服務(wù)端接口來模擬此功能。
使用spring-boot的版本為2.7.3，spring-cloud版本為2021.0.4，關(guān)鍵的依賴如下：
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-circuitbreaker-resilience4j</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-openfeign</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-loadbalancer</artifactId>
</dependency>
<dependency>
<groupId>io.github.resilience4j</groupId>
<artifactId>resilience4j-feign</artifactId>
</dependency>
- application.yaml增加以下熔斷配置。
resilience4j:
circuitbreaker:
instances:
ApiService:
registerHealthIndicator: true
slidingWindowSize: 7
slidingWindowType: COUNT_BASED
waitDurationInOpenState: 5000
permittedNumberOfCallsInHalfOpenState: 6
feign:
client:
config:
default:
readTimeout: 1000
connectTimeout: 1000
circuitbreaker:
enabled: true
logging:
level:
root: info
pattern:
console: "%d{${LOG_DATEFORMAT_PATTERN:HH:mm:ss.SSS}} %m%n"
需要注意的是feign需要開啟circuitbreaker，并在啟動類中增加@EnableFeignClients，spring-boot默認(rèn)情況下會使用logback來管理日志，為了便于觀察調(diào)整參數(shù)后的效果調(diào)整一下日志格式，在此案例中默認(rèn)的日志格式在org.springframework.boot.logging.logback.DefaultLogbackConfiguration類中defaults方法中定義，此類在包spring-boot:2.7.3中。
增加feign客戶端請求類并需要增加fallback方法處理熔斷后的默認(rèn)返回，簡單寫一個測試類完成測試，觀察對應(yīng)的參數(shù)情況。
//ApiClient.java
@FeignClient(name = "ApiService", url = "http://localhost:8082")
public interface ApiClient {
@GetMapping("/api/test")
@CircuitBreaker(name = "ApiService", fallbackMethod = "getUserFallback")
String getUser(@RequestParam(name = "param") String param, @RequestParam(name = "time") int time);
default String getUserFallback(String param, int time, Exception exc) {
return "default value";
}
}
//ResilienceTest.java
@Slf4j
@SpringBootTest
class ResilienceTest {
@Autowired
private ApiClient apiClient;
@Autowired
private CircuitBreakerRegistry circuitBreakerRegistry;
@Test
void test() throws Exception {
for (int i = 0; i < 1000; i++) {
apiClient.getUser("test", 500);
status();
Thread.sleep(500);
}
}
private void status(){
CircuitBreaker breaker = circuitBreakerRegistry.circuitBreaker("ApiService");
CircuitBreaker.Metrics metrics = breaker.getMetrics();
log.info("state={},metrics[failureRate={},bufferedCalls={},failedCalls={},successCalls={},maxBufferCalls={},notPermittedCalls={}]"
, breaker.getState(), metrics.getFailureRate(), metrics.getNumberOfBufferedCalls(), metrics.getNumberOfFailedCalls()
, metrics.getNumberOfSuccessfulCalls(), metrics.getNumberOfBufferedCalls(), metrics.getNumberOfNotPermittedCalls());
}
}
在沒有任務(wù)服務(wù)端的情況下，運(yùn)行單元測試即可模擬熔斷的效果。另外需要注意配置的feign調(diào)用的超時，單元測試中增加獲取metrics并打印以便觀察效果。
運(yùn)行結(jié)果如下：
簡單分析一下，滑動窗口的大小slidingWindowSize為7，滑動窗口類型slidingWindowType為計數(shù)器，熔斷器從打開到半開的狀態(tài)等待時間為5秒，熔斷器半開狀態(tài)下允許的數(shù)量permittedNumberOfCallsInHalfOpenState為6。
failureRateThreshold的含義：如60（即%60），這個閾值控制兩個狀態(tài)的變化，從CLOSE=>OPEN時，表示當(dāng)錯誤率高于60%時開啟熔斷，而狀態(tài)從HALF_OPEN=>CLOSE時，表示當(dāng)錯誤率低于60%時關(guān)閉熔斷。
2、服務(wù)端使用resilience4j實現(xiàn)限流
使用一個服務(wù)端的接口簡單模擬一下限流的方式，如設(shè)定5秒內(nèi)最多10個請求，觀察異常情況。
同樣是使用spring-boot的版本2.7.3，spring-cloud版本2021.0.4進(jìn)行模擬。
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-starter-circuitbreaker-resilience4j</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-aop</artifactId>
</dependency>
- application.yaml配置文件增加ratelimiter配置。
resilience4j:
ratelimiter:
instances:
ApiService:
limitForPeriod: 10
limitRefreshPeriod: 5s
timeoutDuration: 0
limitRefreshPeriod表示刷新周期，limitForPeriod表示一個時間周期內(nèi)請求的總數(shù)，配置表示5秒內(nèi)允許10個請求。
- 寫一個controller接收請求，service處理請求并增加限流控制，同時增加一個限流后異常處理。
//ApiController.java
@Slf4j
@RequestMapping("/api")
@RestController
public class ApiController {
@Autowired
private ApiService apiService;
@GetMapping("/limit")
public String limit() {
return apiService.limit();
}
}
//ApiService.java
@Slf4j
@Service
public class ApiService {
@RateLimiter(name = "ApiService", fallbackMethod = "testFallback")
public String limit() {
return "success";
}
@SneakyThrows
public String testFallback(java.lang.Throwable exception) {
throw exception;
}
}
//Advice.java
@Slf4j
@ControllerAdvice
public class Advice {
@ExceptionHandler(RequestNotPermitted.class)
@ResponseStatus(HttpStatus.TOO_MANY_REQUESTS)
public void error(){
log.error("Too Many Requests");
}
}
編寫一個ControllerAdvice通過處理RequestNotPermitted異常，返回客戶端響應(yīng)碼429。
@Slf4j
@SpringBootTest
class ResilienceTest {
private RestTemplate restTemplate = new RestTemplate();
@Test
void limit() throws Exception {
for (int i = 1; i <= 99; i++) {
try {
ResponseEntity<String> response = restTemplate.getForEntity("http://localhost:9999/api/limit", String.class);
log.info("status code {} {}", String.format("%02d", i), response.getStatusCode());
} catch (HttpClientErrorException e) {
log.error("status code {}", e.getStatusCode());
}
Thread.sleep(400);
}
}
}
可以適當(dāng)減少單元測試的休眠時間，觀察發(fā)生限流的情況。
