全鏈路灰度在數(shù)據(jù)庫(kù)上我們是怎么做的？

2022-12-26 11:57:41

當(dāng)我們?cè)谔剿鞣?wù)治理的過(guò)程中，我們?cè)趯?duì)接其他微服務(wù)的時(shí)候，我們發(fā)現(xiàn)治理體系不同造成的困擾是巨大的，打通兩套甚者是多套治理體系的成本也是巨大的。

什么是全鏈路灰度？

微服務(wù)體系架構(gòu)中，服務(wù)之間的依賴(lài)關(guān)系錯(cuò)綜復(fù)雜，有時(shí)某個(gè)功能發(fā)版依賴(lài)多個(gè)服務(wù)同時(shí)升級(jí)上線。我們希望可以對(duì)這些服務(wù)的新版本同時(shí)進(jìn)行小流量灰度驗(yàn)證，這就是微服務(wù)架構(gòu)中特有的全鏈路灰度場(chǎng)景，通過(guò)構(gòu)建從網(wǎng)關(guān)到整個(gè)后端服務(wù)的環(huán)境隔離來(lái)對(duì)多個(gè)不同版本的服務(wù)進(jìn)行灰度驗(yàn)證。

查看直播教程：?https://yqh.aliyun.com/live/detail/29004?

在發(fā)布過(guò)程中，我們只需部署服務(wù)的灰度版本，流量在調(diào)用鏈路上流轉(zhuǎn)時(shí)，由流經(jīng)的網(wǎng)關(guān)、各個(gè)中間件以及各個(gè)微服務(wù)來(lái)識(shí)別灰度流量，并動(dòng)態(tài)轉(zhuǎn)發(fā)至對(duì)應(yīng)服務(wù)的灰度版本。如下圖：

上圖可以很好展示這種方案的效果，我們用不同的顏色來(lái)表示不同版本的灰度流量，可以看出無(wú)論是微服務(wù)網(wǎng)關(guān)還是微服務(wù)本身都需要識(shí)別流量，根據(jù)治理規(guī)則做出動(dòng)態(tài)決策。當(dāng)服務(wù)版本發(fā)生變化時(shí)，這個(gè)調(diào)用鏈路的轉(zhuǎn)發(fā)也會(huì)實(shí)時(shí)改變。相比于利用機(jī)器搭建的灰度環(huán)境，這種方案不僅可以節(jié)省大量的機(jī)器成本和運(yùn)維人力，而且可以幫助開(kāi)發(fā)者實(shí)時(shí)快速的對(duì)線上流量進(jìn)行精細(xì)化的全鏈路控制。

OpenSergo[1] 流量路由標(biāo)準(zhǔn)

Q：OpenSergo是什么？

A：OpenSergo 是一套開(kāi)放、通用的、面向分布式服務(wù)架構(gòu)、覆蓋全鏈路異構(gòu)化生態(tài)的服務(wù)治理標(biāo)準(zhǔn)，基于業(yè)界服務(wù)治理場(chǎng)景與實(shí)踐形成服務(wù)治理通用標(biāo)準(zhǔn)。OpenSergo 的最大特點(diǎn)是以統(tǒng)一的一套配置/DSL/協(xié)議定義服務(wù)治理規(guī)則，面向多語(yǔ)言異構(gòu)化架構(gòu)，做到全鏈路生態(tài)覆蓋。無(wú)論微服務(wù)的語(yǔ)言是Java, Go, Node.js還是其它語(yǔ)言，無(wú)論是標(biāo)準(zhǔn)微服務(wù)還是 Mesh 接入，從網(wǎng)關(guān)到微服務(wù)，從數(shù)據(jù)庫(kù)到緩存，從服務(wù)注冊(cè)發(fā)現(xiàn)到配置，開(kāi)發(fā)者都可以通過(guò)同一套OpenSergo CRD標(biāo)準(zhǔn)配置針對(duì)每一層進(jìn)行統(tǒng)一的治理管控，而無(wú)需關(guān)注各框架、語(yǔ)言的差異點(diǎn)，降低異構(gòu)化、全鏈路服務(wù)治理管控的復(fù)雜度

Q：為什么了解全鏈路灰度之前先給我介紹 OpenSergo？

A：OpenSergo 定義了一套統(tǒng)一的 YAML 配置方式來(lái)針對(duì)分布式架構(gòu)進(jìn)行全鏈路的服務(wù)治理的規(guī)范，介紹規(guī)范與標(biāo)準(zhǔn)的同時(shí)，我們可以了解其中的技術(shù)細(xì)節(jié)的實(shí)現(xiàn)，同時(shí)我們還可以將新的組件與 OpenSergo 的標(biāo)準(zhǔn)進(jìn)行實(shí)現(xiàn)。

流量路由，顧名思義就是將具有某些屬性特征的流量，路由到指定的目標(biāo)。流量路由是流量治理中重要的一環(huán)，開(kāi)發(fā)者可以基于流量路由標(biāo)準(zhǔn)來(lái)實(shí)現(xiàn)各種場(chǎng)景，如灰度發(fā)布、金絲雀發(fā)布、容災(zāi)路由、標(biāo)簽路由等。

全鏈路灰度示例：

流量路由規(guī)則(v1alpha1) 主要分為三部分：

Workload 標(biāo)簽規(guī)則 (WorkloadLabelRule)：將某一組 workload 打上對(duì)應(yīng)的標(biāo)簽，這一塊可以理解為是為應(yīng)用或者對(duì)應(yīng)存儲(chǔ)層的話(huà)就是數(shù)據(jù)庫(kù)負(fù)載（數(shù)據(jù)庫(kù)、表）打上對(duì)應(yīng)的標(biāo)簽
流量標(biāo)簽規(guī)則 (TrafficLabelRule)：將具有某些屬性特征的流量，打上對(duì)應(yīng)的標(biāo)簽
按照 Workload 標(biāo)簽和流量標(biāo)簽來(lái)做匹配路由，將帶有指定標(biāo)簽的流量路由到匹配的 workload 中

給流量打標(biāo)：

需要將具有某些屬性特征的流量，打上對(duì)應(yīng)的標(biāo)簽。

假設(shè)現(xiàn)在需要將深圳地域的用戶(hù)灰度到新版主頁(yè)，測(cè)試用戶(hù) locatinotallow=cn-shenzhen，cn-shenzhen 位于 location header 中：

apiVersion: traffic.opensergo.io/v1alpha1
kind: TrafficLabelRule
metadata:
  name: my-traffic-label-rule
  labels:
    app: spring-cloud-zuul
spec:
  selector:
    app: spring-cloud-zuul
  trafficLabel: gray
  match:
  - condition: "=="    # 匹配表達(dá)式
    type: header       # 匹配屬性類(lèi)型
    key: 'location'   # 參數(shù)名
    value: cn-shenzhen       # 參數(shù)值

通過(guò)上述配置，location header 為 cn-shenzhen 的 HTTP 流量，打上 gray 標(biāo)，代表這個(gè)流量為灰度流量。

給 Workload 打標(biāo)簽：

在使用 Nacos 作為服務(wù)發(fā)現(xiàn)的業(yè)務(wù)系統(tǒng)中，一般是需要業(yè)務(wù)根據(jù)其使用的微服務(wù)框架來(lái)決定打標(biāo)方式。如果 Java 應(yīng)用使用的 Spring Cloud 微服務(wù)開(kāi)發(fā)框架，我們可以為業(yè)務(wù)容器添加對(duì)應(yīng)的環(huán)境變量來(lái)完成標(biāo)簽的添加操作。比如我們希望為節(jié)點(diǎn)添加版本灰度標(biāo)，那么為業(yè)務(wù)容器添加
http://traffic.opensergo.io/label: gray ，這樣框架向 Nacos 注冊(cè)該節(jié)點(diǎn)時(shí)會(huì)為其添加一個(gè) gray 標(biāo)簽。

對(duì)于一些復(fù)雜的 workload 打標(biāo)場(chǎng)景（如數(shù)據(jù)庫(kù)實(shí)例、緩存實(shí)例標(biāo)簽），我們可以利用 WorkloadLabelRule CRD 進(jìn)行打標(biāo)。示例：

apiVersion: traffic.opensergo.io/v1alpha1
kind: WorkloadLabelRule
metadata:
  name: gray-sts-label-rule
spec:
  workloadLabels: ['gray']
  selector:
    db: mse-demo
    table: mse_demo_table_gray

全鏈路灰度在數(shù)據(jù)庫(kù)上的常見(jiàn)方案

方案一：影子庫(kù)

每個(gè)單獨(dú)維護(hù)一套獨(dú)立的庫(kù)，假設(shè)基線環(huán)境的庫(kù)的名稱(chēng)為 mse-demo，那么 gray 環(huán)境的流量可以映射到 mse-demo-gray 的庫(kù)中，我們?cè)谕粋€(gè)實(shí)例上建立對(duì)應(yīng)環(huán)境流量的影子庫(kù)，我們?cè)跇I(yè)務(wù)中維護(hù)著各個(gè)庫(kù)連接的連接池，根據(jù)不同的流量標(biāo)選擇對(duì)應(yīng)的影子庫(kù)的連接去訪問(wèn)，以此達(dá)到數(shù)據(jù)和基線環(huán)境庫(kù)隔離的效果，從而避免了灰度環(huán)境流量產(chǎn)生的數(shù)據(jù)對(duì)基線環(huán)境庫(kù)造成污染。

方案二：影子表

類(lèi)似影子庫(kù)方案，針對(duì)影子表方案，是在同一個(gè)實(shí)例上的同一個(gè)數(shù)據(jù)庫(kù)上建立對(duì)應(yīng)的影子表。我們?cè)趫?zhí)行 SQL 的過(guò)程中，對(duì)灰度流量的 SQL 進(jìn)行解析與修改，實(shí)現(xiàn)不同環(huán)境流量的 SQL 分別訪問(wèn)對(duì)應(yīng)的表，假設(shè)基線環(huán)境的表的名稱(chēng)為 mse_demo_table，那么 gray 環(huán)境的流量可以映射到 mse_demo_table_gray 的表中。從而實(shí)現(xiàn)灰度數(shù)據(jù)和基線環(huán)境數(shù)據(jù)表隔離的效果。

MSE[2] 數(shù)據(jù)庫(kù)全鏈路灰度能力

MSE 提供了一種數(shù)據(jù)隔離的方案，您可以在不需要修改任何業(yè)務(wù)代碼的情況下，實(shí)現(xiàn)數(shù)據(jù)庫(kù)層面全鏈路灰度。下面介紹 MSE 基于 Mysql 數(shù)據(jù)存儲(chǔ)通過(guò)影子表的方案實(shí)現(xiàn)全鏈路灰度的能力。

前提條件

應(yīng)用接入 MSE
部署 Demo 應(yīng)用

在阿里云容器服務(wù)中部署 A、B、C 三個(gè)應(yīng)用，每個(gè)應(yīng)用分別部署?個(gè) base 版本和?個(gè) gray 版本；并部署?個(gè) Nacos Server 應(yīng)用，用于實(shí)現(xiàn)服務(wù)發(fā)現(xiàn)。具體可參考教程完成應(yīng)用部署：部署 Demo 應(yīng)用程序[3]。

Demo 應(yīng)用介紹，本 Demo 中的 C 應(yīng)用會(huì)向數(shù)據(jù)庫(kù)執(zhí)行如下語(yǔ)句：

CREATE TABLE `mse_demo_table` (
  `id` int NOT NULL AUTO_INCREMENT,
  `location` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8mb3

其中涉及到的數(shù)據(jù)庫(kù)建表語(yǔ)句：

CREATE TABLE `mse_demo_table` (
  `id` int NOT NULL AUTO_INCREMENT,
  `location` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8mb3

創(chuàng)建影子表，我們 Demo涉及到的數(shù)據(jù)庫(kù)表有 mse_demo_table，因?yàn)槲覀冃枰獎(jiǎng)?chuàng)建灰度 gray 環(huán)境，因此我們需要提前創(chuàng)建 mse_demo_table_gray 表。

CREATE TABLE `mse_demo_table_gray` (
  `id` int NOT NULL AUTO_INCREMENT,
  `location` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8mb3
;

第一步：配置全鏈路灰度規(guī)則

您需要配置完成 MSE 的全鏈路發(fā)布，具體操作細(xì)節(jié)可參考教程：配置全鏈路灰度[4]。

創(chuàng)建如下泳道規(guī)則：

第二步：配置數(shù)據(jù)庫(kù)全鏈路灰度

我們需要配置以下環(huán)境變量來(lái)額外開(kāi)啟/配置數(shù)據(jù)庫(kù)的全鏈路灰度能力

第三步：結(jié)果驗(yàn)證

我們發(fā)起灰度請(qǐng)求，發(fā)現(xiàn)流量請(qǐng)求均訪問(wèn)灰度環(huán)境：

curl -H "location: cn-shenzhen" http://106.14.XX.XX/a
Agray[172.18.XX.XX] -> Bgray[172.18.XX.XX] -> Cgray[172.18.XX.XX]%

我們通過(guò)如下 SQL 查詢(xún)影子表：

SELECT * FROM `mse_demo_table_gray`

發(fā)現(xiàn)灰度環(huán)境的數(shù)據(jù)都插入至影子表。

不僅僅是全鏈路灰度

目前為止 MSE 服務(wù)治理全鏈路灰度能力已經(jīng)支持了云原生網(wǎng)關(guān)、ALB、APISIX、Apache Dubbo、Spring Cloud、RocketMQ 以及數(shù)據(jù)庫(kù)。在數(shù)據(jù)庫(kù)層面我們通過(guò)影子表的方式實(shí)現(xiàn)了數(shù)據(jù)層面的流量隔離，下一步我們會(huì)將該能力進(jìn)行進(jìn)一步產(chǎn)品化，全鏈路灰度也會(huì)支持緩存層面的能力。

服務(wù)治理是微服務(wù)改造深入到一定階段之后的必經(jīng)之路，在這個(gè)過(guò)程中我們不斷有新的問(wèn)題出現(xiàn)。

除了全鏈路灰度，服務(wù)治理還有沒(méi)其他能力？
服務(wù)治理能力有沒(méi)一個(gè)標(biāo)準(zhǔn)的定義，服務(wù)治理能力包含哪些？
多語(yǔ)言場(chǎng)景下，有無(wú)全鏈路的最佳實(shí)踐或者標(biāo)準(zhǔn)？
異構(gòu)微服務(wù)如何可以統(tǒng)一治理？

當(dāng)我們?cè)谔剿鞣?wù)治理的過(guò)程中，我們?cè)趯?duì)接其他微服務(wù)的時(shí)候，我們發(fā)現(xiàn)治理體系不同造成的困擾是巨大的，打通兩套甚者是多套治理體系的成本也是巨大的。為此我們提出了 OpenSergo 項(xiàng)目。OpenSergo 要解決的是不同框架、不同語(yǔ)言在微服務(wù)治理上的概念碎片化、無(wú)法互通的問(wèn)題。

責(zé)任編輯：張燕妮來(lái)源：阿里云云棲號(hào)

數(shù)據(jù)庫(kù)治理