MyCat數據庫的基礎配置及使用

作者：高玉瓏 2019-12-24 10:12:09

隨著計算機和信息技術的迅猛發展，行業應用系統的規模迅速擴大，行業應用所產生的數據量呈爆炸式增長，動輒達到數百TB甚至數百PB的規模，已遠遠超出傳統計算技術和信息系統的處理能力，集中式數據庫面對大規模數據處理逐漸表現出其局限性。

一、為什么需要分布式數據據庫

隨著計算機和信息技術的迅猛發展，行業應用系統的規模迅速擴大，行業應用所產生的數據量呈爆炸式增長，動輒達到數百TB甚至數百PB的規模，已遠遠超出傳統計算技術和信息系統的處理能力，集中式數據庫面對大規模數據處理逐漸表現出其局限性。因此，人們希望尋找一種能快速處理數據和及時響應用戶訪問的方法，也希望對數據進行集中分析、管理和維護。這已經成為迫切需求。

分布式數據庫是在集中式數據庫的基礎上發展起來的，是計算機技術和網絡技術結合的產物。分布式數據庫是指數據在物理上分布而在邏輯上集中管理的數據庫系統。物理上分布是指數據分布在物理位置不同并由網絡連接的節點或站點上;邏輯上集中是指各數據庫節點之間的邏輯上是一個整體，并由統一的數據庫管理系統管理。不同的節點分布可以跨不同的機房、城市甚至國家。

二、分布式數據庫的特點

分布式數據庫具有透明性、數據冗余性、易于擴展性、自治性等特點，還具有經濟、性能優越、響應速度更快、靈活的體系結構、易于集成現有系統等特點。

分布式數據庫盡管有著天生的高貴血統，但它依賴調整網絡，對事務的處理遠沒有傳統數據庫成熟，在很長一段時間內分布式數據存儲將與傳統數據存儲共存。

三、MyCat數據庫中間件簡介

MyCat是一個徹底開源的面向企業應用開發的大數據庫集群，支持事務、ACID，是可以替代MySQL的加強版數據庫。MyCat被視為MySQL集群的企業級數據庫，用來替代昂貴的Oracle集群，它是整合了內存緩存技術、NoSQL技術、HDFS大數據的新型SQL Server，是結合了傳統數據庫和新型分布式數據倉庫的新一代企業級數據庫產品，也是一個優秀的數據庫中間件。

MyCat是通過Cobar改良而生。MyCat支持Oracle、PostgreSQL，從1.3版本開始支持NoSQL（SequoiaDB及MongoDB）并引入了Druid解析器。2016年MyCat發布了1.5版本，2018年發布了 1.6.6版本。目前MyCat2.0項目已經啟動，核心代碼已經提交（https://github.com/MyCatApache/MyCat2.git）。

四、MyCat核心概念詳解

4.1 邏輯庫（schema）

通常在實際應用中，業務開發人員并不需要知道中間件的存在，只需要關注數據庫，所以數據庫中間件可以被當作一個或多個數據庫集群構成的邏輯庫。

MyCatæ•°æ®åº“çš„åŸºç¡€é…ç½®åŠä½¿ç”¨

4.2 邏輯表（table）

既然有邏輯庫，就會有邏輯表。在分布式數據庫中，對于應用來說，讀寫數據的表就是邏輯表。邏輯表可以分布在一個或多個分片庫中，也可以不分片。

1）分片表

分片表是指將數據量很大的表切分到多個數據庫實例中，所有分片組合起來構成了一張完整的表。例如在MyCat上配置t_node的分片表，數據按照規則被切分到dn1、dn2兩個節點。

<table name=”t_node” primaryKey=”vid” autoIncrement=”true” dataNode=”nd1,dn2” rule=”rule1” />

2）非分片表

并非所有的表在數量很大時都需要進行分片。非分片表是相對分片表而言的，不需要進行數據切分的表。如下面配置中的t_node只存在于節點dn1上。

<table name=”t_node” primaryKey=”vid” autoIncrement=”true” dataNode=”dn1” />

3）ER表

關系型數據庫是基于實體關系模型（Entity Relationship Model）的，MyCat中的ER表便來源于此。基于此思想，MyCat提出了基于E-R關系的數據分片策略，子表的記錄與其所關聯的父表的記錄存放在同一個數據分片上，即子表依賴于父表，通過表分組（Table Group）保證數據關聯查詢不會跨庫操作。

表分組是解決跨分片數據關聯查詢的一種很好的思路，也是數據切分的一條重要規則。

4）全局表

在一個真實的業務場景中往往存在大量類似的字典表，這些字典表中的數據變動不頻繁，而且數據規模不大，很少有超過數十萬條的記錄。

當業務表因為規模進行分片后，業務表與這些附屬的字典表之間的關聯查詢就成了比較棘手的問題，所以在MyCat中通過數據冗余來解決這類表的關聯查詢，即所有分片都復制了一份數據，我們把這些冗余數據的表定義為全局表。

數據冗余是解決跨分片數據關聯查詢的一種很好的思路，也是數據切分規劃的另一條重要規則。

4.3 分片節點（dataNode）

將數據切分后，一個大表被分到不同的分片數據庫上，每個表分片所在的數據庫是分片節點。

4.4 節點主機（dataHost）

將數據切分后，每個分片節點不一定會獨占一臺機器，同一臺機器上可以有多個分片數據庫，這樣一個或多個分片節點所在的機器就是節點主機。為了規避單節點主機并發數量的限制，盡量將讀寫壓力高的分片節點均勻地放在不同的節點主機上。

五、MyCat原理介紹

MyCat原理中最重要的一個動詞是“攔截”，它攔截了用戶發送過來的SQL語句，首先對SQL語句做了一些特定的分析，例如分片分析、路由分析、讀寫分離分析、緩存分析等，然后將此SQL語句發往后端的真實數據庫，并將返回的結果做適當的處理，最終再返回給用戶。

MyCatæ•°æ®åº“çš„åŸºç¡€é…ç½®åŠä½¿ç”¨

MyCat收到一條SQL語句時，首先解析SQL語句涉及的表，接著查看此表的定義，如果該表存在分片規則，則獲取SQL語句里分片字段的值，并匹配分片函數，得到該SQL語句對應的分片列表，然后將SQL語句發送到相應的分片去執行，最后處理所有分片返回的數據并返回給客戶端。

六、MyCat配置

schema.xml是MyCat的重要配置文件，它管理著邏輯庫、分片表、分片節點和分片主機等信息。

service.xml是系統參數的配置文件，掌握MyCat優化方法，必須熟悉該文件的配置項。

sequence是全局序列的配置文件。

6.1 server.xml配置文件

server.xml配置文件包含了MyCat的系統配置信息，對應的源碼是SystemConfig.java。它有兩個重要的標簽，分別是user、system。掌握system標簽的各項配置屬性是MyCat調優的關鍵。

<MyCat:server xmlns:MyCat="http://io.MyCat/"> 
 
<system> 
 
<property name="nonePasswordLogin">0</property> <!-- 0為需要密碼登陸、1為不需要密碼登陸 ,默認為0，設置為1則需要指定默認賬戶--> 
 
<property name="useHandshakeV10">1</property> 
 
<property name="useSqlStat">0</property> <!-- 1為開啟實時統計、0為關閉 --> 
 
<property name="useGlobleTableCheck">0</property> <!-- 1為開啟全加班一致性檢測、0為關閉 --> 
 
<property name="sequnceHandlerType">2</property> 
 
<property name="subqueryRelationshipCheck">false</property> <!-- 子查詢中存在關聯查詢的情況下,檢查關聯字段中是否有分片字段 .默認 false --> 
 
<!-- <property name="useCompression">1</property>--> <!--1為開啟mysql壓縮協議--> 
 
<!-- <property name="fakeMySQLVersion">5.6.20</property>--> <!--設置模擬的MySQL版本號--> 
 
<!-- <property name="processorBufferChunk">40960</property> --> 
 
<!-- 
 
<property name="processors">1</property> 
 
<property name="processorExecutor">32</property> 
 
--> 
 
<!--默認為type 0: DirectByteBufferPool | type 1 ByteBufferArena | type 2 NettyBufferPool --> 
 
<property name="processorBufferPoolType">0</property> 
 
<!--默認是65535 64K 用于sql解析時最大文本長度 --> 
 
<!--<property name="maxStringLiteralLength">65535</property>--> 
 
<!--<property name="sequnceHandlerType">0</property>--> 
 
<!--<property name="backSocketNoDelay">1</property>--> 
 
<!--<property name="frontSocketNoDelay">1</property>--> 
 
<!--<property name="processorExecutor">16</property>--> 
 
<!-- 
 
<property name="serverPort">8066</property> <property name="managerPort">9066</property> 
 
<property name="idleTimeout">300000</property> <property name="bindIp">0.0.0.0</property> 
 
<property name="frontWriteQueueSize">4096</property> <property name="processors">32</property> --> 
 
<!--分布式事務開關，0為不過濾分布式事務，1為過濾分布式事務（如果分布式事務內只涉及全局表，則不過濾），2為不過濾分布式事務,但是記錄分布式事務日志--> 
 
<property name="handleDistributedTransactions">0</property> 
 
<!-- 
 
off heap for merge/order/group/limit 1開啟 0關閉 
 
--> 
 
<property name="useOffHeapForMerge">1</property> 
 
<!-- 
 
單位為m 
 
--> 
 
<property name="memoryPageSize">64k</property> 
 
<!-- 
 
單位為k 
 
--> 
 
<property name="spillsFileBufferSize">1k</property> 
 
<property name="useStreamOutput">0</property> 
 
<!-- 
 
單位為m 
 
--> 
 
<property name="systemReserveMemorySize">384m</property> 
 
<!--是否采用zookeeper協調切換 --> 
 
<property name="useZKSwitch">false</property> 
 
<!-- XA Recovery Log日志路徑 --> 
 
<!--<property name="XARecoveryLogBaseDir">./</property>--> 
 
<!-- XA Recovery Log日志名稱 --> 
 
<!--<property name="XARecoveryLogBaseName">tmlog</property>--> 
 
<!--如果為 true的話 嚴格遵守隔離級別,不會在僅僅只有select語句的時候在事務中切換連接--> 
 
<property name="strictTxIsolation">false</property> 
 
<property name="useZKSwitch">true</property> 
 
</system> 
 
<!-- 全局SQL防火墻設置 --> 
 
<!--白名單可以使用通配符%或著*--> 
 
<!--例如<host host="127.0.0.*" user="root"/>--> 
 
<!--例如<host host="127.0.*" user="root"/>--> 
 
<!--例如<host host="127.*" user="root"/>--> 
 
<!--例如<host host="1*7.*" user="root"/>--> 
 
<!--這些配置情況下對于127.0.0.1都能以root賬戶登錄--> 
 
<!-- 
 
<firewall> 
 
<whitehost> 
 
<host host="1*7.0.0.*" user="root"/> 
 
</whitehost> 
 
<blacklist check="false"> 
 
</blacklist> 
 
</firewall> 
 
--> 
 
<user name="root" defaultAccount="true"> 
 
<property name="password">123456</property> 
 
<property name="schemas">TESTDB</property> 
 
<!-- 表級 DML 權限設置 --> 
 
<!-- 
 
<privileges check="false"> 
 
<schema name="TESTDB" dml="0110" > 
 
<table name="tb01" dml="0000"></table> 
 
<table name="tb02" dml="1111"></table> 
 
</schema> 
 
</privileges> 
 
--> 
 
</user> 
 
<user name="user"> 
 
<property name="password">user</property> 
 
<property name="schemas">TESTDB</property> 
 
<property name="readOnly">true</property> 
 
</user> 
 
</MyCat:server>

6.2 schema.xml配置文件

schema.xml 作為MyCat中重要的配置文件之一，涵蓋了MyCat的邏輯庫、表、分片規則、分片節點及數據源。

1）schema 標簽

<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">

schema標簽用于定義MyCat實例中的邏輯庫。MyCat可以有多個邏輯庫，每個邏輯庫都有自己的相關配置。可以使用schema標簽來劃分不同的邏輯庫，如果有配置schema標簽，則所有的表配置都會屬于同一個默認的邏輯庫。

<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100"> 
 
<table name="travelrecord" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" /> 
 
</schema> 
 
<schema name="USERDB" checkSQLschema="false" sqlMaxLimit="100"> 
 
<table name="company" dataNode="dn10,dn11,dn12" rule="auto-sharding-long" /> 
 
</schema>

如上所示配置了兩個不同的邏輯庫，邏輯庫的概念等同于MySQL數據庫中的Database概念，我們在查詢邏輯庫中的表時，需要切換到該邏輯庫下才可以查詢其中的表。

checkSQLschema屬性，當把該值設置為true時，如果我們執行語句 select * from TESTDB.travelrecord;,則MyCat會把schema字符去掉，把SQL語句修改為select * from travelrecord;可避免發送到后端數據庫執行時報錯。

SqlMaxLimit屬性，當該屬性設置為某個值時，每次執行的SQL語句如果沒有加上limit語句，MyCat也會自動在limit語句后加上對應的值。如果不設置該值，則MyCat會把查詢到的信息全部返回。

2）table 標簽

<table name=”travelrecord” dataNode=”dn1,dn2,dn3” rule=”auto-sharding-long”></table>

table標簽定義了MyCat中的邏輯表，所有需要拆分的的表都需要在table標簽中定義。

table標簽的主要屬性見下表，具體介紹參見MyCat官方網站 http://www.MyCat.io 。

屬性名	值	數量限制
name	String	1
dataNode	String	1..*
rule	String	0..1
ruleRequired	boolean	0..1
primaryKey	String	1
type	String	0..1
autoIncrement	boolean	0..1
subTables	String	1
needAddLimit	Boolean	0..1

3）childTable 標簽

childTable標簽用于定義 E-R 分片的子表，通過標簽上的屬性與父表進行關聯。

4）dataNode標簽

dataNode標簽定義了MyCat中的數據節點，也就是我們通常所說的數據分片。一個dataNode標簽就是一個獨立的數據分片。

5）dataHost標簽

dataHost標簽在MyCat邏輯庫中作為底層標簽存在，直接定義了具體的數據庫實例，讀寫分離和心跳語句。

Heartbeat標簽用來配置心跳檢查語句，Mysql可以使用select user(),Oracle可以使用select 1 from dual 等。

writeHost和readHost是讀寫的配置，一個dataHost內可以配置多個讀和寫。但如果writeHost指定的后端數據庫宕機，那么這個writeHost綁定的所有readHost也將不可用;另一方面，MyCat會自動檢測到writeHost宕機，并切換到備用的writeHost上。

七、MyCat分片

在MyCat中將表分為兩種大的概念：數據量小且不需要做數據切分的表，稱為非分片表；數據量大到單庫性能、容量不足以支撐，數據需要通過水平切分均勻分布到不同的數據庫中的表，稱為分片表。而中間件最終需要處理的事情是對數據切分、聚合。

7.1 ER關系分片表

ER模型是實體關系模型，廣泛采用概念模型設計方法，基本元素是實體、關系和屬性。MyCat將它引入數據切分規則中，使得有互相依賴的表能夠按照某一規則切分到相同的節點上，避免跨庫Join關聯查詢。具體詳情配置內容在這里不做描述請參考官方文檔。

八、功能與優勢

8.1 常用命令

MyCat提供類似數據管理監控方式，可以通過MySQL命令行登錄管理端口（9066）執行相應的SQL語句進行管理，也可以通過JDBC方式進行遠程連接管理。
Reload @@config命令用于更新配置文件運行該命令，不用重啟即可進行配置文件更新。
Reload @@sqlstat用來關閉和開啟SQL監控分析。
Show @@database命令用來顯示MyCat數據庫列表，運行結果對應schema.xml配置文件的schema子節點。
Show @@datanode用來顯示MyCat數據節點，運行結果對應schema.xml配置文件的dataNode節點。
Show @@heartbeat用于報告心跳狀態。
Show @@connection用來獲取MyCat的前端連接狀態。
Kill @@connection id,id,id 用來關閉連接。
Show @@ cache用來查看緩存。
Show @@datasource 用來查看數據源狀態，如果配置了主從或多主，則可以切換。
Switch @@ datasource name:index 用于切換數據源。
Show @@syslog limit 用于顯示系統日志。
Show @@sql 顯示在MyCat中執行過的語句。
Show @@shl.show 顯示慢SQL語句。
Show @@sql.sum 顯示SQL語句的整體執行情況、讀寫比例等。

8.2 局限性

delete操作不支持沒有主鍵的表。沒有主鍵的表在不同節點的順序不同，如果執行 select ...limit...，則將出現不同的結果集。

不支持XA事務，在提交上可能回滾。

由于集群是樂觀的并發控件，事務commit可能在該階段中止，所以如果有兩個事務向集群中的不同節點的同一行寫入并提交，則失敗的節點將中止。對于集群級別的中止，集群返回死鎖錯誤。

整個集群的寫入吞吐量由最弱的節點限制，如果有一個節點變得緩慢，那么整個集群將變得緩慢。

集群內部按照id自增長機制寫入數據，比如集群中有三臺可能是3，6，9這樣的遞增。

8.3 與Sharding-JDBC對比Sharding-JDBC

MyCat是一個中間件的第三方應用，sharding-jdbc是一個jar包。因為MyCat是單獨部署，所以使用MyCat就像是訪問數據庫一樣，而sharding-jdbc的邏輯都是需要在工程里寫的。

如果只是單獨應用可以使用輕量級的Sharding-JDBC，如果多個服務都需要操作數據庫則使用MyCat更合適。因為用Sharding-JDBC需要在每一個工程里邊都配置上相應的分片等邏輯，而MyCat只需要配置一份單獨部署。

參考文獻

《分布式數據庫架構及企業實踐基于MyCat中間件》
官方網站：http://www.MyCat.io/

【本文是51CTO專欄機構宜信技術學院的原創文章，微信公眾號“宜信技術學院( id: CE_TECH)”】

戳這里，看該作者更多好文

責任編輯：張燕妮來源：宜信技術學院

數據庫工具技術