Dubbo學習系列之十三（Mycat數據庫代理）

  • 2019 年 10 月 3 日
  • 筆記

軟件界有隻貓，不用我說，各位看官肯定知道是哪只，那就是大名鼎鼎的Tomcat，現在又來了一隻貓，據說是位東方萌妹子，暫且認作Tom貓的表妹，本來叫OpencloudDB，後又改名為Mycat，或許Cat更親切？那現在就來認識下這隻小貓吧。

數據庫的核心地位就不說了，但現在的問題是，各種RDB，各種NoSQL交織，又是分佈式、多租戶的場景下，心裏有沒有十足的把握能穩住如此局面呢。有需求，就有市場！自然，相應的技術也應運而生，Mycat作為一款DB中間件，可以作為應用和DB間的“橋樑”，讓後台DB的複雜組成對應用透明，處理分庫分表、多租戶架構和大數據實時查詢等都不在話下！

工具：

Idea201902/JDK11/ZK3.5.5/Gradle5.4.1/RabbitMQ3.7.13/Lombok0.26/Erlang21.2/RocketMQ4.5.2/Sentinel1.6.3/SpringBoot2.1.6/RHEL7.6/VMware15.0.4/Mysql8.0.17/Mycat1.6.7.3/MysqlWorkbench6.3

難度： 新手–戰士–老兵–大師

目標：

1.Linux下使用Mycat連接Mysql集群(兩主一從),讀寫分離式應用

步驟：

1.建立Mysql集群，步驟參考往期文章（Linux下Mysql集群使用）。

2.下載Mycat，放到Linux中/usr/mycat下，記得先建立此目錄。

3.進入該目錄，解壓：

[root@localhost mycat]# tar -zxvf Mycat-server-1.6.7.3-release-20190828135747-linux.tar.gz

4.可以看到目錄結構如下，兩貓確實略像：

1201

  • bin—Mycat的各種管理命令；
  • catlet—擴展功能；
  • conf—配置信息，這個也是本期重點使用的；
  • lib—jar包庫，因為Mycat是Java開發的；
  • logs—日誌文件；

5.Mycat融合應用的架構，即本次目標架構：

1204

如果需要做擴展高可用，即可變成這樣的：

1203

就是這麼簡單！

 

6.其實Mycat從應用上講，就是做配置，源碼可按喜好研究，據說很複雜！

1202

主要是三個文件核心文件rule.xml、schema.xml、server.xml的配置：

  • server.xml：Mycat的配置文件，可以將Mycat視為DBServer的代理，
  • schema.xml：邏輯表與物理DB/分片分庫的映射配置，
  • rule.xml：分庫分表規則，

 

7.挨個看看長啥樣，參數的含義注釋上基本有說明，這裡都是全局配置參數：

  • <system>中設置Mycat全局屬性；

  • <firewall>設置黑白名單；

  • <user>設置用戶登錄Mycat的賬號信息；

  • <privileges>單獨設置表的DML權限；

server.xml原版樣例：

 1 <?xml version="1.0" encoding="UTF-8"?>   2 <!DOCTYPE mycat:server SYSTEM "server.dtd">   3 <mycat:server xmlns:mycat="http://io.mycat/">   4   <system>   5     <property name="nonePasswordLogin">0</property> <!-- 0為需要密碼登陸、1為不需要密碼登陸 ,默認為0，設置為1則需要指定默認賬戶-->   6     <property name="useHandshakeV10">1</property>   7     <property name="useSqlStat">0</property>  <!-- 1為開啟實時統計、0為關閉 -->   8     <property name="useGlobleTableCheck">0</property>  <!-- 1為開啟全加班一致性檢測、0為關閉 -->   9     <property name="sqlExecuteTimeout">300</property>  <!-- SQL 執行超時 單位:秒-->  10     <property name="sequnceHandlerType">2</property>  11     <!--<property name="sequnceHandlerPattern">(?:(s*nexts+values+fors*MYCATSEQ_(w+))(,|)|s)*)+</property>-->  12     <!--必須帶有MYCATSEQ_或者 mycatseq_進入序列匹配流程 注意MYCATSEQ_有空格的情況-->  13     <property name="sequnceHandlerPattern">(?:(s*nexts+values+fors*MYCATSEQ_(w+))(,|)|s)*)+</property>  14     <property name="subqueryRelationshipCheck">false</property> <!-- 子查詢中存在關聯查詢的情況下,檢查關聯字段中是否有分片字段 .默認 false -->  15       <!--  <property name="useCompression">1</property>--> <!--1為開啟mysql壓縮協議-->  16         <!--  <property name="fakeMySQLVersion">5.6.20</property>--> <!--設置模擬的MySQL版本號-->  17   <!-- <property name="processorBufferChunk">40960</property> -->  18   <!--  19   <property name="processors">1</property>  20   <property name="processorExecutor">32</property>  21    -->  22         <!--默認為type 0: DirectByteBufferPool | type 1 ByteBufferArena | type 2 NettyBufferPool -->  23     <property name="processorBufferPoolType">0</property>  24     <!--默認是65535 64K 用於sql解析時最大文本長度 -->  25     <!--<property name="maxStringLiteralLength">65535</property>-->  26     <!--<property name="sequnceHandlerType">0</property>-->  27     <!--<property name="backSocketNoDelay">1</property>-->  28     <!--<property name="frontSocketNoDelay">1</property>-->  29     <!--<property name="processorExecutor">16</property>-->  30     <!--  31       <property name="serverPort">8066</property> <property name="managerPort">9066</property>  32       <property name="idleTimeout">300000</property> <property name="bindIp">0.0.0.0</property>  33       <property name="dataNodeIdleCheckPeriod">300000</property> 5 * 60 * 1000L; //連接空閑檢查  34       <property name="frontWriteQueueSize">4096</property> <property name="processors">32</property> -->  35     <!--分佈式事務開關，0為不過濾分佈式事務，1為過濾分佈式事務（如果分佈式事務內只涉及全局表，則不過濾），2為不過濾分佈式事務,但是記錄分佈式事務日誌-->  36     <property name="handleDistributedTransactions">0</property>  37       <!--off heap for merge/order/group/limit      1開啟   0關閉-->  38     <property name="useOffHeapForMerge">0</property>  39     <!--單位為m-->  40     <property name="memoryPageSize">64k</property>  41     <!--單位為k-->  42     <property name="spillsFileBufferSize">1k</property>  43     <property name="useStreamOutput">0</property>  44     <!--單位為m-->  45     <property name="systemReserveMemorySize">384m</property>  46     <!--是否採用zookeeper協調切換  -->  47     <property name="useZKSwitch">false</property>  48     <!-- XA Recovery Log日誌路徑 -->  49     <!--<property name="XARecoveryLogBaseDir">./</property>-->  50     <!-- XA Recovery Log日誌名稱 -->  51     <!--<property name="XARecoveryLogBaseName">tmlog</property>-->  52     <!--如果為 true的話 嚴格遵守隔離級別,不會在僅僅只有select語句的時候在事務中切換連接-->  53     <property name="strictTxIsolation">false</property>  54     <property name="useZKSwitch">true</property>  55   </system>  56  57   <!-- 全局SQL防火牆設置 -->  58   <!--白名單可以使用通配符%或着*-->  59   <!--例如<host host="127.0.0.*" user="root"/>-->  60   <!--例如<host host="127.0.*" user="root"/>-->  61   <!--例如<host host="127.*" user="root"/>-->  62   <!--例如<host host="1*7.*" user="root"/>-->  63   <!--這些配置情況下對於127.0.0.1都能以root賬戶登錄-->  64   <!--  65   <firewall>  66      <whitehost>  67         <host host="1*7.0.0.*" user="root"/>  68      </whitehost>  69        <blacklist check="false">  70        </blacklist>  71   </firewall>  72   -->  73   <user name="root" defaultAccount="true">  74     <property name="password">123456</property>  75     <property name="schemas">TESTDB</property>  76     <!-- 表級 DML 權限設置 -->  77     <!--  78     <privileges check="false">  79       <schema name="TESTDB" dml="0110" >  80         <table name="tb01" dml="0000"></table>  81         <table name="tb02" dml="1111"></table>  82       </schema>  83     </privileges>  84      -->  85   </user>  86   <user name="user">  87     <property name="password">user</property>  88     <property name="schemas">TESTDB</property>  89     <property name="readOnly">true</property>  90   </user>  91 </mycat:server>

 

8.schema.xml，配置schema下各個table的分片/分庫，以及物理DB：

  • <schema>+<table>租戶和子表配置，

  • <dataNode>分片，

  • <dataHost>物理DB，

原版樣例：

 1 <?xml version="1.0"?>   2 <!DOCTYPE mycat:schema SYSTEM "schema.dtd">   3 <mycat:schema xmlns:mycat="http://io.mycat/">   4   <schema name="TESTDB" checkSQLschema="true" sqlMaxLimit="100">   5     <!-- auto sharding by id (long) -->   6     <table name="travelrecord" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />   7     <!-- global table is auto cloned to all defined data nodes ,so can join   8       with any table whose sharding node is in the same data node -->   9     <table name="company" primaryKey="ID" type="global" dataNode="dn1,dn2,dn3" />  10     <table name="goods" primaryKey="ID" type="global" dataNode="dn1,dn2" />  11     <!-- random sharding using mod sharind rule -->  12     <table name="hotnews" primaryKey="ID" autoIncrement="true" dataNode="dn1,dn2,dn3"  13          rule="mod-long" />  14     <!-- <table name="dual" primaryKey="ID" dataNode="dnx,dnoracle2" type="global"  15       needAddLimit="false"/> <table name="worker" primaryKey="ID" dataNode="jdbc_dn1,jdbc_dn2,jdbc_dn3"  16       rule="mod-long" /> -->  17     <table name="employee" primaryKey="ID" dataNode="dn1,dn2"  18          rule="sharding-by-intfile" />  19     <table name="customer" primaryKey="ID" dataNode="dn1,dn2"  20          rule="sharding-by-intfile">  21       <childTable name="orders" primaryKey="ID" joinKey="customer_id"  22             parentKey="id">  23         <childTable name="order_items" joinKey="order_id"  24               parentKey="id" />  25       </childTable>  26       <childTable name="customer_addr" primaryKey="ID" joinKey="customer_id"  27             parentKey="id" />  28     </table>  29     <!-- <table name="oc_call" primaryKey="ID" dataNode="dn1$0-743" rule="latest-month-calldate"  30       /> -->  31   </schema>  32   <!-- <dataNode name="dn1$0-743" dataHost="localhost1" database="db$0-743"  33     /> -->  34   <dataNode name="dn1" dataHost="localhost1" database="db1" />  35   <dataNode name="dn2" dataHost="localhost1" database="db2" />  36   <dataNode name="dn3" dataHost="localhost1" database="db3" />  37   <!--<dataNode name="dn4" dataHost="sequoiadb1" database="SAMPLE" />  38    <dataNode name="jdbc_dn1" dataHost="jdbchost" database="db1" />  39   <dataNode  name="jdbc_dn2" dataHost="jdbchost" database="db2" />  40   <dataNode name="jdbc_dn3"   dataHost="jdbchost" database="db3" /> -->  41   <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"  42         writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">  43     <heartbeat>select user()</heartbeat>  44     <!-- can have multi write hosts -->  45     <writeHost host="hostM1" url="localhost:3306" user="root"  46            password="123456">  47       <!-- can have multi read hosts -->  48       <readHost host="hostS2" url="192.168.1.200:3306" user="root" password="xxx" />  49     </writeHost>  50     <writeHost host="hostS1" url="localhost:3316" user="root"  51            password="123456" />  52     <!-- <writeHost host="hostM2" url="localhost:3316" user="root" password="123456"/> -->  53   </dataHost>  54   <!--  55     <dataHost name="sequoiadb1" maxCon="1000" minCon="1" balance="0" dbType="sequoiadb" dbDriver="jdbc">  56     <heartbeat>     </heartbeat>  57      <writeHost host="hostM1" url="sequoiadb://1426587161.dbaas.sequoialab.net:11920/SAMPLE" user="jifeng"   password="jifeng"></writeHost>  58      </dataHost>  59 ​  60     <dataHost name="oracle1" maxCon="1000" minCon="1" balance="0" writeType="0"   dbType="oracle" dbDriver="jdbc"> <heartbeat>select 1 from dual</heartbeat>  61     <connectionInitSql>alter session set nls_date_format='yyyy-mm-dd hh24:mi:ss'</connectionInitSql>  62     <writeHost host="hostM1" url="jdbc:oracle:thin:@127.0.0.1:1521:nange" user="base"   password="123456" > </writeHost> </dataHost>  63 ​  64     <dataHost name="jdbchost" maxCon="1000"   minCon="1" balance="0" writeType="0" dbType="mongodb" dbDriver="jdbc">  65     <heartbeat>select   user()</heartbeat>  66     <writeHost host="hostM" url="mongodb://192.168.0.99/test" user="admin" password="123456" ></writeHost> </dataHost>  67 ​  68     <dataHost name="sparksql" maxCon="1000" minCon="1" balance="0" dbType="spark" dbDriver="jdbc">  69     <heartbeat> </heartbeat>  70      <writeHost host="hostM1" url="jdbc:hive2://feng01:10000" user="jifeng"   password="jifeng"></writeHost> </dataHost> -->  71 ​  72   <!-- <dataHost name="jdbchost" maxCon="1000" minCon="10" balance="0" dbType="mysql"  73     dbDriver="jdbc"> <heartbeat>select user()</heartbeat> <writeHost host="hostM1"  74     url="jdbc:mysql://localhost:3306" user="root" password="123456"> </writeHost>  75     </dataHost> -->  76 </mycat:schema>

 

9.rule.xml詳細描述表的分片規則，格式如下：

1   <tableRule name="分片規則名">  2         <rule>  3               <columns>分片的列</columns>  4               <algorithm>分片算法名</algorithm>  5         </rule>  6   </tableRule>  7   <function name="分片算法名" class="算法實現類">  8         <property name="算法參數">參數值</property>  9   </function>

 

原版樣例：

  1 <?xml version="1.0" encoding="UTF-8"?>    2 <!DOCTYPE mycat:rule SYSTEM "rule.dtd">    3 <mycat:rule xmlns:mycat="http://io.mycat/">    4   <tableRule name="rule1">    5     <rule>    6       <columns>id</columns>    7       <algorithm>func1</algorithm>    8     </rule>    9   </tableRule>   10   <tableRule name="rule2">   11     <rule>   12       <columns>user_id</columns>   13       <algorithm>func1</algorithm>   14     </rule>   15   </tableRule>   16   <tableRule name="sharding-by-intfile">   17     <rule>   18       <columns>sharding_id</columns>   19       <algorithm>hash-int</algorithm>   20     </rule>   21   </tableRule>   22   <tableRule name="auto-sharding-long">   23     <rule>   24       <columns>id</columns>   25       <algorithm>rang-long</algorithm>   26     </rule>   27   </tableRule>   28   <tableRule name="mod-long">   29     <rule>   30       <columns>id</columns>   31       <algorithm>mod-long</algorithm>   32     </rule>   33   </tableRule>   34   <tableRule name="sharding-by-murmur">   35     <rule>   36       <columns>id</columns>   37       <algorithm>murmur</algorithm>   38     </rule>   39   </tableRule>   40   <tableRule name="crc32slot">   41     <rule>   42       <columns>id</columns>   43       <algorithm>crc32slot</algorithm>   44     </rule>   45   </tableRule>   46   <tableRule name="sharding-by-month">   47     <rule>   48       <columns>create_time</columns>   49       <algorithm>partbymonth</algorithm>   50     </rule>   51   </tableRule>   52   <tableRule name="latest-month-calldate">   53     <rule>   54       <columns>calldate</columns>   55       <algorithm>latestMonth</algorithm>   56     </rule>   57   </tableRule>   58   <tableRule name="auto-sharding-rang-mod">   59     <rule>   60       <columns>id</columns>   61       <algorithm>rang-mod</algorithm>   62     </rule>   63   </tableRule>   64   <tableRule name="jch">   65     <rule>   66       <columns>id</columns>   67       <algorithm>jump-consistent-hash</algorithm>   68     </rule>   69   </tableRule>   70   <function name="murmur"   71     class="io.mycat.route.function.PartitionByMurmurHash">   72     <property name="seed">0</property><!-- 默認是0 -->   73     <property name="count">2</property><!-- 要分片的數據庫節點數量，必須指定，否則沒法分片 -->   74     <property name="virtualBucketTimes">160</property><!-- 一個實際的數據庫節點被映射為這麼多虛擬節點，默認是160倍，也就是虛擬節點數是物理節點數的160倍 -->   75     <!-- <property name="weightMapFile">weightMapFile</property> 節點的權重，沒有指定權重的節點默認是1。以properties文件的格式填寫，以從0開始到count-1的整數值也就是節點索引為key，以節點權重值為值。所有權重值必須是正整數，否則以1代替 -->   76     <!-- <property name="bucketMapPath">/etc/mycat/bucketMapPath</property>   77       用於測試時觀察各物理節點與虛擬節點的分佈情況，如果指定了這個屬性，會把虛擬節點的murmur hash值與物理節點的映射按行輸出到這個文件，沒有默認值，如果不指定，就不會輸出任何東西 -->   78   </function>   79   <function name="crc32slot"   80         class="io.mycat.route.function.PartitionByCRC32PreSlot">   81   </function>   82   <function name="hash-int"   83     class="io.mycat.route.function.PartitionByFileMap">   84     <property name="mapFile">partition-hash-int.txt</property>   85   </function>   86   <function name="rang-long"   87     class="io.mycat.route.function.AutoPartitionByLong">   88     <property name="mapFile">autopartition-long.txt</property>   89   </function>   90   <function name="mod-long" class="io.mycat.route.function.PartitionByMod">   91     <!-- how many data nodes -->   92     <property name="count">3</property>   93   </function>   94 ​   95   <function name="func1" class="io.mycat.route.function.PartitionByLong">   96     <property name="partitionCount">8</property>   97     <property name="partitionLength">128</property>   98   </function>   99   <function name="latestMonth"  100     class="io.mycat.route.function.LatestMonthPartion">  101     <property name="splitOneDay">24</property>  102   </function>  103   <function name="partbymonth"  104     class="io.mycat.route.function.PartitionByMonth">  105     <property name="dateFormat">yyyy-MM-dd</property>  106     <property name="sBeginDate">2015-01-01</property>  107   </function>  108   <function name="rang-mod" class="io.mycat.route.function.PartitionByRangeMod">  109     <property name="mapFile">partition-range-mod.txt</property>  110   </function>  111   <function name="jump-consistent-hash" class="io.mycat.route.function.PartitionByJumpConsistentHash">  112     <property name="totalBuckets">3</property>  113   </function>  114 </mycat:rule>

 

部分常用的分片規則算法說明：

  • PartitionByMurmurHash(一致性hash)：將物理節點虛擬並映射為一個“一致性hash環”；

  • PartitionByCRC32PreSlot(crc32slot 算法)：crc32(key)%102400=slot，slot 按照範圍均勻分佈在 dataNode 上；

  • LatestMonthPartion(單月小時拆分)：單月內按照小時拆分，最小粒度是小時，可以一天最多 24 個分片，最少 1 個分片，一個月完後下月 從頭開始循環；

  • PartitionByMonth(自然月)：按自然月分片；

  • PartitionByRangeMod(範圍求模)：先進行範圍分片計算出分片組，組內再求模；

  • PartitionByJumpConsistentHash(一致性hash)：另一種一致性hash算法；

  • PartitionByFileMap(枚舉)：通過在配置文件中配置可能的枚舉 id，自己配置分片，本規則適用於特定的場景，比如有些業務需要按照省份或區縣來做保存，而全國省份區縣是固定的；

  • PartitionByLong(固定分片 hash 算法)：取 id 的二進制低 10 位取模運算，即( id 二進制) &1111111111，partitionCount分片個數，partitionLength分片長度，默認這兩個參數的向量積為1024；

  • AutoPartitionByLong(範圍約定)：按照提前規劃好分片字段範圍計算屬於哪個分片，start <= range <= end；

  • PartitionByMod(求模)：即根據 id 進行十進制求模預算，相比固定分片 hash，此種在批量插入時可能存在批量插入單事務插入多數據分片，增大事務一致性難度；

  • PartitionByDate(按天分片)：即根據指定的格式，起止日期，按日期劃分，如果配置了 sEndDate 則代表數據達到了這個日期的分片後後循環從開始分片插入；

10.情況一：如果DB是一主一從：需注意這裡的主從複製由Mysql實現，Mycat不負責數據複製功能。只需配置server.xml和schema.xml即可： 本次server.xml實例：

 1 <?xml version="1.0" encoding="UTF-8"?>   2 <!DOCTYPE mycat:server SYSTEM "server.dtd">   3 <mycat:server xmlns:mycat="http://io.mycat/">   4   <system>   5     <property name="nonePasswordLogin">0</property>   6     <property name="useHandshakeV10">1</property>   7     <property name="useSqlStat">0</property>   8     <property name="useGlobleTableCheck">0</property>   9     <property name="sqlExecuteTimeout">300</property>  10     <property name="sequnceHandlerType">2</property>  11     <property name="sequnceHandlerPattern">(?:(s*nexts+values+fors*MYCATSEQ_(w+))(,|)|s)*)+</property>  12     <property name="subqueryRelationshipCheck">false</property>  13     <property name="processorBufferPoolType">0</property>  14     <property name="handleDistributedTransactions">0</property>  15     <property name="useOffHeapForMerge">0</property>  16     <property name="memoryPageSize">64k</property>  17     <property name="spillsFileBufferSize">1k</property>  18     <property name="useStreamOutput">0</property>  19     <property name="systemReserveMemorySize">384m</property>  20     <property name="useZKSwitch">false</property>  21     <property name="strictTxIsolation">false</property>  22     <property name="useZKSwitch">true</property>  23   </system>  24   <user name="mycat" defaultAccount="true">  25     <property name="password">12345678</property>  26     <property name="schemas">dubbo_db</property>  27   </user>  28 </mycat:server>

 

schema.xml示例：

 1 <?xml version="1.0"?>   2 <!DOCTYPE mycat:schema SYSTEM "schema.dtd">   3 <!-- 數據庫配置，與server.xml中的數據庫對應 -->   4 <mycat:schema xmlns:mycat="http://io.mycat/">   5     <schema name="dubbo_db" checkSQLschema="true" sqlMaxLimit="100">   6       <table name="dubbo_delivery" primaryKey="ID" dataNode="dn1"/>   7       <table name="dubbo_finance" primaryKey="ID" dataNode="dn1 "/>   8       <table name="dubbo_item" primaryKey="ID" dataNode="dn1 " />   9       <table name="dubbo_order" primaryKey="ID" dataNode="dn1"/>  10       <table name="dubbo_order_detail" primaryKey="ID" dataNode="dn1 "/>  11       <table name="dubbo_stock" primaryKey="ID" dataNode="dn1 " />  12   </schema>  13   <!-- 分片配置 -->  14   <dataNode name="dn1" dataHost="localhost1" database="dubbo_db" />  15   <!-- 物理數據庫配置 -->  16   <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"  17         writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">  18       <heartbeat>select user()</heartbeat>  19       <writeHost host="hostM1" url="192.168.1.204:3306" user="root" password="abcd@1234">  20           <readHost host="hostS2" url="192.168.1.205:3306" user="root" password="abcd@1234" />  21       </writeHost>  22   </dataHost>  23 </mycat:schema>

 

11.情況二，即本期目標架構，DB是兩主一從：server.xml不變, 本次schema.xml實例：

 1 <?xml version="1.0"?>   2 <!DOCTYPE mycat:schema SYSTEM "schema.dtd">   3 <!-- 數據庫配置，與server.xml中的數據庫對應 -->   4 <mycat:schema xmlns:mycat="http://io.mycat/">   5     <schema name="dubbo_db" checkSQLschema="true" sqlMaxLimit="100">   6       <table name="dubbo_delivery" primaryKey="ID" dataNode="dn1"/>   7       <table name="dubbo_finance" primaryKey="ID" dataNode="dn1,dn2" rule="rule1"/>   8       <table name="dubbo_item" primaryKey="ID" dataNode="dn1,dn2" rule="rule2"/>   9       <table name="dubbo_order" primaryKey="ID" dataNode="dn1,dn2" rule="sharding-by-murmur"/>  10       <table name="dubbo_order_detail" primaryKey="ID" dataNode="dn1,dn2" rule="sharding-by-month"/>  11       <table name="dubbo_stock" primaryKey="ID" dataNode="dn1" />  12     </schema>  13   <!-- 分片配置 -->  14   <dataNode name="dn1" dataHost="localhost1" database="dubbo_db" />  15   <dataNode name="dn2" dataHost="localhost2" database="dubbo_db" />  16   <!-- 物理數據庫配置 -->  17   <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"  18         writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">  19       <heartbeat>select user()</heartbeat>  20       <writeHost host="hostM1" url="192.168.1.204:3306" user="root" password="abcd@1234">  21           <readHost host="hostS2" url="192.168.1.205:3306" user="root" password="abcd@1234" />  22       </writeHost>  23   </dataHost>  24   <dataHost name="localhost2" maxCon="1000" minCon="10" balance="0"  25         writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">  26       <heartbeat>select user()</heartbeat>  27       <writeHost host="hostM2" url="192.168.1.206:3306" user="root" password="abcd@1234" />  28   </dataHost>  29 </mycat:schema>

 

本次rule.xml實例：只有使用了分片模式時，才需要配置rule規則，這裡寫了三種rule，其實也沒全部用上：

 1 <?xml version="1.0" encoding="UTF-8"?>   2 <!DOCTYPE mycat:rule SYSTEM "rule.dtd">   3 <mycat:rule xmlns:mycat="http://io.mycat/">   4 <!--規則定義-->   5   <tableRule name="sharding-by-murmur">   6     <rule>   7       <columns>id</columns>   8       <algorithm>murmur</algorithm>   9     </rule>  10   </tableRule>  11     <!--自定義規則-->  12   <tableRule name="rule1">  13     <rule>  14       <columns>userr_id</columns>  15       <algorithm>func1</algorithm>  16     </rule>  17   </tableRule>  18     <tableRule name="rule2">  19     <rule>  20       <columns>id</columns>  21       <algorithm>func2</algorithm>  22     </rule>  23   </tableRule>  24   <tableRule name="sharding-by-month">  25     <rule>  26       <columns>create_time</columns>  27       <algorithm>partbymonth</algorithm>  28     </rule>  29   </tableRule>  30 <!--規則算法實現-->  31   <function name="murmur"  32     class="io.mycat.route.function.PartitionByMurmurHash">  33     <property name="seed">0</property><!-- 默認是0 -->  34     <property name="count">2</property><!-- 要分片的數據庫節點數量，必須指定，否則沒法分片 -->  35     <property name="virtualBucketTimes">160</property><!-- 一個實際的數據庫節點被映射為這麼多虛擬節點，默認是160倍，也就是虛擬節點數是物理節點數的160倍 -->  36     <!-- <property name="weightMapFile">weightMapFile</property> 節點的權重，沒有指定權重的節點默認是1。以properties文件的格式填寫，以從0開始到count-1的整數值也就是節點索引為key，以節點權重值為值。所有權重值必須是正整數，否則以1代替 -->  37     <!-- <property name="bucketMapPath">/etc/mycat/bucketMapPath</property>  38       用於測試時觀察各物理節點與虛擬節點的分佈情況，如果指定了這個屬性，會把虛擬節點的murmur hash值與物理節點的映射按行輸出到這個文件，沒有默認值，如果不指定，就不會輸出任何東西 -->  39   </function>  40   <function name="func1" class="io.mycat.route.function.PartitionByLong">  41     <!--分片數量，partitionCount*partitionLength=1024-->  42     <property name="partitionCount">2</property>  43     <property name="partitionLength">512</property>  44   </function>  45     <function name="func2" class="io.mycat.route.function.PartitionByLong">  46     <property name="partitionCount">8</property>  47     <property name="partitionLength">128</property>  48   </function>  49   <function name="partbymonth"  50     class="io.mycat.route.function.PartitionByMonth">  51     <property name="dateFormat">yyyy-MM-dd</property>  52     <property name="sBeginDate">2015-01-01</property>  53   </function>  54 </mycat:rule>

 

12.測試：配置好mycat/conf/下的3個xml文件，即配置好了Mycat與物理DB的連接，應用端連接僅需修改連接串端口為Mycat的IP+端口，賬號為server.xml中user信息，注意:要寫上默認schema，否則啟動應用報Mycat no chose錯， 

1205

 

13.此處有坑！如果Mysql是獨立安裝在linux上，需要對遠程訪問打開，否則訪問默認僅限本地，導致遠程連接一直報錯，以開放root用戶遠程連接為例：

mysql> use mysql;  mysql> update user set Host='%' where User='root';  mysql> quit;

 

再重啟mysql：

[root@localhost ~]# systemctl restart mysqld

 

啟動Mycat：

[root@localhost ~]# cd /usr/mycat/mycat/bin  [root@localhost bin]# ./mycat start

 

mycat啟動成功：

1208

如果啟動有問題，使用以下命令查看log：

[root@localhost conf]# tail -F  /usr/mycat/mycat/logs/wrapper.log  [root@localhost conf]# tail -F  /usr/mycat/mycat/logs/mycat.log

 

然後可以在window上使用如MysqlWorkbench,Navicat測試下是否連接正常，並測試下Mycat連接： 1207 

為了集中測試代碼，我只改寫了finance模塊，寫個service方法：com.biao.mall.service.DubboFinanceServiceImpl中：

 1  //插入1000條數據，看data分佈   2 @Override   3  public void testMycat(){   4      DubboFinanceEntity financeEntity = new DubboFinanceEntity();   5        for (int i = 0; i < 1000; i++) {   6           financeEntity.setUserId(String.valueOf(i+100));   7           financeDao.insert(financeEntity);   8           }   9        return "testMycat successfully";  10         }

 

寫個controller方法跑一跑：

@RestController  @RequestMapping("/finance")  public class DubboFinanceController {      private DubboFinanceServiceImpl  financeService;      @Autowired      public DubboFinanceController(DubboFinanceServiceImpl  financeService) {          this.financeService = financeService;      }        @RequestMapping("/mycat")      public void testMycat(){         return financeService.testMycat();      }  }

 

啟動：ZK—> business –>  finance, URI來一個！

1211

DB情況，請看數量和ID分佈，紅色數字是IP： 1210

這裡只測試了兩主一從和一種分片規則，其他請君自測！

13.代碼地址：其中的day16，https://github.com/xiexiaobiao/dubbo-project.git

後記：

1.認識Mycat的關鍵特性：

  • 支持Mysql原生協議，跨語言，跨平台，跨數據庫的通用中間件代理；
  • 基於心跳的自動故障切換，支持讀寫分離，支持MySQL主從；
  • 基於Nio實現，有效管理線程，高並發問題；
  • 支持數據的多片自動路由與聚合，支持sum,count,max等常用的聚合函數,支持跨庫分頁；
  • 支持通過全局表，ER關係的分片策略，實現了高效的單庫多表join查詢；
  • 支持多租戶方案，即同DB下多schema模式；
  • 支持全局序列號，解決分佈式下的主鍵生成問題；
  • 分片規則豐富，插件化開發，易於擴展，可自定義；
  • 集群基於ZooKeeper管理，在線升級，擴容，智能優化，大數據處理(V2.0dev)；
  • 引入Mycat的無痕切換，我覺得這是最大的優勢；

2.認清Mycat的局限性：

  • 目前只支持跨庫join2個表，不支持3 表及其以上跨庫 join ；

  • Mycat並沒有根據二階段提交協議實現 XA事務，而是只保證 prepare 階段數據一致性的弱XA事務，分佈式事務場景下，強一致性無法保證；

  • 分頁排序場景下，會一次查詢所有分片，再集中排序分頁，有性能瓶頸；

  • 不同類型DB適配一般，如Oracle/SQLServer等，由於SQL語法差異，須做徹底的語句兼容測試；

  • 沒有API配置方法，只有XML方式配置，十分過時；

3.Mycat作為DB上一層的重量級中間件，統一了入口，實際上也破壞了分佈式的定義，未能充分發揮DB層的效能，所以也有很多不看好的聲音，DB獨立使用，更能發揮靈活自由配置，直接對接應用層更為高效。

4.總結：Mycat框架的使用，需持謹慎態度，至少目前來看如此。

推薦閱讀：

VirMach 便宜 VPS

QNews

QNews