Post Jobs

Amobea读写分离

图片 30

Amobea读写分离,amobea读写

         
Amoeba的中文意思是变型虫,Amoeba是一个以MySQL为底层数据存储,并对应用提供MySQL协议接口的proxy。它集中地响应应用的请求,依据用户事先设置的
 
 规则,将SQL请求发送到特定的数据库上执行。基于此可以实现负载均衡、读写分离、高可用性等需求。与MySQL官方的MySQL
Proxy相比,作者强调的是amoeba配    
 置的方便(基于XML的配置文件,用SQLJEP语法书写规则,比基于lua脚本的MySQL
Proxy简单);

  
Amoeba相当于一个SQL请求的路由器,目的是为负载均衡、读写分离、高可用性提供机制,而不是完全实现它们。用户需要结合使用MySQL的
Replication等机制    
 来实现副本同步等功能。amoeba对底层数据库连接管理和路由实现也采用了可插拨的机制,第三方可以开发更高级的策略类来替代作者的实现。这个程序总体上比较符
   合KISS原*
则的思想。***


  主要解决:
    • 降低数据切分带来的复杂多数据库结构
    • 提供切分规则并降低数据切分规则给应用带来的影响
    • 降低db 与客户端的连接数
    • 读写分离***

 

***    不足之处:
    a)目前还不支持事务
    b)暂时不支持存储过程(近期会支持)
    c)不适合从amoeba导数据的场景或者对大数据量查询的query并不合适(比如一次请求返回10w以上甚至更多数据的场合)
    d)暂时不支持分库分表,amoeba目前只做到分数据库实例,每个被切分的节点需要保持库表结构一致:
   Amoeba:阿米巴原虫***

***             
  图片 1***

***                   
 图片 2***

***1》**环境介绍*

***  master–IP:192.168.100.161
  slave—IP:192.168.100.160
  Amoeba–IP:192.168.100.214
2》**安装JDK*

***  #mkdir /Amoeba
  #tar –xvf jdk-7u40-linux-x64.tar.gz -C /Amoeba
  # vim /etc/profile
  JAVA_HOME=/Amoeba/jdk1.7.0_40
  export JAVA_HOME
  PATH=$JAVA_HOME/bin:$PATH
  export PATH
  CLASSPATH=:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH
  export CLASSPATH***

***3》**安装Amoeba***  #:mkdir /usr/local/amoeba**

**  #:unzip amoeba-mysql-1.3.1-BETA.zip -d /usr/local/amoeba
  #:chmod -R +x /usr/local/amoeba/bin/
  #java -version
  java version “1.7.0_40”
  Java(TM) SE Runtime Environment (build 1.7.0_40-b43)
  Java HotSpot(TM) 64-Bit Server VM (build 24.0-b56, mixed mode)

4》***主从授权,增加用户*

***  mysql–>grant all privileges on *.* to
[email protected]’%’
identified by ‘amoeba123’;
  mysql–>flush privileges;***

***5》**Amoeba配置介绍***  **

**      Amoeba For MySQL
的使用非常简单,所有的配置文件都是标准的XML
文件,总共有四个配置文件。分别为:amoeba.xml:主配置文件,配置所有数据源以及
          Amoeba
自身的参数设置;实现主从的话配置这个文件就可以了;**

**  rule.xml:配置所有Query 路由规则的信息;
  functionMap.xml:配置用于解析Query 中的函数所对应的Java 实现类;
  rullFunctionMap.xml:配置路由规则中需要使用到的特定函数的实现类;
6》***配置Amoeba IP 与用户*

***  # vim /usr/local/amoeba/conf/amoeba.xml***

***         
  图片 3***

***7》**Amoeba配置Master基本信息*

*       
 图片 4*

*             
 图片 5*

8》Amoeba配置Slave基本信息

*         
 图片 6*

*           
  图片 7*

9》Master负载配置

*       
  图片 8*

10》Slave负载配置

*       
  图片 9*

11》最后配置读写分离

*       
 图片 10*

*  启动Amoeba
  # cd /usr/local/amoeba/bin
这种启动方便看nohup.log日志.防止提示溢出
  #:nohup bash -x amoeba & *

*     常见错误:1
    **The stack size specified is too small, Specify at least 228k
    Error: Could not create the Java Virtual Machine.
    Error: A fatal exception has occurred. Program will exit.
  解决办法:
    # vim /usr/local/amoeba/bin/amoeba
    #DEFAULT_OPTS=”-server -Xms256m -Xmx256m -Xss128k” 注释
    DEFAULT_OPTS=”-server -Xms256m -Xmx256m -Xss256k” 增加

  常见错误2:
  org.xml.sax.SAXParseException; lineNumber: 406; columnNumber: 6;
注释中不允许出现字符串”–“。
  解决办法:
  后来改了一大通,试了一下午,才发现。我们的注释两边要有空格,才行。***

          

    举例<!– 实体类路径和名 –>

12》测试是否读写分离

  1>在(master)主上的test库建立一个alvin的表
    Mysql->use test;
    Mysql->create table alvin(id int(10),name char(10));

             
  图片 11

      2>在(slave)从上查看test库是否同步了alvin表
    Mysql-> use test;
    Mysql->show tables;
   3>在主(master)操作.插入一条数据.
    mysql–>insert into alvin values(1,’master’);
   4>在从(slave)操作,插入一条数据.
    mysql–>insert into alvin values(2,’slave’);
    注意因为从同步主的数据。所以这里有2条数据,

           
 图片 12

    5>在Amoeba机器上操作
  
在192.168.100.214上面测试,这个密码就是配置文件里面对外的验证密码root
和密码123456

               
  图片 13

        #mysql –u root –p 123456 –h 192.168.100.214 –P 9066
  (1)
先验证读:我们配置文件是用的是DR轮询,注意这个IP地址要写:amoeba的IP地址,不是master也不是slave
,是通过amoeba代理登陆192.168.100.214
    Mysql->use test;
    测试轮询成功,主和从各查询一次。
  (2)
验证写:正常来说。如果只有全部写到主里面,两边的数据才会以致。如果其中有一个不一致的话。那么说明写到从里面去了。因为主不会同步从的数据。都是
                          单向数据传输。

               
  图片 14

                   
 图片 15

13》常用配置写法

  (1)如果负载多个库,软件会根据你用户授权来决定对哪些库有权限
    grant all privileges on *.* to
[email protected]’%’
identified by ‘amoeba123’; 这里写的是all
那么就是对所有的库有权限(会自动负载所有的库).

    上面配置文件的库名test.根据这个语句来决定.如果是all.那么直接用写test来测试.方便一点.

  (2)一主一从的负载写法一:
    主只写.<property
name=”poolNames”>server1</property>

    从只读.<property
name=”poolNames”>server2</property>

  (3)一主一从的负载写法:
    主负写:<property
name=”poolNames”>server1</property>

    主也负责读,从也负责读.比例1:1
第一读.从.第二次读住.循环写的话,只能写主.<property
name=”poolNames”>server1,server2</property>

  (4)一主多从的负载写法:
    比如.一台主.3台从.在最上面定义了.server1(master)
server2(slave1) server3(slave2) server4(slave3)

    1主只写:<property
name=”poolNames”>server1</property>

    3从负载读 <property
name=”poolNames”>server2,server3,server4</property>

    权重:1:1 3台轮询各一次.持续循环

  (5)比如我想要.slave1
权重高一点.其它的.2台从.每次读一次.slave1读.2次.

    <property
name=”poolNames”>server2,server2,server3,server4</property>

  =================================================================

amoeba.xml配置文件
<?xml version=”1.0″ encoding=”gbk”?>

<!DOCTYPE amoeba:configuration SYSTEM “amoeba.dtd”>
<amoeba:configuration xmlns:amoeba=”;

<server>
<!– proxy server绑定的端口 –>
<property name=”port”>6006</property>

<!– proxy server绑定的IP –>

<property name=”ipAddress”>10.0.2.160</property>

<!– proxy server net IO Read thread size –>
<property name=”readThreadPoolSize”>20</property>

<!– proxy server client process thread size –>
<property name=”clientSideThreadPoolSize”>30</property>

<!– mysql server data packet process thread size –>
<property name=”serverSideThreadPoolSize”>30</property>

<!– socket Send and receive BufferSize(unit:K) –>
<property name=”netBufferSize”>128</property>

<!– Enable/disable TCP_NODELAY (disable/enable Nagle’s algorithm).
–>
<property name=”tcpNoDelay”>true</property>

<!– 对外验证的用户名 –>
<property name=”user”>root</property>

<!– 对外验证的密码 –>

<property name=”password”>123456</property>

<!– query timeout( default: 60 second , TimeUnit:second) –>
<property name=”queryTimeout”>60</property>
</server>

<!–
每个ConnectionManager都将作为一个线程启动。
manager负责Connection IO读写/死亡检测
–>
<connectionManagerList>
<connectionManager name=”defaultManager”
class=”com.meidusa.amoeba.net.MultiConnectionManagerWrapper”>
<property
name=”subManagerClassName”>com.meidusa.amoeba.net.AuthingableConnectionManager</property>

<!–
default value is avaliable Processors
<property name=”processors”>5</property>
–>
</connectionManager>
</connectionManagerList>

<dbServerList>
<!–
一台mysqlServer 需要配置一个pool,
如果多台 平等的mysql需要进行loadBalance,
平台已经提供一个具有负载均衡能力的objectPool:com.meidusa.amoeba.mysql.server.MultipleServerPool
简单的配置是属性加上 virtual=”true”,该Pool 不允许配置factoryConfig
或者自己写一个ObjectPool。
–>
<dbServer name=”server1″>

<!– PoolableObjectFactory实现类 –>
<factoryConfig
class=”com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory”>
<property name=”manager”>defaultManager</property>

<!– 真实mysql数据库端口 –>
<property name=”port”>3306</property>

<!– 真实mysql数据库IP –>
<property name=”ipAddress”>10.0.2.159</property>
<property name=”schema”>test</property>

<!– 用于登陆mysql的用户名 –>
<property name=”user”>amoeba</property>

<!– 用于登陆mysql的密码 –>

<property name=”password”>amoeba123</property>

</factoryConfig>

<!– ObjectPool实现类 –>
<poolConfig
class=”com.meidusa.amoeba.net.poolable.PoolableObjectPool”>
<property name=”maxActive”>200</property>
<property name=”maxIdle”>200</property>
<property name=”minIdle”>10</property>
<property
name=”minEvictableIdleTimeMillis”>600000</property>
<property
name=”timeBetweenEvictionRunsMillis”>600000</property>
<property name=”testOnBorrow”>true</property>
<property name=”testWhileIdle”>true</property>
</poolConfig>
</dbServer>

<dbServer name=”server2″>

<!– PoolableObjectFactory实现类 –>
<factoryConfig
class=”com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory”>
<property name=”manager”>defaultManager</property>

<!– 真实mysql数据库端口 –>
<property name=”port”>3306</property>

<!– 真实mysql数据库IP –>
<property name=”ipAddress”>10.0.2.158</property>
<property name=”schema”>test</property>

<!– 用于登陆mysql的用户名 –>
<property name=”user”>amoeba</property>

<!– 用于登陆mysql的密码 –>

<property name=”password”>amoeba123</property>

</factoryConfig>

<!– ObjectPool实现类 –>
<poolConfig
class=”com.meidusa.amoeba.net.poolable.PoolableObjectPool”>
<property name=”maxActive”>200</property>
<property name=”maxIdle”>200</property>
<property name=”minIdle”>10</property>
<property
name=”minEvictableIdleTimeMillis”>600000</property>
<property
name=”timeBetweenEvictionRunsMillis”>600000</property>
<property name=”testOnBorrow”>true</property>
<property name=”testWhileIdle”>true</property>
</poolConfig>
</dbServer>

<dbServer name=”master” virtual=”true”>
<poolConfig
class=”com.meidusa.amoeba.server.MultipleServerPool”>
<!– 负载均衡参数 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA –>
<property name=”loadbalance”>1</property>

<!– 参与该pool负载均衡的poolName列表以逗号分割 –>
<property name=”poolNames”>server1</property>
</poolConfig>
</dbServer>

<dbServer name=”slave” virtual=”true”>
<poolConfig
class=”com.meidusa.amoeba.server.MultipleServerPool”>
<!– 负载均衡参数 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA –>
<property name=”loadbalance”>1</property>

<!– 参与该pool负载均衡的poolName列表以逗号分割 –>
<property name=”poolNames”>server1,server2</property>
</poolConfig>
</dbServer>

</dbServerList>

<queryRouter
class=”com.meidusa.amoeba.mysql.parser.MysqlQueryRouter”>
<property
name=”ruleConfig”>${amoeba.home}/conf/rule.xml</property>
<property
name=”functionConfig”>${amoeba.home}/conf/functionMap.xml</property>
<property
name=”ruleFunctionConfig”>${amoeba.home}/conf/ruleFunctionMap.xml</property>
<property name=”LRUMapSize”>1500</property>
<property name=”defaultPool”>master</property>

<property name=”writePool”>master</property>
<property name=”readPool”>slave</property>

<property name=”needParse”>true</property>
</queryRouter>
</amoeba:configuration>

Amoeba的中文意思是变型虫,Amoeba是一个以MySQL为底层数据存储,并对应用提供MySQL协议接口的proxy。它集中地响应应…

         
Amoeba的中文意思是变型虫,Amoeba是一个以MySQL为底层数据存储,并对应用提供MySQL协议接口的proxy。它集中地响应应用的请求,依据用户事先设置的
 
 规则,将SQL请求发送到特定的数据库上执行。基于此可以实现负载均衡、读写分离、高可用性等需求。与MySQL官方的MySQL
Proxy相比,作者强调的是amoeba配    
 置的方便(基于XML的配置文件,用SQLJEP语法书写规则,比基于lua脚本的MySQL
Proxy简单);

  
Amoeba相当于一个SQL请求的路由器,目的是为负载均衡、读写分离、高可用性提供机制,而不是完全实现它们。用户需要结合使用MySQL的
Replication等机制    
 来实现副本同步等功能。amoeba对底层数据库连接管理和路由实现也采用了可插拨的机制,第三方可以开发更高级的策略类来替代作者的实现。这个程序总体上比较符
 
 合KISS原*
则的思想。***


  主要解决:
    • 降低数据切分带来的复杂多数据库结构
    • 提供切分规则并降低数据切分规则给应用带来的影响
    • 降低db 与客户端的连接数
    • 读写分离***

 

***    不足之处:
    a)目前还不支持事务
    b)暂时不支持存储过程(近期会支持)
    c)不适合从amoeba导数据的场景或者对大数据量查询的query并不合适(比如一次请求返回10w以上甚至更多数据的场合)
    d)暂时不支持分库分表,amoeba目前只做到分数据库实例,每个被切分的节点需要保持库表结构一致:
   Amoeba:阿米巴原虫***

***             
  图片 16***

***                   
 图片 17***

***1》**环境介绍*

***  master–IP:192.168.100.161
  slave—IP:192.168.100.160
  Amoeba–IP:192.168.100.214
2》**安装JDK*

***  #mkdir /Amoeba
  #tar –xvf jdk-7u40-linux-x64.tar.gz -C /Amoeba
  # vim /etc/profile
  JAVA_HOME=/Amoeba/jdk1.7.0_40
  export JAVA_HOME
  PATH=$JAVA_HOME/bin:$PATH
  export PATH
  CLASSPATH=:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH
  export CLASSPATH***

***3》**安装Amoeba***  #:mkdir /usr/local/amoeba**

**  #:unzip amoeba-mysql-1.3.1-BETA.zip -d /usr/local/amoeba
  #:chmod -R +x /usr/local/amoeba/bin/
  #java -version
  java version “1.7.0_40”
  Java(TM) SE Runtime Environment (build 1.7.0_40-b43)
  Java HotSpot(TM) 64-Bit Server VM (build 24.0-b56, mixed mode)

4》***主从授权,增加用户*

***  mysql–>grant all privileges on *.* to amoeba@’%’
identified by ‘amoeba123’;
  mysql–>flush privileges;***

***5》**Amoeba配置介绍***  **

**      Amoeba For MySQL
的使用非常简单,所有的配置文件都是标准的XML
文件,总共有四个配置文件。分别为:amoeba.xml:主配置文件,配置所有数据源以及
          Amoeba
自身的参数设置;实现主从的话配置这个文件就可以了;**

**  rule.xml:配置所有Query 路由规则的信息;
  functionMap.xml:配置用于解析Query 中的函数所对应的Java 实现类;
  rullFunctionMap.xml:配置路由规则中需要使用到的特定函数的实现类;
6》***配置Amoeba IP 与用户*

***  # vim /usr/local/amoeba/conf/amoeba.xml***

***         
  图片 18***

***7》**Amoeba配置Master基本信息*

*       
 图片 19*

*             
 图片 20*

8》Amoeba配置Slave基本信息

*         
 图片 21*

*           
  图片 22*

9》Master负载配置

*       
  图片 23*

10》Slave负载配置

*       
  图片 24*

11》最后配置读写分离

*       
 图片 25*

*  启动Amoeba
  # cd /usr/local/amoeba/bin
这种启动方便看nohup.log日志.防止提示溢出
  #:nohup bash -x amoeba & *

*     常见错误:1
    **The stack size specified is too small, Specify at least 228k
    Error: Could not create the Java Virtual Machine.
    Error: A fatal exception has occurred. Program will exit.
  解决办法:
    # vim /usr/local/amoeba/bin/amoeba
    #DEFAULT_OPTS=”-server -Xms256m -Xmx256m -Xss128k” 注释
    DEFAULT_OPTS=”-server -Xms256m -Xmx256m -Xss256k” 增加

  常见错误2:
  org.xml.sax.SAXParseException; lineNumber: 406; columnNumber: 6;
注释中不允许出现字符串”–“。
  解决办法:
  后来改了一大通,试了一下午,才发现。我们的注释两边要有空格,才行。***

          

    举例<!– 实体类路径和名 –>

12》测试是否读写分离

  1>在(master)主上的test库建立一个alvin的表
    Mysql->use test;
    Mysql->create table alvin(id int(10),name char(10));

             
  图片 26

      2>在(slave)从上查看test库是否同步了alvin表
    Mysql-> use test;
    Mysql->show tables;
   3>在主(master)操作.插入一条数据.
    mysql–>insert into alvin values(1,’master’);
   4>在从(slave)操作,插入一条数据.
    mysql–>insert into alvin values(2,’slave’);
    注意因为从同步主的数据。所以这里有2条数据,

           
 图片 27

    5>在Amoeba机器上操作
  
在192.168.100.214上面测试,这个密码就是配置文件里面对外的验证密码root
和密码123456

               
  图片 28

        #mysql –u root –p 123456 –h 192.168.100.214 –P 9066
  (1)
先验证读:我们配置文件是用的是DR轮询,注意这个IP地址要写:amoeba的IP地址,不是master也不是slave
,是通过amoeba代理登陆192.168.100.214
    Mysql->use test;
    测试轮询成功,主和从各查询一次。
  (2)
验证写:正常来说。如果只有全部写到主里面,两边的数据才会以致。如果其中有一个不一致的话。那么说明写到从里面去了。因为主不会同步从的数据。都是
                          单向数据传输。

               
  图片 29

                   
 图片 30

13》常用配置写法

发表评论

电子邮件地址不会被公开。 必填项已用*标注

相关文章

网站地图xml地图