两个windows服务器使用canal实现mysql实时同步_Mysql

canal是什么？

canal是阿里基于java写的一个组件，他的作用是canal.deployer读取mysql数据的binlog日志，然后canal.adapter将其转换为对应的数据(数据的变化或者变化后的数据，跟配置有关)，并且同步到相关中间件。本文实现两个windows服务器使用canal实现mysql主从复制实时同步。

mysql主备复制原理

mysql master将数据变更写入二进制日志(binarylog,其中记录叫做二进制日志事件binary log events，可以通过show binlog events进行查看)
mysql slave 将master的 binary log events拷贝到它的中继日志(relay log)
mysql slave 重放relay log中事件，将数据变更反映它自己的数据

canal 工作原理

canal 模拟 mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议
mysql master 收到dump请求，开始推送binary log给slave (即canal )
canal 解析 binary log 对象(原始为 byte 流)

开启mysql的binlog

canal的原理是基于mysql binlog技术，所以这里一定需要开启mysql的binlog写入功能。

检查binlog功能是否有开启

-- off 表示功能未开启
show variables like 'log_bin';

binlog格式

binlog记录格式有两种，statement/row，其中statment记录sql格式，row格式记录每行的变更内容，控制格式的参数有三种，statement/mix/row，其中mix表示两者的混合

show variables like '%binlog_format%';

如何开启binlog功能

配置my.ini，在[mysqld] 下添加：

log-bin=mysql-bin
binlog_format=row
server-id=1

注意：mysql实例id，不能和canal的slaveid重复

binlog命令行参数详解：

log-bin [=file_name] 此参数表示启用binlog日志功能，并可以定制文件名称，默认为mysql-bin。存放目录是mysql安装目录的data文件夹下。
binlog_format 此参数配置binlog的日志格式，默认为mixed。
max_binlog_size此参数配置binlog的日志最大值，最大和默认值是1gb。
max_binlog_cache_size此参数表示binlog使用最大内存的数。
binlog-do-db=db_name 此参数表示只记录指定数据库的二进制日志。
binlog-ignore-db=db_name此参数表示不记录指定的数据库的二进制日志。
expire_logs_days 此参数表示binlog日志保留的时间，默认单位是天。

重启mysql

-- 关闭服务
net stop mysql 
-- 开启服务
net start mysql

重启后在d:\softinstall\mysql\mysql-5.7.38-winx64\data\目录下会产生mysql-bin.000001 和 mysql-bin.index 两个文件。

查看二进制文件

在dos命令行中，进入到mysql的安装目录下，即d:\softinstall\mysql\mysql-5.7.38-winx64，再进到bin/目录下，执行mysqlbinlog命令查看日志：

mysqlbinlog ../data/mysql-bin.000001

为了方便查看日志内容可以导出到.sql文件

mysqlbinlog ../data/mysql-bin.000001 -&gt;a.sql

可以通过show master status来查看当前写入的binlog的位点，其中：

file表示下一个binlog的bytes内容即将写入的文件名
position表示下一个binlog的bytes内容写入到file中的位点的起点(byte字节数)
binlog_do_db表示需要记录binlog的库名列表，也就是白名单
binlog_ignore_db表示需要忽略的binlog的库名列表，也就是黑名单
executed_gtid_set表示本库中已经执行完的全局事务的id集合

可以通过show binary logs来查看binlog列表，表示本地保存的binlog及其大小(byte字节数)

在mysql里面添加以下的相关用户和权限

create user 'canal'@'%' identified by 'canal';
-- 注意权限问题，否则在后续的一些操作中会提示没有权限
grant all privileges on *.* to 'canal'@'%';
flush privileges;

下载安装canal服务

推荐canal1.1.5，只需要使用jdk1.8。canal1.1.6，该版本需要使用jdk11+

1）canal角色

canal-admin：canal控制台，可以统一管理canal服务
canal-deployer：也是canal-server：canal的一个节点服务
canal-instance：canal-server中的一个处理实例，可以处理不同的业务逻辑
canal-adaper：canal适配器，canal 1.1.1之后，提供了适配器功能，可将canal server的数据直接输出到目的地，不需要用户编写客户端（个性化需求还需要用户编写客户端实现）

2）下载地址

https://github.com/alibaba/canal/releases

从canal官网下载canal.deployer和canal.deployer，在两台服务器上准备两个mysql数据库，其中一个作为源库，另一个为目标库，我准备的mysql源库服务器ip为：172.17.0.2，mysql服务端口为3306，目标库的服务器ip为172.17.0.4，mysql服务端口为3307。