Canal的安装

环境部署 MySQL

• MySQL需要先开启 Binlog 写入功能，配置 binlog-format 为 ROW 模式，/etc/my.cnf 中配置如下

  [mysqld]
  log-bin=mysql-bin # 开启 binlog
  binlog-format=ROW # 选择 ROW 模式
  server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复
  

  查看mysql是否开启binlog

show master status

show variables like 'log_bin';

 

• 授权 canal 链接 MySQL 账号具有作为 MySQL slave 的权限, 如果已有账户可直接 grant

  CREATE USER root IDENTIFIED BY '123456';  
  GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' ;
  FLUSH PRIVILEGES;
  

Canal安装

重要版本更新说明：

1. canal 1.1.x 版本（release_note）,性能与功能层面有较大的突破,重要提升包括:
   • 整体性能测试&优化,提升了150%. #726 参考: Performance
   • 原生支持prometheus监控 #765 Prometheus QuickStart
   • 原生支持kafka消息投递 #695 Canal Kafka/RocketMQ QuickStart
   • 原生支持aliyun rds的binlog订阅 (解决自动主备切换/oss binlog离线解析) 参考: Aliyun RDS QuickStart
   • 原生支持docker镜像 #801 参考: Docker QuickStart
2. canal 1.1.4版本，迎来最重要的WebUI能力，引入canal-admin工程，支持面向WebUI的canal动态管理能力，支持配置、任务、日志等在线白屏运维能力，具体文档：Canal Admin Guide

注意：本次学习使用的版本canal1.0.24

环境要求：

• 安装好ZooKeeper

• 解压缩

  mkdir /export/servers/canal
  tar -zxvf canal.deployer-1.0.24.tar.gz  -C /export/servers/canal/
  

• 解压完成后，进入 /export/servers/canal/ 目录，可以看到如下结构

  drwxr-xr-x. 2 root root 4096 2月   1 14:07 bin
  drwxr-xr-x. 4 root root 4096 2月   1 14:07 conf
  drwxr-xr-x. 2 root root 4096 2月   1 14:07 lib
  drwxrwxrwx. 2 root root 4096 4月   1 2017 logs
  

• canal server的conf下有几个配置文件

  [root@node1 canal]# tree conf/ 
  conf/
  ├── canal.properties
  ├── example
  │   └── instance.properties
  ├── logback.xml
  └── spring
      ├── default-instance.xml
      ├── file-instance.xml
      ├── group-instance.xml
      ├── local-instance.xml
      └── memory-instance.xml
  

  • 先来看canal.properties的common属性前四个配置项：

    canal.id= 1
    canal.ip=
    canal.port= 11111
    canal.zkServers=
    

    canal.id是canal的编号，在集群环境下，不同canal的id不同，注意它和mysql的server_id不同。

    ip这里不指定，默认为本机，比如上面是192.168.1.120，端口号是11111。zk用于canal cluster。

  • 再看下canal.properties下destinations相关的配置：

    #################################################
    #########       destinations        ############# 
    #################################################
    canal.destinations = example
    canal.conf.dir = ../conf
    canal.auto.scan = true
    canal.auto.scan.interval = 5
    
    canal.instance.global.mode = spring 
    canal.instance.global.lazy = false
    canal.instance.global.spring.xml = classpath:spring/file-instance.xml
    

    这里的canal.destinations = example可以设置多个，比如example1,example2， 则需要创建对应的两个文件夹，并且每个文件夹下都有一个instance.properties文件。

    全局的canal实例管理用spring，这里的file-instance.xml最终会实例化所有的destinations instances:

  • 全局的canal实例管理用spring，这里的file-instance.xml最终会实例化所有的destinations instances:

    
    
    	
        
        
        	
            	classpath:canal.properties                     classpath:${canal.instance.destination:}/instance.properties
             
        
    
    
    
     
       
    	   
        		
           
       
    
    
    	
        
        	
        
        
            
        
        
            
        
        
            
        
        
            
        
    
    

    比如canal.instance.destination等于example，就会加载example/instance.properties配置文件

• 修改instance 配置文件

  vi conf/example/instance.properties

  ## mysql serverId，这里的slaveId不能和myql集群中已有的server_id一样
  canal.instance.mysql.slaveId = 1234
  
  #  按需修改成自己的数据库信息
  #################################################
  ...
  canal.instance.master.address=192.168.1.120:3306
  # username/password,数据库的用户名和密码
  ...
  canal.instance.dbUsername = root
  canal.instance.dbPassword = 123456
  #################################################
  

• 启动

  sh bin/startup.sh
  

• 查看 server 日志

  vi logs/canal/canal.log
  

  2013-02-05 22:45:27.967 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## start the canal server.
  2013-02-05 22:45:28.113 [main] INFO  com.alibaba.otter.canal.deployer.CanalController - ## start the canal server[10.1.29.120:11111]
  2013-02-05 22:45:28.210 [main] INFO  com.alibaba.otter.canal.deployer.CanalLauncher - ## the canal server is running now ......
  

• 查看 instance 的日志

  vi logs/example/example.log
  

  2013-02-05 22:50:45.636 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [canal.properties]
  2013-02-05 22:50:45.641 [main] INFO  c.a.o.c.i.spring.support.PropertyPlaceholderConfigurer - Loading properties file from class path resource [example/instance.properties]
  2013-02-05 22:50:45.803 [main] INFO  c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start CannalInstance for 1-example 
  2013-02-05 22:50:45.810 [main] INFO  c.a.otter.canal.instance.spring.CanalInstanceWithSpring - start successful....
  

• 关闭

  sh bin/stop.sh