DataX | 在Liunx上安装和使用

一、DataX3.0 概述和核心优势

参考官网，这里就不多做介绍：DataX3.0介绍.

DataX快速开始说明：快速开始文档.

二、Liunx 上安装DataX 1.查看当前linux是什么系统版本：

• 查看系统的名称，命令：uname
• 查看具体的系统版本，命令：cat /etc/redhat-release

2.查看是否具备jdk和python环境：

• 查看jdk版本，命令：java -version
• 查看python的版本，命令（大写V）：python -V

注意：

• JDK(1.6以上，1.8即可)

• Python(一般2.7都可以)一定要为python2，因为后面执行datax.py的时候，里面的python的print会执行不了，导致运行不成功，会提示你print语法要加括号，python2中加不加都行 python3中必须要加，否则报语法错

3.如果上一步的环境不存在则参考下面的博客进行环境安装：

• 安装java环境，参考博客（不用按照步骤去卸载，直接看安装步骤即可）：https://blog.csdn.net/love3765/article/details/88783126.

• 安装python环境，参考博客（安装步骤全部执行即可）：https://www.cnblogs.com/Jomini/p/10507077.html.

4.下载DataX：

• 下载DataX安装包百度云链接：https://pan.baidu.com/s/13FeDSkO52dUv_bJqjXoe2w. 提取码：alac

• 下载DataX安装包（如果上一步目录不存在，找到网址下的Quick Start标题即有下载地址）：https://github.com/alibaba/DataX.

5.解压DataX

下载后使用文件传输工具传输到linux上的opt目录下 解压命令： cd /opt tar -zxvf datax.tar.gz -C /opt/

6.DataX自检

解压成功后，进入bin目录，开始自检，命令： cd datax/bin python datax.py /opt/datax/job/job.json

查看日志，完成自检！

三、使用DataX 1.新建两个mysql库：datax、datax2，分别使用运行以下建表sql：

CREATE TABLE `datax_test` (
  `id` int(10) NOT NULL COMMENT '主键ID',
  `name` varchar(255) DEFAULT NULL COMMENT '名称',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

运行成功后在datax2中新增几条测试数据，datax中不新增。

2.建立新的job作业json文件，如下（复制即可用）：

job_mysql2mysql.json：

{
    "job": {
		"setting": {
            "speed": {
                "channel": 1
            },
			"errorLimit": {
                "record": 0,
                "percentage": 0.02
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader", 
                    "parameter": {
                        "column": [
							"`id`",
                            "`name`"
						], 
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:mysql://localhost:3306/datax2"], 
                                "table": ["datax_test"]
                            }
                        ], 
						"username": "root",
                        "password": "******"
                    }
                }, 
                "writer": {
                    "name": "mysqlwriter", 
                    "parameter": {
						"writeMode": "insert",
                        "username": "root",
                        "password": "******",
                        "column": [
                            "`id`",
							"`name`"
                        ],
                        "session": [
                        	"set session sql_mode='ANSI'"
                        ],
                        "preSql": [
                            "delete from datax_test"
                        ], 
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://localhost:3306/datax", 
                                "table": ["datax_test"]
                            }
                        ]
                    }
                }
            }
        ]
    }
}

• “writeMode”: “insert”：表示数据是新增，可改为update，但是表中要有唯一主键
• preSql：预先执行的sql，在其他操作之前执行

以上的json是新增时使用，有个preSql（预执行sql），看情况使用

3.将job_mysql2mysql.json文件放入/opt/datax/目录下，执行以下命令运行，即可将读库中的表数据写入写库的表中：

python datax.py /opt/datax/job/job_mysql2mysql.json

注意点：

大家可以看到JSON文件中的column中写了详细的参数，而不用*号，以及字段用`符号包起来。

先说第一点，详细的字段方便在以后的定时增量同步起到很大的避免错误的作用，如果读库和写库的表结构一样，在读库（reader）中的表增加了一个字段，而写库（writer）并没有这个字段，执行脚本时会报错，所有不用*号，并且新增和修改字段都要双方同步。

第二点，为什么用`符号将字段包起来，博主已踩坑，大家不要跳坑了。因为日常开发中一个数据库是很多开发人员维护的，难免会出现MySQL关键字为字段名的情况，DataX执行时发现某个字段是MySQL关键字则会直接报错，所以每个字段最好包起来。

相关文章

• DataX | MySQL多表全量同步和多表定时增量同步.
• DataX踩坑1 | 连接数据库失败. 请检查您的 账号、密码、数据库名称、IP、Port.
• DataX踩坑2 | 定时任务crontab不执行或报错：/bin/sh: java: command not found.
• Shell 脚本参数传递时有 \r 换行符问题.