黑马十次方项目day04-13之使用logstash把mysql数据导入到es

把导入的文件放入logstash文件夹

在elasticsearch的配套软件中,有mysqletc文件夹,该文件夹的内容,就是用于logstash的导入信息的 把mysqletc复制到logstash文件夹中.

编辑mysql.conf

在mysqletc文件夹中,找到mysql.conf,编辑里面的信息 mysql.conf编辑的信息如下

input {
  jdbc {
	  # 连接的数据的路径
	  jdbc_connection_string => "jdbc:mysql://15.55.16:3306/tensquare_article?characterEncoding=UTF8"
	  # 连接的数据的用户名和密码
	  jdbc_user => "root"
	  jdbc_password => "111111"
	  # 数据库的驱动路径
	  jdbc_driver_library => "D:\tensquaresoftware\logstash-5.6.8\mysqletc\mysql-connector-java-5.1.46.jar"
	  # the name of the driver class for mysql
	  jdbc_driver_class => "com.mysql.jdbc.Driver"
	  #是否开启分页 值为true或者false
	  jdbc_paging_enabled => "true"
	  #开启分页时,每页的条数
	  jdbc_page_size => "50"
	  #以下对应着要执行的sql的绝对路径。
	  #如果把sql语句写在文件中,则下面填写sql的路径
	  #statement_filepath => ""
	  #不把sql写在文件中,则直接在下面写sql语句
	  statement => "select t.id,t.title,t.content,t.state from tb_article t"
	  #定时字段 各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新
      schedule => "* * * * *"
  }
}

output {
  elasticsearch {
	  #ES IP地址与端口
	  hosts => "127.0.0.1:9200" 
	  #ES索引名称（自己定义的）
	  index => "tensequare_article"
	  #自增ID编号  此处的id,要与上面查询语句中的id字段要对应上.
	  document_id => "%{id}"
	  document_type => "article"
  }
  stdout {
      #以JSON格式输出
      codec => json_lines
  }
}

进行数据导入到索引库

编辑完上一步的信息后,在cmd中进入logstach的bin目录,执行如下的命令 代表以文件的信息导入 logstach -f ../mysqletc/mysql.conf 出现如下画圈的信息,代表启动logstach成功 等待一分钟后,出现如下的sql语句,代表进行数据的导入了 在head插件中,可以看到导入的数据.