Lunch Hive Task By SpringBoot

序言

本Demo是基于SpringBoot 创建Hive 任务并提交到 MapReduce On Yarn 上进行计算.

那SpringBoot连接Hive的整体思路其实很简单就是通过JDBC.针对Hive的任务并提交到Yarn上就是通过SQL(当然实际的任务是MapReduce,那我们只是通过SQL的形式交由程序去自动创建cuiyaonan2000@163.com) 前提是要启动Hive Server

如下所示: 

参考信息:

• Apache Hive TM

整合方案

正如官网所说的,我们直接以JDBC的形式进行整合就行了,就像你使用Mybatis整合MySql一样.

如此我们就可以了解到,在我们自己的工程中可以同时整合Mysql,Oracle,Hive进行多数据源的操作.整合的要求参考不同JPA的技术实现,你可以把Hive看成就是Mysql.只是使用了不同的驱动.

核心配置^_^

spring:
  jmx:
     default-domain: gateway
  output:
    ansi:
      enabled: DETECT
  datasource:
    druid:
      url: jdbc:hive2://172.17.15.2:10000/default
      driver-class-name: org.apache.hive.jdbc.HiveDriver
      username: cuiyaonan
      password: cuiyaonan
      initial-size: 5
      max-active: 20
      min-idle: 5
      max-wait: 60000
      validationQuery: SELECT 1

任务提交

在显示作业中有中2中方式提交任务(如下2个命令的参数设置是共用的).

1. start-thriftserver.sh  --即传统的jdbc模式直接连接该服务提交任务
2. spark-submit  提交jar包的形式