您当前的位置: 首页 >  ar

196 Spark SQL概述

杨林伟 发布时间:2019-08-14 17:10:58 ,浏览量:3

Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 在这里插入图片描述

前面已经学习了Hive,它是将Hive SQL转换成MapReduce然后提交到集群上执行,大大简化了编写MapReduce的程序的复杂性,由于MapReduce这种计算模型执行效率比较慢。所以Spark SQL的应运而生,它是将Spark SQL转换成RDD,然后提交到集群执行,执行效率非常快!

Spark SQL有如下特点:

1.易整合 在这里插入图片描述 2.统一的数据访问方式 在这里插入图片描述 3.兼容Hive 在这里插入图片描述 4.标准的数据连接 在这里插入图片描述

关注
打赏
1688896170
查看更多评论

杨林伟

暂无认证

  • 3浏览

    0关注

    3183博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文
立即登录/注册

微信扫码登录

0.0596s