您当前的位置: 首页 >  ar

段智华

暂无认证

  • 0浏览

    0关注

    1232博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

Spark 2.2.0 SQL的运行过程(源码解密)

段智华 发布时间:2017-08-02 21:40:04 ,浏览量:0

1、     Spark SQL的运行过程

接下来我们看一下Spark SQL的运行过程,Spark  SQL 的运行架构如图 27- 2所示:

图 27- 2 SQL 的运行架构

通过初步解析不同来源的数据变为UnresolvedLogical Plan(此过程会提取关键字,检查基本的语法,如果有问题下一步直接不能运行),进一步解析语法树生成Logical Plan,进行CombineFilters,CombineLimits等优化策略-,产生Physical Plan,把需要执行的操作转换为spark可以真正执行的RDD。

先概括一下,其执行流程是:

Parse SQL -> Analyze Logical Plan -> OptimizeLogical Plan -> Generate Physical Plan ->Prepareed Spark Plan ->Execute SQL -> Generate RDD

SQLContext里对SQL的一个解析和执行流程:

1. 第一步Parse SQL (SQL: String),simple SQL parser做词法语法解析,生成

关注
打赏
1659361485
查看更多评论
立即登录/注册

微信扫码登录

0.0466s