您当前的位置: 首页 >  ar

段智华

暂无认证

  • 0浏览

    0关注

    1232博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

spark catalyst 中的strategy 自定义研究

段智华 发布时间:2017-01-28 09:12:41 ,浏览量:0

 spark catalyst 中的strategy 自定义研究

2016 Spark-Summit-EU-talk-by-Herman-van-Hovell 的实例:

    val tableA: Dataset[Long] = spark.range(100000000).as('a)
    val tableB: Dataset[Long] = spark.range(100000000).as('b)
    val result =
      tableA.join(tableB, tableA("id") === tableB("id"))
        .groupBy()
        .count()
    result.count()
    result.show()
    result.explain(
关注
打赏
1659361485
查看更多评论
立即登录/注册

微信扫码登录

0.0515s