您当前的位置: 首页 > 

宝哥大数据

暂无认证

  • 0浏览

    0关注

    1029博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

对用户访问session进行分析--模拟生成源数据

宝哥大数据 发布时间:2018-07-08 17:47:52 ,浏览量:0

scala 版本 注意本例中,使用的指定schema

创建Row 使用Row(values*), 例如Row(productId, productName, extendInfo), 和java通过RowFactory.create不一样, 如果scala使用RowFactory.crate创建row, 会报错

Result type of an implicit conversion must be more specific than AnyRef

而且会错误, 类型不匹配

package com.chb.shop.analysis

import java.time.LocalDate
import java.util

import com.chb.shop.analysis.utils.StrUtil
import org.apache.spark.sql.types._
import org.apache.spark.sql.{Row, SparkSession}

import scala.collection.mutable.ArrayBuffer
import scala.util.Random

/**
  * Created by chb on 2019/3/11.
  */
class MockData extends Serializable {
    val spark = SparkSession.builder()
        .appName("MockData")
        .master("local[*]")
        .getOrCreate()

    val random = new Random()

    import spark.implicits._
    import spark.sql

    /**
      *
      */
    def mockProductStatus() = {
        val rows = new ArrayBuffer[Row]()
        val pStatus = Array[Int](1, 2)

        for (i             
关注
打赏
1587549273
查看更多评论
0.0433s