Spark Structured Streaming 实现自定义数据源

Spark Structured Streaming  实现自定义数据源：

Spark Streaming 查询使用微批处理引擎进行处理，微批处理引擎将 data streams 作为一系列小批处理作业进行处理，从Spark 2.3以来，Spark引入了一种新的低延迟处理模式，称为连续处理，可以实现毫秒级的端到端延迟。 

Spark Structured Streaming   Demo：

main.scala

package org.apache.spark.sql.structured

import java.util.concurrent.TimeUnit

import org.apache.spark.sql.streaming.{StreamingQuery, Trigger}
import org.apache.spark.sql.{DataFrame, SparkSession}

object Main extends App {

  val spark = SparkSession
    .builder
    .master("local[*]")
    .appName("Demo Source (DSv1 / Micro-Batch)")
    .getOrCreate

  println(s"This is Spark v${spark.version}")

  val data: DataFrame = spark
    .readStream
    .format("org.apache.spark.sql.structured.DemoSourceProvider") //