一、探索数据
1.1、数据质量分析
1.2、数据特征分析
1.2.1、特征提取、转换和选择
1.3、数据可视化
1.4、数据预处理
1.5、组装
前面几节我们对数据集进行了探索，之后进行大量的数据清理、转换等数据预处理工作，接着进行构建模型、评估模型。评估模型前我们需要将数据集随机划分为训练集和测试集。假如数据有变化，如新增数据，如何保证训练集和测试集上的操作保持一致?如果数据清理、数据转换等有很多步骤，如何保证这些步骤依次执行? 采用Spark Pipeline能很好解决这些问题。也就是说，我们只要把这些任务作为Pipeline的Stage,按照其本身的执行次序把这些stage组装到一个Pipeline上即可。当然，如果任务比较复杂，我们也可以采用多个Pipeline，然后把这些Pipeline 组装到一个新的
1.6、模型选择或调优 1.6.1、模型评估 1.7、保存模型训练、优化模型后，我们需要保存模型，然后把模型移植或部署到其他环境中。 本节主要介绍如何保存模型、如何部署模型等内容，以下是具体示例代码。 1)保存拟合后的流水线到磁盘:
model.write.overwrite( ).save ("/ tmp/spark-logistic-regress ion-model")
2)保存未拟合的流水线到磁盘:
pipeline.write.overwrite().save("/tmp/ spark-logistic-regression-model")
3)把拟合后的流水线部署到其他环境中:
val sameModel = pipelineModel.load("/tmp/spark-logistic-regression-mode1")
