数据特征分析

数据特征分析  特征分布分析  对比分析  统计量分析

 特征一般指用于模型训练的变量，原始数据中的特征有些是数值，格式信息，但在进行机器学习前，都需要转换为数值。根据实际情况，有些是字符或其他有时需要根据已有特征生成或衍生出新特征，如根据用户年龄衍生出表示老、中、青的新特征；有时需要对一些特征进行规范化、标准化等转换，尤其是回归类模型。

一、特征分布分析

 特征的分布分析有助于发现相关数据的分布特征、分布类型、分布是否对称等，使用数据可视化方法，这样便于直观发现特征的异常值。下面以用户信息数据为例，

1.1、分析用户的年龄特征

from pyspark import Row
from pyspark.sql import SparkSession

import pandas as pd
import matplotlib.pyplot as plt

spark = SparkSession.builder.appName("test01") \
    .getOrCreate()

sc = spark.sparkContext
def test():
    userrdd = sc.textFile("hdfs://192.168.179.14:8020/mlDataSet/ml-100k/u.user") \
        .map(lambda line: line.split("|"))

    # 利用反射机制， 将RDD转为DataFrame
    df = userrdd.map(lambda fields: Row(userid=fields[0], age=int(fields[1]), gender=fields[2],
                                        occupation=fields[3], zip=fields[4]))
    schemauser = spark.createDataFrame(df)

    schemauser.createOrReplaceTempView("user")

    # schemauser.describe("userid", "age", "gender", "occupation", "zip").show()

    age = spark.sql("SELECT age FROM user")
    ages = age.rdd.map(lambda p: p.age).collect()

	
    plt.figure()
    # 绘制用户年龄分布图
    plt.hist(ages, bins=20, color='lightblue', density=False, alpha=0.5)
    plt.show()

每个字段的统计信息    
schemauser.describe("userid", "age", "gender", "occupation", "zip").show()
    

+-------+-----------------+-----------------+------+-------------+------------------+
|summary|           userid|              age|gender|   occupation|               zip|
+-------+-----------------+-----------------+------+-------------+------------------+
|  count|              943|              943|   943|          943|               943|
|   mean|            472.0|34.05196182396607|  null|         null| 50868.78810810811|
| stddev|272.3649512449549|12.19273973305903|  null|         null|30891.373254138158|
|    min|                1|                7|     F|administrator|             00000|
|    max|               99|               73|     M|       writer|             Y1A6B|
+-------+-----------------+-----------------+------+-------------+------------------+

用户年龄特征分布

1.2、分析用户职业分布特征

def test():
    userrdd = sc.textFile("hdfs://192.168.179.14:8020/mlDataSet/ml-100k/u.user") \
        .map(lambda line: line.split("|"))

    # 利用反射机制， 将RDD转为DataFrame
    df = userrdd.map(lambda fields: Row(userid=fields[0], age=int(fields[1]), gender=fields[2],
                                        occupation=fields[3], zip=fields[4]))
    schemauser = spark.createDataFrame(df)
    schemauser.createOrReplaceTempView("user")
	
	plt.figure()
    # 用户职业特征分布
    count_occp = spark.sql("SELECT occupation, COUNT(occupation) as cnt FROM user "
                           "GROUP BY occupation order by cnt DESC")
    count_occp.show(5)
    x_axis = count_occp.rdd.map(lambda p: p.occupation).collect()
    y_axis = count_occp.rdd.map(lambda p: p.cnt).collect()

    import numpy as np
    pos = np.arange(len(x_axis))

    width = 1.0
    # 隐式增加一个figure, 或为当前figure新增一个axes
    ax = plt.axes()
    ax.set_xticks(pos + (width / 2))        # 设置x轴的刻度
    ax.set_xticklabels(x_axis)              # 为对应刻度打上标签
    plt.bar(pos, y_axis, width, color='orange')
    plt.xticks(rotation=30)                 # x轴上的标签旋转30度
    fig = plt.gcf()                         # 获取当前figure应用
    fig.set_size_inches(16, 10)             # 设置figure的大小
    plt.show()      

 从下图所示的用户职业分布图可以看出，学生占绝大多数，其次是其他职业从业者、 教育工作者、管理者、工程师等。医生、家庭主妇或许平时较忙，故数量比较少。

二、特征分布及相关性分析

 在数据探索阶段分析特征分布、特征间的相关性等，将为后续的特征选择、特征提取 将提供重要依据。