pandas（4）统计计算--超级详细

pandas（4）统计计算

本节目标：掌握pandas作为统计工具的操作

本节内容：掌握截取和筛选，以及更进一步的统计函数，方法等 本节技术点：pandas,groupby,统计操作

本节阅读需要（20）min。 本节实操需要（20）min。

五星级推荐pandas可视化教学网站。 pandas tutor 建议使用jupter进行操作。

前言

pandas和numpy一样不只是提供了基础的数据结构。 pandas的数据结构见前两节。 其中讲列操作的时候提到了初步的统计操作。

我们会结合动态呈现的网站理解统计的逻辑。

一、基础的统计操作 排序

import pandas as pd import io

csv = '''
breed,type,longevity,size
Labrador,sporting,12.04,medium
German,herding,9.73,large
Beagle,hound,12.3,small
Golden,sporting,12.04,medium
Yorkshire,toy,12.6,small
Bulldog,non-sporting,6.29,medium
Boxer,working,8.81,medium
Poodle,non-sporting,11.95,medium
''' dogs = pd.read_csv(io.StringIO(csv)) # io.StringIO可变字符串 dogs = dogs[['breed', 'size']] # 列筛选器，产生新的df dogs.sort_values('size', ascending=False) 

这样就实现的从小到大的排序。字符串根据ascll码进行逐位排序。

但是有的时候我们如何根据字符串的长度进行排序呢？ 这个业务我们也经常遇到！！！

my_index = df["Codon"].str.len().sort_values().index #索引对象 df1 = df.reindex(my_index) 

我们需要先得到一个临时的统计长度的列然后排序，再得到排序的index 通过reindex重新构建一个新的排序好的df。 注意原来的df还是没有排序的。

多列排序

df_data_order1 = df.sort_values(by=['C','B'],ascending=[False,True]) 

一般我们总是生成某个或几个统计标准的列，然后根据这些列进行排序。

mean均值

dogs['longevity'].mean() # series dogs[['longevity']].mean() #dataframe dogs[['longevity']].mean(1) #按行 

dogs[[‘longevity’]].mean(1)语法虽然无问题，但是均值一般是按列,对于特定的属性而言的.行均值很少见，在这里就是dogs[[‘longevity’]]没有变化。

如何按行统计均值呢？ 就是dogs.mean(1)多选几个数据行才比较有意义。只选择一列统计行方向的均值是一样的。

其他

都是成员方法

print(df.count(),'→ count按列统计非Na值的数量\n') print(df.min(),'→ min统计最小值\n',df['key2'].max(),'→ max统计最大值\n') print(df.quantile(q=0.75),'→ quantile统计分位数，参数q确定位置\n') print(df.sum(),'→ sum求和\n') print(df.mean(),'→ mean求平均值\n') print(df.median(),'→ median求算数中位数，50%分位数\n') print(df.std(),'\n',df.var(),'→ std,var分别求标准差，方差\n') print(df.skew(),'→ skew样本的偏度\n') print(df.kurt(),'→ kurt样本的峰度\n') 

二、筛选filter

前面讲过了用列名作为筛选器,最常用的也是列名. 但是有的时候我们可能更深入的和df中的具体的值相关. 比如说我们一个班需要得到前十名的成绩等等这样的任务.

import pandas as pd

mydict = [{'a': 1, 'b': 2, 'c': 3, 'd': 4}, {'a': 10, 'b': 20, 'c': 30, 'd': 40}, {'a': 100, 'b': 200, 'c': 300, 'd': 400}, {'a': 1000, 'b': 2000, 'c': 3000, 'd': 4000}, {'a': 10000, 'b': 20000, 'c': 30000, 'd': 40000}, ] df = pd.DataFrame(mydict, index=['one', 'two', 'three', 'four', 'five']) df.loc[:, df.loc['two'] <= 20] 

有点难以理解解释一下. 这里用的是loc方式进行的过滤. loc一个参数的时候是行名df.loc[‘two’]指的是第二行,然后逐个判定第二行的值 和20的关系得到一个bool列表筛选器. loc两个参数的时候第一个是行筛选器,其二个是列筛选器.冒号表示选中全部的行.我们发现为TRUE的是a,b两列 所以最后会选择所有的行但是只保留符合要求的列.

行的筛选用到了列的值,列的筛选用到了行的值!!!

loc以切片传入行标，以列表形式传入列标. loc偏向于处理行。 那么如何筛选行呢？

dogs = dogs[['breed', 'size', 'longevity']] dogs.loc[(dogs['size'] == 'medium') & (dogs['longevity'] > 12), 'breed'] 

注意行和列的筛选器也是不一样的。 行：形如(df[‘a’]<=10) 列：形如df.loc[‘two’] <= 20

支持逻辑操作用&和|链接。

三、分组groupby

分组，聚类，分群其实是一个概念，反映了数据内部的群聚关系。 这在现实中是很常见的。比如现在的老师总是将学生分为优等生，中等生和差生。

dogs = dogs[['breed', 'size', 'longevity']].sort_values('size') dogs.groupby('size').mean() 

groupby的参数最好是字符串，如果是数字需要注意数据的类型。

串联groupby

dogs = dogs[['breed', 'type', 'size']].sort_values('size') dogs.groupby(['type', 'size']) 

注意是顺序执行的，所以结果可能会不如预期！！！

分组统计

我们以mean均值为例。 groupby产生新的df对象，mean受到groupby的影响，会进行分组

dogs.groupby('size').mean() 

过程稍微需要理解一下。 1.产生新的df，根据size分组到一起，如下。

2.根据不同的分组分别求数字数据的均值。如下：

所以过程中一共产生了两个df。

groupby其实相当于排序,会生成新的df。只不过一般针对于字符串类型的列。

聚类agg

聚类用于统计分组内的各种统计值，上面的mean就是其中一种。 但很多时候我们需要得到多种。方法如下：

(dogs .sort_values('size') .groupby('size')['height'] .agg(['sum', 'mean', 'std']) ) 

最终结果如下： agg必然是要在分组之后才有意义,agg的参数是具体的统计函数.

注意：

1.最终的行数等于分组的个数，名称就是用于分组的列的不同的值。 2.均值只统计其他的不是用来分组的列的平均值。且不统计字符串类型的列。 3.得到的是每个分组的统计值。

总结

知识点: 1.字符串内容的排序和长度的排序 2.groupby的串联 3.行列使用loc不同的过滤方式

行列当然是可以通过iloc纯数字过滤的，但是考虑到一般行和列都是有意义的所以loc多一点。

dataframe基础部分

下一节是关于dataframe的类数据库操作。