pandas（2）DataFrame

pandas（2）DataFrame

本节目标：DataFrame的概念和操作

本节技术点：DataFrame

本节阅读需要（15）min。 本节实操需要（15）min。

前言

DataFrame is a 2-dimensional labeled data structure with columns of potentially different types. You can think of it like a spreadsheet or SQL table, or a dict of Series objects. It is generally the most commonly used pandas object. Like Series, DataFrame accepts many different kinds of input: Dict of 1D ndarrays, lists, dicts, or Series

2-D numpy.ndarray

Structured or record ndarray

A Series

Another DataFrame

其实就是DataFrame 是二维的。可以从ndarray，Series等转化而来。

实际上DataFrame一般是作为数据入口的接受sql里面的或者用户提交的Excel表格初始化分析数据的。

一、DataFrame的创建

pandas.DataFrame( data, index, columns, dtype, copy)

by series掌握

前面见过了series是DataFrame的基础。当然也是最重要的构成方式。因为往往具有现实意义。

d = { "one": pd.Series([1.0, 2.0, 3.0], index=["a", "b", "c"]), "two": pd.Series([1.0, 2.0, 3.0, 4.0], index=["a", "b", "c", "d"]), } df = pd.DataFrame(d) pd.DataFrame(d, index=["d", "b", "a"]) one  two
d  NaN 4.0 b 2.0 2.0 a 1.0 1.0 pd.DataFrame(d, index=["d", "b", "a"], columns=["two", "three"]) two three
d 4.0 NaN
b 2.0 NaN
a 1.0 NaN

注意上面的输出结果。 我们可以得到如下结论：

1. DataFrame是高度容许错误的。没有的会用NaN补齐，不管是行还是列。
2. index相当于行，columns相当于列。
3. 每一个series是作为一列存在的。因为往往代表了同一属性，比如身高，体重等。

byndarray掌握

从二维的ndarray而来也是很普遍的。

data = [['Google',10],['Runoob',12],['Wiki',13]] df = pd.DataFrame(data,columns=['Site','Age'],dtype=float) # 如果dtype不全会自动扩展 

这里的int整数被扩展为了float类型，最好传入一个和列名长度相等的的dtype列表 同一列要求一样的数据类型，有一个float，所有的int都会变成float。

by其他数据结构(了解)

不着重讲解，注意形式就可以了。

d = {"one": [1.0, 2.0, 3.0, 4.0], "two": [4.0, 3.0, 2.0, 1.0]} # 列名 pd.DataFrame(d, index=["a", "b", "c", "d"]) # 行名 

data = np.zeros((2,), dtype=[("A", "i4"), ("B", "f4"), ("C", "a10")]) data[:] = [(1, 2.0, "Hello"), (2, 3.0, "World")] 

data2 = [{"a": 1, "b": 2}, {"a": 5, "b": 10, "c": 20}] pd.DataFrame(data2) 

如果是用字典，那么字典的键一般是DataFrame的列名。

这么多其实很少用的到。 主要是知道DataFrame有行名和列名。

二、DataFrame基础操作(掌握) df的基本信息

d = {"one": [1.0, 2.0, 3.0, 4.0], "two": [4.0, 3.0, 2.0, 1.0]} # 列名 df = pd.DataFrame(d, index=["a", "b", "c", "d"]) # 行名 print(df.columns) # 列 print(len(df.columns)) print(df.shape[1]) print(df.index) # 行 print(len(df.index)) print(df.shape[0]) 

列操作

d = {"one": [1.0, 2.0, 3.0, 4.0], "two": [4.0, 3.0, 2.0, 1.0]} # 列名 df = pd.DataFrame(d, index=["a", "b", "c", "d"]) # 行名 df["one"] # 列索引 df["three"] = df["one"] * df["two"] # 列初始化并赋值，遵循矢量运算 df["flag"] = df["one"] > 2 # 也是初始化，但相当于矢量化的if判断 # 删除一个列 del df["two"] # 无返回值 three = df.pop("three") # 有返回值 # 增加一个列 df["foo"] = "bar" # 只有一个值会发生类似广播的效果。 df["one_trunc"] = df["one"][:2] # 长度不足会用NaN补齐 # 插入，可以选择位置 df.insert(1, "bar", df["one"]) 

df["three"] = df["one"] * df["two"] 通过赋值初始化的列是按顺序追加在后面的。
insert是可以根据位置插入的。

from sklearn.datasets import load_iris import pandas as pd
data = load_iris() iris = pd.DataFrame(data.data, columns=data.feature_names) # 读入iris数据集 iris.assign(sepal_ratio=iris["SepalWidth"] / iris["SepalLength"]).head() iris.assign(sepal_ratio=lambda x: (x["SepalWidth"] / x["SepalLength"])).head() # 相当于手动实现了如上的矢量运算 iris.query("SepalLength > 5") # 筛选器,会生成新的df对象 .assign( SepalRatio=lambda x: x.SepalWidth / x.SepalLength, PetalRatio=lambda x: x.PetalWidth / x.PetalLength, ) .plot(kind="scatter", x="SepalRatio", y="PetalRatio") 

assign和[]一样也是依次追加在末尾。

这张图十分重要。

值得强调的是，[]直接选择的是单个列名，返回的是series。但是看上去很像的切片确实按行的序号，返回的是df 另外形如dogs[[‘breed’, ‘size’]]多个列名采用列表，本质产生了新的df，相当于取了子集。

数学计算

DataFrame的各类计算基本上都是按行或列进行矢量运算的。

df = pd.DataFrame(np.random.randn(10, 4), columns=["A", "B", "C", "D"]) df2 = pd.DataFrame(np.random.randn(7, 3), columns=["A", "B", "C"]) df + df2 # 行列都是对位进行运算 

有NaN参与的的运算还是NaN
所以补齐的地方都是NaN。

df - df.iloc[0] # 所有的行依次减去第一行 

df * 5 + 2 # 四则运算相当于矩阵的数乘操作，对美一个元素生效 

df = pd.DataFrame( { "one": pd.Series(np.random.randn(3), index=["a", "b", "c"]), "two": pd.Series(np.random.randn(4), index=["a", "b", "c", "d"]), "three": pd.Series(np.random.randn(3), index=["b", "c", "d"]), } ) row = df.iloc[1] column = df["two"] df.sub(row, axis="columns") # df.sub(row, axis=1) df.sub(column, axis="index") # df.sub(column, axis=0) 

注意： 默认的axis=1，所以列远远比行重要

转置

df[:5].T # 截取前四列，然后行列转置 

比较

要求shape一致 NaN会作为0处理。 eq, ne, lt, gt, le, and ge

df.gt(df2) # df > df2 

得到的bool矩阵可以用如下的来降维概括。 empty, any(), all(), and bool() to provide a way to summarize a boolean result.

(df > 0).all() # 按列总结，都对才对 (df > 0).any() # 按列总结，有对就对 (df > 0).any().any() # 压缩成一维了 df + df == df * 2 # 有可能不等的，等价于(df + df).equals(df * 2) 

虽然上面说是NaN按照0处理。但是在比较的时候

np.nan == np.nan
 False

牢记！！！

转化为ndarray

np.asarray(df) # 生成二维的adarray df.to_numpy() 

这样就可以开心使用numpy的各种计算方式了。

三、内置的方法(掌握) Head and tail

和print类似可以用来debug，只显示前几行，可以快速查看是否符合目标。

index = pd.date_range("1/1/2000", periods=8) df = pd.DataFrame(np.random.randn(8, 3), index=index, columns=["A", "B", "C"]) 

describe()

会对于每一列计算常见的统计值。 mean std min 25% 50% 75% max

isna（）

判断是否为缺省值，返回一个boolen矩阵

总结

最重要的是要知道:

1. 如何生成新的列.类似字典插入,赋值就相当于创建,只不过赋值升级了,换成了列而已.
2. 生成新的df对象.通过筛选器就可以产生新的df对象,哪怕一模一样,什么操作都没有!!!

注意：

1. 在现实情况下，列的操作是占据绝对主要的。
2. DataFrame上游数据绝大部分是csv数据或者sql数据
3. 本节出现了很多行列不匹配的情形,都会出现扩展.但是实际问题中,行列都是要求一致的,不一致的一般作为杂质清洗掉!!!

延伸阅读：

下一节讲DataFrame的各种数据类型的读入和读出。