pandas（5）数据表的合并

数据表的合并

本节目标：学会多个数据表的合并

本节技术点：join,melt,merge，compare

本节阅读需要（20）min。 本节实操需要（20）min。

前言

这一节的内容是数据表之间的操作.因为客观上很多的数据表是相互关联的. 比如收入工资的表单和各种绩效的表肯定是挂钩的. 所以我们需要根据某个共有的特性,连接两个表的内容. 比如说根据名字,通过绩效表去计算工资!!!

一、join

import pandas as pd import io

csv = '''
breed,size,kids,longevity,price
Beagle,small,high,12.3,288.0
Samoyed,medium,high,12.44,1162.0
Golden Retriever,medium,high,12.04,958.0
Yorkshire Terrier,small,low,12.6,1057.0
Boxer,medium,high,8.81,700.0
Dachshund,small,low,12.63,423.0
''' ppl = pd.DataFrame({'name': ['Sam', 'Tina', 'Jeff', 'Kirsten'], 'likes': ['Samoyed', 'Dachshund', 'Beagle', 'Golden Retriever']}) ppl = ppl.set_index('likes') # 将某一列设为行标 dogs = pd.read_csv(io.StringIO(csv), index_col='breed')['price'] ppl.join(dogs) 

DataFrame.join(other, on=None, how=’left’, lsuffix=”, rsuffix=”, sort=False)

on:【列名称，或者列名称的list/tuple，或者类似形状的数组】连接的列，默认使用行索引连接 how:【{‘left’, ‘right’, ‘outer’, ‘inner’}, default: ‘left’】连接的方式，默认为左连接 连接方式本质是集合概念. left是按照左边的index,右边的多余的删除,没有的补齐. 其他几个类似,outer是index取交集.inner取的是并集. sort:【boolean, default False】按照字典顺序对结果在连接键上排序。如果为False，顺序就是连接方式默认的.

lsuffix:【string】左DataFrame中重复列的后缀 rsuffix:【string】右DataFrame中重复列的后缀 这个一般用不到,是为了防止合并的时候列重名所以一般添加后缀,其实在合并之前就需要单独处理添加前缀或后缀了.

注意:

join的结果还是df所以join可以串联一次合并多个数据表

二、merge

pd.merge(left, right, how=‘inner’, on=None, left_on=None, right_on=None,left_index=False, right_index=False, sort=True,suffixes=(‘_x’, ‘_y’), copy=True)

on 指定用于连接的键（即列标签的名字），该键必须同时存在于左右两个 DataFrame 中，如果没有指定，并且其他参数也未指定， 那么将会以两个 DataFrame 的列名交集做为连接键

left_on,right_on用于指定合并用的键.尤其是名称不一致,但意义一致的情形. 但是其实应该读入时候就预处理成一样的!!!

suffixes 字符串组成的元组。当左右 DataFrame 存在相同列名时，通过该参数可以在相同的列名后附加后缀名，默认为(‘_x’,‘_y’)。 要执行的合并类型，从 {‘left’, ‘right’, ‘outer’, ‘inner’} 中取值，默认为“inner”内连接。 默认merge之后是产生新的df. 所以copy=True

import pandas as pd 
left = pd.DataFrame({ 'id':[1,2,3,4], 'Name': ['Smith', 'Maiki', 'Hunter', 'Hilen'], 'subject_id':['sub1','sub2','sub4','sub6']}) right = pd.DataFrame({ 'id':[1,2,3,4], 'Name': ['William', 'Albert', 'Tony', 'Allen'], 'subject_id':['sub2','sub4','sub3','sub6']}) #通过on参数指定合并的键 print(pd.merge(left,right,on='id')) 

how和SQL的对应关系.

三、concat、append

Pandas 通过 concat() 函数能够轻松地将 Series 与 DataFrame 对象组合在一起 pd.concat(objs,axis=0,join=‘outer’,join_axes=None,ignore_index=False) 用到的比较多的是同样类型的表型数据串联。比如每个班的学习成绩合并成整个年级的学习成绩， 然后去做各种处理等等。

import pandas as pd
a= pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'], 'B': ['B0', 'B1', 'B2', 'B3'], 'C': ['C0', 'C1', 'C2', 'C3'], 'D': ['D0', 'D1', 'D2', 'D3']}, index=[0, 1, 2, 3]) b= pd.DataFrame({'A': ['A4', 'A5', 'A6', 'A7'], 'B': ['B4', 'B5', 'B6', 'B7'], 'C': ['C4', 'C5', 'C6', 'C7'], 'D': ['D1', 'D2', 'D5', 'D6']}, index=[2,3,4,5]) #连接a与b,设置 ignore_index 等于 True print(pd.concat([a,b],keys=['x','y'],ignore_index=True)) 

A   B   C   D 0 A0  B0  C0  D0 1 A1  B1  C1  D1 2 A2  B2  C2  D2 3 A3  B3  C3  D3 4 A4  B4  C4  D1 5 A5  B5  C5  D2 6 A6  B6  C6  D5 7 A7  B7  C7  D6

concat往往是有意义的。下面的虽然也行但是意义不大。。。

print(pd.concat([a,b],axis=1)) # 在列上拼接会出现大量的NA值 

#沿着 axis=0，使用 apppend()方法连接a与b print(a.append(b)) 

append重载过很方便，可以一次链接好几个。a.append(b,c,a)

四、compare

相当于找不同

df = pd.DataFrame( { "col1": ["a", "a", "b", "b", "a"], "col2": [1.0, 2.0, 3.0, np.nan, 5.0], "col3": [1.0, 2.0, 3.0, 4.0, 5.0], }, columns=["col1", "col2", "col3"], ) df2 = df.copy() df2.loc[0, "col1"] = "c" df2.loc[2, "col3"] = 4.0 df.compare(df2) col1       col3      
  self other self other 0 a     c  NaN   NaN 2 NaN   NaN 3.0 4.0 

完全一样的行和列是不会显示的。存在差异行列才会显示并且显示前后两个的值。如果是一样的用NaN 不同的用具体的值展现不同

键值问题

有过SQL经验的人应该知道，键值很可能不唯一是不是？

result = pd.merge(left, right, on="B", how="outer", validate="one_to_one") pd.merge(left, right, on="B", how="outer", validate="one_to_many") 

其实是相当于增加了一层约束。

总结

merge和join其实就是形式上不一样，功能上是一致的。 但是需要注意join默认左链接，很多人喜欢这个书写方式。 merge则默认inner方式，这一点差异很重要！！！

merge的on可是以一个集合或列表含有多个列名作为键值，前提是这些列在两个df里面都存在。 又因为merge是inner，所以这种情况得到的df规模必然大量缩减，可以用来查找特殊元素。

官网合并教程