数据分析篇(六)
- 2019 年 10 月 6 日
- 筆記
join:默认情况是把行索引相同的数据合并到一起
实例：
import pandas as pd
import numpy as np
attr1 = pd.DataFrame(np.arange(12).reshape(3,4),index=list('ABC'),columns=list('abcd'))
attr2 = pd.DataFrame(np.arange(100,106).reshape(2,3),index=list('AB'),columns=list('qwe'))
attr = attr1.join(attr2)
print(attr)
输出：
a b c d q w e
A 0 1 2 3 100.0 101.0 102.0
B 4 5 6 7 103.0 104.0 105.0
C 8 9 10 11 NaN NaN NaN
# 以attr1为主，合并行相同的，不存在就以NaN填充。
# 如果是attr2.join(attr1) 就会以attr2为主。
# 注意：在合并行的时候，列的索引是不能够相同的
merge：通过并列合并
# 这里的merge可以达到和我们数据左连接，右链接，内链接相同的效果。
实例：
attr3 = pd.DataFrame(np.arange(1,13).reshape(3,4),columns=list('aqwe'))
attr4 = pd.DataFrame(np.ones((3,4)),index=list('ABC'),columns=list('abcd'))
attr = attr3.merge(attr4,on='a')
print(attr)
输出：
a q w e b c d
0 1 2 3 4 1.0 1.0 1.0
1 1 2 3 4 1.0 1.0 1.0
2 1 2 3 4 1.0 1.0 1.0
# 参数on表示通过那一列去合并，同时还是以attr3为主
# 在默认情况下，是内链接，也就是取交集
# 取的值是attr3和attr4中a相同的数字的行
# 由于这里的attr4中全是1，所以把attr4中全取出来了，attr3中只取了是1的那一行。
# 内链接完整的想法：attr = attr3.merge(attr4,on='a',how='inner'),和并的方式用how参数
外链接(取并集)：
attr = attr3.merge(attr4,on='a',how='outer')
输出结果：
a q w e b c d
0 1 2 3 4 1.0 1.0 1.0
1 1 2 3 4 1.0 1.0 1.0
2 1 2 3 4 1.0 1.0 1.0
3 5 6 7 8 NaN NaN NaN
4 9 10 11 12 NaN NaN NaN
左链接
attr = attr3.merge(attr4,on='a',how='left')
输出和外连接一样，之所以一样，是因为我们的数据
右链接
输出结果：
a q w e b c d
0 1 2 3 4 1.0 1.0 1.0
1 1 2 3 4 1.0 1.0 1.0
2 1 2 3 4 1.0 1.0 1.0
# 数据不全会用NaN补全。
分组聚合
groupby：分组
dict = {'name':['张三','李四','王五'],'age':[18,20,27],'tel':[10010,10086,1008611],'sex':['男','女','男']}
attr1 = pd.DataFrame(dict)
# 按照性别分组
attr = attr1.groupby(by='sex')
print(attr) # DataFrameGroupBy类型
# 需要遍历输出
for i,item in attr:
print(i)
print('——')
print(item)
输出：
女
——
name age tel sex
1 李四 20 10086 女
男
——
name age tel sex
0 张三 18 10010 男
2 王五 27 1008611 男
# 按照性别将男女分开。
如果只想取性别为男的数据：
attr1[attr1['sex']=='男']
# 分组是可以根据多个字段分组的，号隔开即可。
聚合函数
count():
实例：
sex_by_count = attr.count()
print(sex_by_count )
输出：
name age tel
sex
女 1 1 1
男 2 2 2
也就是计算了根据分组后每个组的数量。
sum:非NaN的和
mean：非NaN的平均值
median：非NaN的的算术中位数
std，var ： 标准差和方差
min，max：非NaN的的最小值和最大值
索引的方法和属性
index：
实例：
print(sex_by_count.index)
输出：
Index(['女', '男'], dtype='object', name='sex')
改变索引：
sex_by_count.index = list('ab')
或者：
sex_by_count.index = ['a','b']
print(sex_by_count.index)
变成：
name age tel
a 1 1 1
b 2 2 2
将索引替换成了a,b
reindex:
print(sex_by_count.reindex(list('ac')))
输出：
name age tel
a 1.0 1.0 1.0
c NaN NaN NaN
当存在索引为a的行，输出，不存在输出NaN填充
指定某一列为索引
# 指定name为索引值
print(sex_by_count.set_index("name"))
输出：
age tel
name
1 1 1
2 2 2
# 会发现name值作为索引后，后面就没有值了，我们想让他显示：
sex_by_count.set_index("name",drop=False)
输出：
name age tel
name
1 1 1 1
2 2 2 2
当我们用name做索引的时候，那么索引中存在相同的值是不合理的。
# 查看某列不相同的数量;
sex_by_count.unique()
# 去重复
sex_by_count.set_index("name").index.unique()
# 设置多个索引值
sex_by_count.set_index(["name",'age'],drop=False)
# 当我们有多个索引的时候，怎么操作？
复合索引
实例：
dict = {'name':['张三','李四','王五'],'age':[18,20,27],'tel':[10010,10086,1008611],'sex':['男','女','男']}
attr1 = pd.DataFrame(dict)
# 设置sex和name为索引值
attr2 = attr1.set_index(["sex","name"])
# 取性别为男的张三的年龄
attr3 = attr2['age']
print(attr3['男']['张三'])
# 取性别为男的人的数据
print(attr3['男'])
# 但是如果我们交换索引位置
attr4 = attr1.set_index(["name","sex"])
# 此时如果我们还是只想取男生的年龄，用之前的操作就不行了
# 我们需要这样写
attr5 = attr4['age']
attr6 = attr5.swaplevel()
print(attr6['男'])
# 如果我们用loc取值
attr3.loc['男'].loc['张三']
处理时间
自动生成时间：
实例：
attr = pd.date_range(start='20170101',end='20180101',freq='D')
print(attr)
输出：
DatetimeIndex(['2017-01-01', '2017-01-02', '2017-01-03', '2017-01-04',
'2017-01-05', '2017-01-06', '2017-01-07', '2017-01-08',
'2017-01-09', '2017-01-10',
…
'2017-12-23', '2017-12-24', '2017-12-25', '2017-12-26',
'2017-12-27', '2017-12-28', '2017-12-29', '2017-12-30',
'2017-12-31', '2018-01-01'],
dtype='datetime64[ns]', length=366, freq='D')
# atart 开始时间， end结束时间，freq ： D是以天为单位，10D就是以10天为单位，M就是月等等
其他：
B：工作日
H：小时
T或min：分
S：秒
L或ms：毫秒
U：微妙
BM:每月最后一个工作日
MS：每月第一天
BMS：每月第一个工作日
# 时间是可以作为索引的
# 以20天为一个间隔
attr = pd.date_range(start='20170101',end='20180101',freq='20D')
输出：
DatetimeIndex(['2017-01-01', '2017-01-21', '2017-02-10', '2017-03-02',
'2017-03-22', '2017-04-11', '2017-05-01', '2017-05-21',
'2017-06-10', '2017-06-30', '2017-07-20', '2017-08-09',
'2017-08-29', '2017-09-18', '2017-10-08', '2017-10-28',
'2017-11-17', '2017-12-07', '2017-12-27'],
dtype='datetime64[ns]', freq='20D')
# 输出前10个 不能有结束时间
attr = pd.date_range(start='20170101',periods=10,freq='20D')
# 将字符串转化为时间
pd.to_datetime(时间列,format='')
# format 是格式化，常用的格式符号请看基础篇中的time模块。
pandas重采样
重采样：指将时间序列从一个频率转化为另一个频率的过程。
降采样：高频率转化为低频率(比如将一个精确到秒的时间转化为只有年月日)
升采样：低频率转化为高频率(与上面相反)
我们需要用resample来实现频率转换。
比如：
# 生成100行数据，索引为100个从2017-01-01开始每一个加一个小时，并且精确到秒
attr = pd.DataFrame(np.arange(100).reshape((100,1)),index=pd.date_range(start='20170101',periods=100,freq='3600S'))
# 降采样
attr1 = attr.resample('D')
# 取每天的平均值。
print(attr1.mean())
