数据分析之路—python基础学习

• 2019 年 10 月 8 日
• 筆記

大数据分析、底层架构、设计思路，本文作者（大数据分析师——廉小宝）带你探路。 —— 23号老板

原创：a廉小宝

Python安装与使用

Python安装：直接安装Anaconda环境可以方便很多，Anaconda内置了很多Python包，使用起来很方便，另外推荐使用Python3版本，Python2目前已经停更。

推荐工具：一些小的实验可以在Jupyter Notebook上进行，工程项目可以使用Pycharm，方便调试 。 安装链接

python数据类型

1.基本数据类型

计算机顾名思义就是可以做数学计算的机器，因此，计算机程序理所当然地可以处理各种数值。但是，计算机能处理的远不止数值，还可以处理文本、图形、音频、视频、网页等各种各样的数据，不同的数据，需要定义不同的数据类型。在Python中，能够直接处理的数据类型有以下几种：

整数

Python可以处理任意大小的整数，当然包括负整数，在程序中的表示方法和数学上的写法一模一样，例如：1，100，-8080，0，等等。

计算机由于使用二进制，所以，有时候用十六进制表示整数比较方便，十六进制用0x前缀和0-9，a-f表示，例如：0xff00，0xa5b4c3d2，等等。

浮点数

浮点数也就是小数，之所以称为浮点数，是因为按照科学记数法表示时，一个浮点数的小数点位置是可变的，比如，1.23×109和12.3×108是完全相等的。浮点数可以用数学写法，如1.23，3.14，-9.01，等等。但是对于很大或很小的浮点数，就必须用科学计数法表示，把10用e替代，1.23×109就是1.23e9，或者12.3e8，0.000012可以写成1.2e-5，等等。

字符串

字符串是以单引号’或双引号"括起来的任意文本，比如’abc’，“xyz"等等。请注意，’'或”“本身只是一种表示方式，不是字符串的一部分，因此，字符串’abc’只有a，b，c这3个字符。如果’本身也是一个字符，那就可以用”"括起来，比如"I’m OK"包含的字符是I，’，m，空格，O，K这6个字符。

2.数据存储结构

list

Python内置的一种数据类型是列表：list。list是一种有序的集合，可以随时添加和删除其中的元素。

比如，一列数字，就可以用一个list表示：

a = [1,2,3,4,5]  print(a)  

用索引来访问list中每一个位置的元素，记得索引是从0开始的：

print(a[0])  print(a[1:3])  

记住list的索引范围是0：len(list)。

Tuple

另一种有序列表叫元组：tuple。tuple和list非常类似，但是tuple一旦初始化就不能修改。

a = (1, 2, 3, 4, 5)  print(a)  

dict

Python内置了字典：dict的支持，dict全称dictionary，在其他语言中也称为map，使用键-值（key-value）存储，具有极快的查找速度。

names = ['Michael', 'Bob', 'Tracy']  scores = [95, 75, 85]  a = dict(zip(names, scores))  

dict也可以通过直接命名的方式定义，更为直接：

d = {'Michael': 95, 'Bob': 75, 'Tracy': 85}  d['Bob']  

通过检索dict的key可以直接访问其对应的value。

dict可以存储不同类型的数据，这是和前面的list和tuple完全不同的地方。

set

set和dict类似，也是一组key的集合，但不存储value。由于key不能重复，所以，在set中，没有重复的key。

重复元素在set中自动被过滤：

s = set([1, 1, 2, 2, 3, 3])  s  

数据分析基础之Pandas

Pandas概述

Pandas 是一个 Python 的包，提供快速、灵活和富有表现力的数据结构，旨在使“关系”或“标记”数据的使用既简单又直观。它旨在成为在Python中进行实际，真实世界数据分析的基础高级构建模块。此外，它还有更宏远的目标，即成为超过任何语言的最强大，最灵活的开源数据分析/操作工具。它已朝着这个目标迈进。

pandas非常适合许多不同类型的数据：

• 具有异构类型列的表格数据，如SQL表或Excel电子表格。
• 有序和无序（不一定是固定频率）时间序列数据。
• 具有行和列标签的任意矩阵数据（均匀类型或异构）。
• 任何其他形式的观察/统计数据集。实际上不需要将数据标记为放置在Pandas数据结构中。

Pandas 的两个主要数据结构，Series（1维）和DataFrame（2维），处理金融，统计，社会科学和许多工程领域中的绝大多数典型用例。对于R用户，DataFrame提供R的data.frame提供的所有内容以及更多内容。Pandas建立在NumPy之上，旨在与许多其他第三方库完美地集成在科学计算环境中。

以下是Pandas做够胜任的一些事情：

• 在浮点和非浮点数据中轻松处理缺失数据（表示为NaN）。
• 大小可变性：可以从DataFrame和更高维度的对象中插入和删除。
• 自动和显式数据对齐：对象可以明确地与一组标签对齐，或者用户可以简单地忽略标签，让Series，DataFrame等在计算中自动对齐数据
• 强大，灵活的组（group by）功能，可对数据集执行拆分应用组合操作，用于聚合和转换数据。
• 轻松将其他Python和NumPy数据结构中的不规则，不同索引数据转换为DataFrame对象。
• 基于智能标签的切片，花式索引和子集大数据集。
• 直观合并和加入数据集。
• 灵活的重塑和数据集的旋转。
• 轴的分层标记（每个刻度可能有多个标签）。
• 强大的IO工具，用于从平面文件（CSV和分隔）、Excel文件、数据库以及能从超快的HDF5格式中保存或加载数据。
• 特定时间序列功能：日期范围生成和频率转换、移动窗口统计、移动窗口线性回归、日期转换和滞后等。

其中许多技术都是为了解决使用其他语言/科研环境时经常遇到的缺点。对于数据科学家来说，处理数据通常分为多个阶段：整理和清理数据，分析/建模数据，然后将分析结果组织成适合绘图或表格显示的形式。Pandas 是完成所有这些任务的理想工具。

Pandas操作

导入相关包

  import pandas as pd  import numpy as np  

对象创建

通过传入一些值的列表来创建一个Series，Pandas会自动创建一个默认的整数索引：

s = pd.Series([1, 3, 5, np.nan, 6, 8])  print(s)  

0    1.0  1    3.0  2    5.0  3    NaN  4    6.0  5    8.0  dtype: float64  

通过传递带有日期时间索引和带标签列的NumPy数组来创建DataFrame：

dates = pd.date_range('20190725', periods=6)  

dates  

DatetimeIndex(['2019-07-25', '2019-07-26', '2019-07-27', '2019-07-28',                 '2019-07-29', '2019-07-30'],                dtype='datetime64[ns]', freq='D')  

df = pd.DataFrame(np.random.rand(6,4),index=dates, columns=list('ABCD'))  

df  

通过传递可以转化为类似Series的dict对象来创建DataFrame:

df2 = pd.DataFrame({      'A': 1.,      'B': pd.Timestamp('20190722'),      'C': pd.Series(1, index=list(range(4)), dtype='float32'),      'D': np.array([3] * 4, dtype='int32'),      'E':pd.Categorical(["Luffy","Zoro","Nami","Robin"]),      'F':'onepice'  })  

df2  

查看数据

df.head() # 查看起始的几个  df.tail() # 查看末尾的几个  

df.index  

DatetimeIndex(['2019-07-25', '2019-07-26', '2019-07-27', '2019-07-28',                 '2019-07-29', '2019-07-30'],                dtype='datetime64[ns]', freq='D')  

df.columns  

Index(['A', 'B', 'C', 'D'], dtype='object')  

df.describe()  

df.to_dict  

<bound method DataFrame.to_dict of                    A         B         C         D  2019-07-25  0.030035  0.364846  0.385114  0.892197  2019-07-26  0.264333  0.959643  0.418979  0.512688  2019-07-27  0.829229  0.488593  0.424240  0.734755  2019-07-28  0.641315  0.307451  0.582599  0.084260  2019-07-29  0.070572  0.937610  0.515065  0.961442  2019-07-30  0.906944  0.143410  0.875313  0.430607>  

Sorting by an axis:

df.sort_index(axis=1,ascending=False)  

Sorting by values:

df.sort_values(by='C')  

标记

选择一个column：df[‘A’]或者df.A

Sorting by values:

.loc() 具有多种访问方式，如 –

• 单个标量标签
• 标签列表
• 切片对象
• 一个布尔数组

loc需要两个单/列表/范围运算符，用","分隔。第一个表示行，第二个表示列

df.loc[dates[0]]  

A    0.030035  B    0.364846  C    0.385114  D    0.892197  Name: 2019-07-25 00:00:00, dtype: float64  

df.loc[:,['A','B']]  

df.loc['20190726':'20190728',['A','B']]  

.iloc()各种访问方式如下 –

• 整数
• 整数列表
• 系列值

df.iloc[[1,2,4],[0,2]]  

df.iloc[1:3,:]  

df.iloc[:,1:3]  

使用一个column的值去选择数据：

df[df.A>0]  

df[df>0]  

通过label设置value:

df.at[dates[0], 'A'] = 0  

df  

通过位置设置value:

df.iat[0,1] = 0  

df  

通过numpy数组来设置:

df.loc[:, 'D'] = np.array([5] * len(df))  

df  

缺失值

删除缺失数据

df.dropna(how='any')  

填充/替换缺失数据

df.fillna(value=10)  

判断是否有缺失值数据

pd.isna(df)  

Apply

df.apply(np.cumsum)  

df.apply(lambda x: x.max() - x.min())  

A    0.906944  B    0.959643  C    0.490200  D    0.000000  dtype: float64  

查看表格某列中有多少个不同值的快捷方法，并计算每个不同值有在该列中有多少重复值。

s = pd.Series(np.random.randint(0, 7, size=10))  

s  

0    3  1    3  2    4  3    4  4    2  5    2  6    0  7    6  8    4  9    5  dtype: int64  

s.value_counts()  

3    4  4    3  5    2  2    1  dtype: int64  

合并

concat:

df3 = pd.DataFrame(np.random.randn(10, 4))  

df3  

pieces = [df3[:3], df3[3:7], df3[7:]]  

pieces  

[          0         1         2         3   0  0.546509 -0.645993  1.569857 -0.059439   1  3.143148 -0.357604 -0.610698 -1.032072   2 -0.593522  0.453311  0.033460 -1.163151,             0         1         2         3   3  0.222209  0.542827  1.220938  0.540577   4  0.770124 -1.044302 -0.684126  0.990673   5 -0.324735  1.688151  1.202889  0.632073   6  0.385171  1.368965 -0.049633  0.697233,             0         1         2         3   7  0.428143  0.012934 -0.745038 -0.570553   8  0.396524  0.804365 -1.310140 -0.246317   9 -0.438507  0.887196  1.272626 -2.558894]  

pd.concat(pieces)  

merge:

left = pd.DataFrame({'key': ['foo', 'foo'], 'lval': [1, 2]})  

right = pd.DataFrame({'key': ['foo', 'foo'], 'rval': [4, 5]})  

left  

right  

pd.merge(left, right, on='key')  

append:

df = pd.DataFrame(np.random.randn(8, 4), columns=['A', 'B', 'C', 'D'])  

df  

s = df.iloc[4]  

s  

A   -0.134750  B   -0.596918  C   -0.260338  D    0.532753  Name: 4, dtype: float64  

df.append(s, ignore_index=True)  

分组

df = pd.DataFrame({'A': ['bao', 'xiao', 'bao', 'xiao',                            'bao', 'xiao', 'bao', 'bao'],                     'B': ['one', 'one', 'two', 'three',                     'two', 'two', 'one', 'three'],                     'C': np.random.randn(8),                     'D': np.random.randn(8)                    })  

df  

df.groupby('A').sum()  

数据输入/输出

CSV

df.to_csv('bao.csv')  

pd.read_csv('bao.csv')  

HDF5

df.to_hdf('bao.h5', 'df')  

pd.read_hdf('bao.h5', 'df')  

Excle

df.to_excel('bao.xlsx', sheet_name='Sheet1')  

pd.read_excel('bao.xlsx', 'Sheet1', index_col=None, na_values=['NA'])