pandas is a fast, powerful, flexible and easy to use open source data analysis and manipulation tool, built on top of the Python programming language.

pandas是一个灵活而强大的数据处理与数据分析工具集。它高度封装了NumPy(高性能的N维数组运算库)、Matplotlib(可视化工具)、文件读写等等，广泛应用于数据清洗、数据分析、数据挖掘等场景。

官网：//pandas.pydata.org/

文档：//pandas.pydata.org/docs/

对NumPy完全不了解的朋友，建议翻阅前文：

//www.cnblogs.com/bytesfly/p/numpy.html

刚接触Python的朋友可能不知道help()命令能随时查看帮助文档, 这里顺便提一下：

pandas数据结构

相关文档：
//pandas.pydata.org/docs/user_guide/dsintro.html

pandas中有三种数据结构，分别为：Series(一维数据结构)、DataFrame(二维表格型数据结构)和MultiIndex(三维数据结构)。

Series

Series is a one-dimensional labeled array capable of holding any data type (integers, strings, floating point numbers, Python objects, etc.). The axis labels are collectively referred to as the index.

Series是一个类似于一维数组的数据结构，主要由一组数据(data)和与之相关的索引(index)两部分构成。如下图所示：

下面看如何创建Series：

• 不指定index，使用默认index(0-N)

通过index来获取数据：

• 指定index

通过index来获取数据：

Series can be instantiated from dicts

When the data is a dict, and an index is not passed, the Series index will be ordered by the dict’s insertion order, if you’re using Python version >= 3.6 and pandas version >= 0.23.

通过index来获取数据：

Series也提供了两个属性index和values：

If an index is passed, the values in data corresponding to the labels in the index will be pulled out.

NaN (not a number) is the standard missing data marker used in pandas.

注意：这里的NaN是一个缺值标识。

如果data是一个标量，那么必须要传入index：

If data is a scalar value, an index must be provided. The value will be repeated to match the length of index.

其实上面的创建相当于：

ndarray上的一些操作对Series同样适用：

Series is ndarray-like. Series acts very similarly to a ndarray, and is a valid argument to most NumPy functions. However, operations such as slicing will also slice the index.

更多操作请翻阅上文对NumPy中的ndarray的讲解。见：//www.cnblogs.com/bytesfly/p/numpy.html

If you need the actual array backing a Series, use Series.array

While Series is ndarray-like, if you need an actual ndarray, then use Series.to_numpy()

dict上的一些操作对Series也同样适用：

Series is dict-like. A Series is like a fixed-size dict in that you can get and set values by index label

DataFrame

DataFrame is a 2-dimensional labeled data structure with columns of potentially different types. You can think of it like a spreadsheet or SQL table, or a dict of Series objects. It is generally the most commonly used pandas object.

DataFrame是一个类似于二维数组或表的对象，既有行索引，又有列索引。如下图所示：

• 行索引(或者叫行标签)，表明不同行，横向索引，叫index，0轴，axis=0
• 列索引(或者叫列标签)，表名不同列，纵向索引，叫columns，1轴，axis=1

下面看如何创建DataFrame：

• 不指定行、列标签，默认使用0-N索引

• 指定行、列标签

加了行列标签后，显然数据可读性更强了，一目了然。

同样再看DataFrame的几个基本属性：

修改行标签：

重置行标签：

将某列值设置为新的索引：

set_index(keys, drop=True)

• keys : 列索引名成或者列索引名称的列表
• drop : boolean, default True.当做新的索引，删除原来的列

设置多个索引，以id和name：

此时df就是一个具有MultiIndex的DataFrame。

MultiIndex

相关文档：

//pandas.pydata.org/pandas-docs/stable/user_guide/advanced.html

数据操作与运算

索引操作

• 直接使用行列索引(先列后行)：

• 使用loc(指定行列索引的名字)

• 使用iloc(通过索引的下标)

赋值操作

排序

• sort_index

• sort_values

先把score设置为不同的值：

算术运算

逻辑运算

先回顾一下数据内容：

逻辑运算结果：

或者通过query()函数实现上面的需求：

此外，可以用isin(values)函数来筛选指定的值，类似于SQL中in查询：

统计运算

describe()能够直接得出很多统计结果：count, mean, std, min, max 等：

其他几个常用的聚合函数都类似。不再一一举例。

下面重点看下累计统计函数。

下面是某公司近半年以来的各部门的营业收入数据：

统计group1的前N个月的总营业收入：

用图形展示会更加直观：

同理，统计group1的前N个月的最大营业收入：

其他运算

先看下近半年以来前3个部门的营业收入数据：

文件读写

相关文档：
//pandas.pydata.org/docs/user_guide/io.html

The pandas I/O API is a set of top level reader functions accessed like pandas.read_csv() that generally return a pandas object. The corresponding writer functions are object methods that are accessed like DataFrame.to_csv(). Below is a table containing available readers and writers.

CSV

这里用下面网址的csv数据来做一些测试：
//www.stats.govt.nz/large-datasets/csv-files-for-download/

输出如下：

Week_end,Value
2019-05-05,1828160.0
2019-05-05,79880.0
2019-05-05,344320.0

JSON

更多Json格式数据，google关键词site:api.androidhive.info

• records

输出如下：

{"title":"Dawn of the Planet of the Apes","rating":8.3}
{"title":"District 9","rating":8.0}
{"title":"Transformers: Age of Extinction","rating":6.3}

如果lines=False，即：

输出如下：

[
    {
        "title":"Dawn of the Planet of the Apes",
        "rating":8.3
    },
    {
        "title":"District 9",
        "rating":"8.0"
    },
    {
        "title":"Transformers: Age of Extinction",
        "rating":6.3
    }
]

• columns

输出如下：

{
    "title":{
        "0":"Dawn of the Planet of the Apes",
        "1":"District 9",
        "2":"Transformers: Age of Extinction"
    },
    "rating":{
        "0":8.3,
        "1":"8.0",
        "2":6.3
    }
}

• index

输出如下：

{
    "0":{
        "title":"Dawn of the Planet of the Apes",
        "rating":8.3
    },
    "1":{
        "title":"District 9",
        "rating":"8.0"
    },
    "2":{
        "title":"Transformers: Age of Extinction",
        "rating":6.3
    }
}

• split

输出如下：

{
    "columns":[
        "title",
        "rating"
    ],
    "index":[
        0,
        1,
        2
    ],
    "data":[
        [
            "Dawn of the Planet of the Apes",
            8.3
        ],
        [
            "District 9",
            "8.0"
        ],
        [
            "Transformers: Age of Extinction",
            6.3
        ]
    ]
}

• values

输出如下：

[
    [
        "Dawn of the Planet of the Apes",
        8.3
    ],
    [
        "District 9",
        "8.0"
    ],
    [
        "Transformers: Age of Extinction",
        6.3
    ]
]

Excel

HDF5

HDF5（Hierarchical Data Format）是用于存储大规模数值数据的较为理想的存储格式。

优势：

• HDF5在存储的时候支持压缩，从而提磁盘利用率，节省空间
• HDF5跨平台的，可轻松迁移到Hadoop上

注意：HDF5文件的读取和存储需要指定一个键(key)，值为要存储的DataFrame。

同时，来对比一下写HDF5与写csv的占用磁盘情况：

其他格式的文件读写也都类似，这里不再举例说明。

画图

下面各图表的适用场景参考：

//antv-2018.alipay.com/zh-cn/vis/chart/index.html

//tuzhidian.com/

Pandas的DataFrame和Series，在matplotlib基础上封装了一个简易的绘图函数, 使得在数据处理过程中可以方便快速可视化数据。

相关文档：

//pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.plot.html

//pandas.pydata.org/pandas-docs/stable/reference/api/pandas.Series.plot.html

折线图 line

折线图用于分析事物随时间或有序类别而变化的趋势。

先来个快速入门的案例，绘制sin(x)的一个周期内(0, 2π)的函数图像：

注意：中文显示有问题的，可用如下代码查看系统可用字体。

如果要绘制DataFrame数据的某2列数据的折线图，传入x=’列1’，y=’列2’，就能得到以’列1’为x轴，’列2’为y轴的线型图。如果没有指明x，x轴默认用index。如下例子：

再看一个实际的案例。下面是北京、上海、合肥三个城市某天中午气温的数据。

绘制北京、上海、合肥三个城市气温随时间变化的情况如下：

添加参数subplots=True, 可以形成多个子图，如下：

另外，参数layout=(m,n)可以指明子图的行列数，期中m*n的值要大于子图的数量，如下：

柱状图 bar

柱状图最适合对分类的数据进行比较。

武林大会上，每个英雄参加10个回合的比拼，每人 胜局(wins)、平局(draws)、败局(losses)的统计如下：

添加stacked=True可以绘制堆叠柱状图，如下：

另外使用plot(kind='barh')或者plot.barh()可以绘制水平柱状图。下面rot参数设置x标签的旋转角度，alpha设置透明度，align设置对齐位置。

同样添加参数subplots=True，可以形成多个子图，如下：

饼图 pie

饼图最显著的功能在于表现“占比”。

每当某些机构或者平台发布编程语言排行榜以及市场占有率时，相信行业内的很多朋友会很自然地瞄上几眼。

这里举个某互联网公司研发部使用的后端编程语言占比：

散点图 scatter

散点图适用于分析变量之间是否存在某种关系或相关性。

先造一些随机数据，如下：

绘制散点图，如下：

从图中，可以看出y与x可能存在正相关的关系。

直方图 hist

直方图用于表示数据的分布情况。一般用横轴表示数据区间，纵轴表示分布情况，柱子越高，则落在该区间的数量越大。

构建直方图，首先要确定“组距”、对数值的范围进行分区，通俗的说即是划定有几根柱子（例如0-100分，每隔20分划一个区间，共5个区间）。接着，对落在每个区间的数值进行频次计算（如落在80-100分的10人，60-80分的20人，以此类推）。 最后，绘制矩形，高度由频数决定。

注意：直方图并不等于柱状图，不能对离散的分类数据进行比较。

在前文 快速上手NumPy 中，简单讲过正态分布，也画过正态分布的直方图。下面看用pandas如何画直方图：

已知某地区成年男性身高近似服从正态分布。下面生成均值为170，标准差为5的100000个符合正态分布规律的样本数据。

绘制直方图，其中分组数为100：

从图中可以直观地看出，大多人身高集中在170左右。

箱形图 box

箱形图多用于数值统计，它不需要占据过多的画布空间，空间利用率高，非常适用于比较多组数据的分布情况。通过箱形图，可以很快知道一些关键的统计值，如最大值、最小值、中位数、上下四分位数等等。

某班级30个学生在期末考试中，语文、数学、英语、物理、化学5门课的成绩数据如下：

绘制箱形图如下：

添加参数vert=False将箱形图横向展示：

添加参数subplots=True，可以形成多个子图：

面积图 area

面积图，或称区域图，是一种随有序变量的变化，反映数值变化的统计图表，原理与折线图相似。而面积图的特点在于，折线与自变量坐标轴之间的区域，会由颜色或者纹理填充。

适用场景：

在连续自变量下，一组或多组数据的趋势变化以及相互之间的对比，同时也能够观察到数据总量的变化趋势。

例如，位移 = 速度 x 时间：即s=v*t; 那么x 轴是时间 t，y 轴是每个时刻的速度 v，使用面积图，不仅可以观察速度随时间变化的趋势，还可以根据面积大小来感受位移距离的长度变化。

秋名山某段直线赛道上，AE86与GC8在60秒时间内的车速与时间的变化数据如下：

面积图默认情况下是堆叠的。

要生成未堆积的图，可以传入参数stacked=False：

从图形与x轴围成的面积看，很显然该60秒内，GC8是略领先AE86的。温馨提示，文明驾驶，切勿飙车！

同样，添加参数subplots=True，可以形成多个子图，如下：

总结

本文是快速上手pandas的上篇，先介绍了为什么选用pandas，接下来介绍pandas的常用数据结构Series、DataFrame以及一系列的操作与运算，然后尝试了用pandas来读写文件，最后重点介绍了如何使用pandas快速便捷地可视化数据。

在快速上手pandas的下篇中，会涉及如何用pandas来进行数据清洗、数据合并、分组聚合、数据透视、文本处理等，敬请期待。