Pandas模組，我覺得掌握這些就夠用了！
- 2019 年 10 月 8 日
- 筆記
作者：劉順祥
來源：數據分析1480
經常會有一些朋友問我類似的問題，「哎呀，這個數據該怎麼處理啊，我希望結果是這樣的，麻煩劉老師幫我看看。」、「劉老師，怎麼把一列數據拆分出來，並取出最後一個拆分結果呀？」、「劉老師，怎麼將Json數據讀入到Python中呢？」。在我看來，這些問題都可以藉助於Pandas模組完成，因為Pandas屬於專門做數據預處理的數據科學包。下面來介紹一下我認為Pandas模組中需要掌握的功能和函數。
數據讀寫
案例演示
# 讀入MySQL資料庫數據 # 導入第三方模組 import pymysql # 連接MySQL資料庫 conn = pymysql.connect(host='localhost', user='root', password='test', database='test', port=3306, charset='utf8') # 讀取數據 user = pd.read_sql('select * from topy', conn) # 關閉連接 conn.close() # 數據輸出 User
數據初印象
案例演示
# 數據讀取 sec_cars = pd.read_table(r'C:UsersAdministratorDesktopsec_cars.csv', sep = ',') # 預覽數據的前五行 sec_cars.head() # 查看數據的行列數 print('數據集的行列數：n',sec_cars.shape) # 查看數據集每個變數的數據類型 print('各變數的數據類型：n',sec_cars.dtypes) # 數據的描述性統計 sec_cars.describe()
數據清洗
案例演示
# 數據讀入 df = pd.read_excel(r'C:UsersAdministratorDesktopdata_test05.xlsx') # 缺失觀測的檢測 print('數據集中是否存在缺失值：n',any(df.isnull())) # 刪除法之記錄刪除 df.dropna() # 刪除法之變數刪除 df.drop('age', axis = 1) # 替換法之前向替換 df.fillna(method = 'ffill') # 替換法之後向替換 df.fillna(method = 'bfill') # 替換法之常數替換 df.fillna(value = 0) # 替換法之統計值替換 df.fillna(value = {'gender':df.gender.mode()[0], 'age':df.age.mean(), 'income':df.income.median()})
類型轉換與元素及運算
案例演示
# 數據讀入 df = pd.read_excel(r'C:UsersAdministratorDesktopdata_test03.xlsx') # 將birthday變數轉換為日期型 df.birthday = pd.to_datetime(df.birthday, format = '%Y/%m/%d') # 將手機號轉換為字元串 df.tel = df.tel.astype('str') # 新增年齡和工齡兩列 df['age'] = pd.datetime.today().year - df.birthday.dt.year df['workage'] = pd.datetime.today().year - df.start_work.dt.year # 將手機號中間四位隱藏起來 df.tel = df.tel.apply(func = lambda x : x.replace(x[3:7], '****')) # 取出郵箱的域名 df['email_domain'] = df.email.apply(func = lambda x : x.split('@')[1]) # 取出人員的專業資訊 df['profession'] = df.other.str.findall('專業：(.*?)，') # 去除birthday、start_work和other變數 df.drop(['birthday','start_work','other'], axis = 1, inplace = True)
數據合併、連接與匯總
案例演示
# 構造數據集df1和df2 df1 = pd.DataFrame({'name':['張三','李四','王二'], 'age':[21,25,22], 'gender':['男','女','男']}) df2 = pd.DataFrame({'name':['丁一','趙五'], 'age':[23,22], 'gender':['女','女']}) # 數據集的縱向合併 pd.concat([df1,df2] , keys = ['df1','df2']) # 如果df2數據集中的「姓名變數為Name」 df2 = pd.DataFrame({'Name':['丁一','趙五'], 'age':[23,22], 'gender':['女','女']}) # 數據集的縱向合併 pd.concat([df1,df2]) # 構造數據集 df3 = pd.DataFrame({'id':[1,2,3,4,5],'name':['張三','李四','王二','丁一','趙五'], 'age':[27,24,25,23,25],'gender':['男','男','男','女','女']}) df4 = pd.DataFrame({'Id':[1,2,2,4,4,4,5], 'score':[83,81,87,75,86,74,88] 'kemu':['科目1','科目1','科目2','科目1','科目2','科目3','科目1']}) df5 = pd.DataFrame({'id':[1,3,5],'name':['張三','王二','趙五'], 'income':[13500,18000,15000]}) # 三表的數據連接 # 首先df3和df4連接 merge1 = pd.merge(left = df3, right = df4, how = 'left', left_on='id', right_on='Id') merge1 # 再將連接結果與df5連接 merge2 = pd.merge(left = merge1, right = df5, how = 'left') merge2
留言打卡第二季 DAY 28
今日的留言話題是聊聊你在python中常用到的模組或者推薦一些python中實用的模組，關於留言打卡的規則可以參考數據森麟公眾號留言打卡第二季開啟！，請按照昵稱+天數（請以自己實際打卡的天數為準，如day1 or day2 or day3）+ 留言內容（不少於15字）的方式留言
