Pandas数据分析

什么是Pandas？

一个开源的Python类库：用于数据分析、数据处理、数据可视化

很方便和其他类库一起使用：
numpy：用于数学计算
scikit-learn：用于机器学习

一、读取数据

读取csv文件

fpath=".....csv"
#使用pd。read_csv读取数据
ratings=pd.read_csv(fpath)
#查看前几行
ratings.head()
#查看数据的形状，返回行数、列数
ratings.shape
#查看列明列表
ratings.columns
#查看索引列
ratings.index
#查看每列数据类型
ratings.dtype
1
2
3
4
5
6
7
8
9
10
11
12
13

读取txt文件，自己指定分隔符、列名

fpath="....txt"
pvuv=pd.read_csv(
fpath,
sep='\t',
header=None,
names=['pdate','pv','uv']
)
pvuv
1
2
3
4
5
6
7
8

读取EXCEl文件

fpath="...xlsx"
pvuv=pd.read_excel(fpath)
pvuv
1
2
3

读取MySQL数据库

import pymysql
conn=pymysql.connect(
host='127.0.0.1',
user='root',
password='12345678',
database='test',
charset='utf8'
)
mysql_page=pd.read_sql("select * from crazyant_pvuv",con=conn)#crazyant_pvuv对应的表名
mysql_page
1
2
3
4
5
6
7
8
9
10

二、Pandas数据结构

即DataFrame&Series
DataFrame：二维数据，整个表格，多行多列
Series：一维数据，一行或一列

仅有数据列表即可产生最简单的Series

import pandas as pd
import numpy as np
s1=pd.Series([1,'a',5.2,7])
s1
s1.index
s1.value
1
2
3
4
5
6

创建一个具有标签索引的Series

s2=pd.Series([1,'a',5.2,7],index=['d','b','a','c'])
s2
s2.index
1
2
3

使用Python字典创建Series

sdata={'Ohio':3500,.....}
s3=pd.Serires(sdata)
s3
1
2
3

根据标签索引查询数据

s2
s2['a']
type(s2['a'])
s2[['b','a']]
type(s2[['b','a']])
1
2
3
4
5

DataFrame

根据多个字典序列创建dataframe

查询多列，结果是一个pd.DataFrame

df[['year','pop']]
type(df[['year','pop']])
1
2

查询一行，结果是一个pd.Series

df.loc[1]
type(df.loc[1])
1
2

查询多行，结果是一个pd.DataFrame

df.loc[1:3]
type(df.loc[1:3])
1
2

三、Pandas数据查询

按数值、列表、区间、条件、函数五种方式查询

Pandas查询数据的几种方法

1、df.loc方法，根据行、列的标签值查询
2、df.iloc方法，根据行、列的数字位置查询
3、df.where
4、df.query

.loc既能查询，有能覆盖写入，强烈推荐！

#替换掉温度的后缀℃
df.loc[:,"bWendu"]=df["bWEndu"].str.replace("℃","").astype('int32')
df.loc[:,"yWendu"]=df["yWEndu"].str.replace("℃","").astype('int32')
1
2
3