python数据分析——数据清理(二)-VREA Home

上一章给大家介绍了如何查看数据与选取你所需要的数据，这篇给大家介绍一下选择完数据如何对数据进行处理。

往往我们拿到的数据经过查看过都会存在一些不能满足需求的问题，这时就可能需要对原数据进行一些修改与整理。比如：Python字段名修改、列名选择修改、索引重置、异常值替换、数据类型转化、数据组合等。还是主要给大家介绍一下一些常用涉及到的方法，本章结构请见目录：

文章目录

一、清理数据
- 列名修改
- 索引修改
- 内容修改
- 数据类型转换
- 时间转换
二、代码案例
- 列名/索引修改案例

一、清理数据

列名修改

属性	描述
df.columns = [‘a’,‘b’,‘c’]	重命名列名，全部一起改
df.rename(columns={‘a’: ‘A’, ‘b’: ‘B’, ‘c’: ‘C’}, inplace=True)	修改部分列名，inplace=True并直接覆盖
df.set_index(‘col1’)	更改索引列，把指定列变成索引

索引修改

属性	描述
df.set_index(‘column_one’)	更改索引列，列变索引
df.reset_index()	将索引变成列或属性drop=true重置索引

内容修改

属性	描述
pd.cut(s,list)	将数据列进行分段，pd.cut(data,[0,10,20,30])
pd.isnull()	检查DataFrame对象中的空值，并返回一个Boolean数组
pd.notnull()	检查DataFrame对象中的非空值，并返回一个Boolean数组
df.drop(‘a’,axis=1)	删除a列所有数据
df.dropna()	删除所有包含空值的行NaN
df.dropna(axis=1)	删除所有包含空值的列NaN
df.dropna(axis=1,thresh=n)	删除所有小于n个非空值的行NAN
df.fillna(x)	用x替换DataFrame对象中所有的空值NAN
df/s.replace(1,‘one’)	用‘one’代替所有等于1的值，同样适用于df与s
df/s.replace([1,3],[‘one’,‘three’])	用’one’代替1，用’three’代替3

数据类型转换

主要的数据类型有int(整数型)、float(浮点型)、str(字符串型)

属性	描述
s.astype(‘float’)	将Series中的数据类型更改为float类型,astype又称硬转化
df.astype(‘str’)	将df整表转化成str类型
df[[‘col1’,‘col2’]].astype(‘int’)	将df中col1,col2两列数据转化成int格式
pd.to_numeric(s)	将series自动转化成数字类型格式
df.infer_objects()	自动识别数据类型

时间转换

属性	描述
s.dt.total_seconds()	datatime计算结果返回秒

二、代码案例

本文数据连接点击下载

列名/索引修改案例

手上有一份泰坦尼克号船票信息，先摸清数据的特征

import pandas as pd #导入pd库
data=pd.read_csv(r'/Users/huangjunwen/Desktop/test.csv')#导入本地csv数据文件
print(data.info())#先查一下数据各列的数据类型等

数据有11列418行，数据类型包含了object/int/float三种类型，列名都是英文||-.-看着难受，有的列数据只有91行，存在空值。

data.columns=['乘客','类型','姓名','性别','年龄','关系','Parch','船票','票价','船舱','登船口']#把所有列名换成中文名字，有一个parch不知道是什么意思理解不了
print(data['性别'].value_counts())#看一下男女人数情况
print(data['年龄'].describe())#看一下年龄统计数据情况

性别记录是完整的，也没有出现人妖的情况。。。。年龄有效记录了332人，年龄最小的不到1岁，最大的76岁，平均年龄在30岁，50%分为数为27岁。

data['年龄'].fillna(27,inplace=True)
#将年龄为空的全部替换成27岁，保证数据完整性方面后续的分析。inplace=True是直接将原数据直接替换，如果不指定默认是False原表数据不替换

年龄非空数从332变成了418，补全了空值

####数据类型转化案例

data['Parch']=data['Parch'].astype('str')#将parch列数据类型改成字符串格式

目录CONTENT

python数据分析——数据清理(二)

文章目录

一、清理数据

列名修改

索引修改

内容修改

数据类型转换

时间转换

二、代码案例

列名/索引修改案例

评论区