Python 清除重复值

Python017

Python 清除重复值,第1张

from pandas import read_csv

df = read_csv('D://PDA//4.3//data.csv')

df

#找出行重复的位置

dIndex = df.duplicated()

#根据某些列，找出重复的位置

dIndex = df.duplicated('id')

dIndex = df.duplicated(['id', 'key'])

#根据返回值，把重复数据提取出来

df[dIndex]

id  key          value

4  1251147    品牌          Apple

5  1251147  商品名称  苹果iPad mini 3

#直接删除重复值

#默认根据所有的列，进行删除

newDF = df.drop_duplicates()

#当然也可以指定某一列，进行重复值处理

newDF = df.drop_duplicates('id')

字典也是大括号{}，但是跟集合还是有区别。

1.集合没有重复的元素，列表可以有重复元素

集合会自动将重复的字符给删掉，而列表会原样输出显示

2.集合中的元素与顺序无关，而列表中的元素与顺序有关

1.集合{}没有重复的元素

2.集合{}中的元素跟顺序无关

3.将列表[],元组() 转换成集合后，重复的元素会自从删掉，然后将集合转成列表[] 元组()

加油-2020-0220