一、set去重简单实例
ls = [1,2,3,1,2]print(set(ls))
我们知道对于一个列表最简单的去重方法就是直接调用set函数，利用集合元素的唯一性，就可以做到去重。但是，这个底层原理究竟是什么样的却一直半解。
且看下面剖析
二、重新set实现机制
class Foo:
def__init__(self,name,count):
self.name = name
self.count = count
def__hash__(self):
print("%s调用了哈希方法"%self.name)
return hash(id(self))
def__eq__(self, other):
print("%s调用了eq方法")
ifself.__dict__== other.__dict__:
return True
else:return False
f1 = Foo('f1',1)
f2 = Foo('f2',2)
f3 = Foo('f3',3)
ls = [f1,f2,f3]print(set(ls))
从上面可以看出，set方法就是去调用hash方法，然后根据哈希值一不一样就行去重判断，但是事实就是样吗？且看下面程序。
class Foo:
def__init__(self,name,count):
self.name = name
self.count = count
def__hash__(self):
print("%s调用了哈希方法"%self.name)
return hash(self.count)
def__eq__(self, other):
print("%s调用了eq方法"%self.name)
returnself.__dict__== other.__dict__f1 = Foo('f1',1)
f2 = Foo('f2',1)
f3 = Foo('f3',3)
ls = [f1,f2,f3]print(set(ls))
我看可以看出，实际上f1,f3的哈希值是相等的，但是set并没有这么简单就判断f1,f3是重复的，而是进一步通过eq方法判断这两个值是否相等，只有相等时才会认为这两个之间实际上是同一个。为了验证上面的说法，我们来看看下面的代码。
f1 = Foo('f1',1)
f2 = Foo('f1',1)
f3 = Foo('f3',3)
ls = [f1,f2,f3]print(set(ls))
可以看出去重后，只有两个元素，所以上面说法得证。
三、结论
set的去重是通过两个函数__hash__和__eq__结合实现的。1、当两个变量的哈希值不相同时，就认为这两个变量是不同的2、当两个变量哈希值一样时，调用__eq__方法，当返回值为True时认为这两个变量是同一个，应该去除一个。返回FALSE时，不去重
四、应用场景
需求
有一个公司，现有100个员工，由于数据库不完善，使用时间比较长，里面有很多重复数据需要清除。具体需求如下：
每个员工的属性有：姓名，性别，年龄，部门。 由于年龄和部门都会发生变化，所以现在认为只要两个员工之间姓名和性别一样，就认为是同一个人。
请实现员工去重：
class Staff:
def__init__(self,name,gender,age,department):
self.name = name
self.gender = gender
self.age = age
self.department = department
def__hash__(self):
returnhash(self.name+self.gender)
def__eq__(self, other):
return True
ls = ['zs','ls','ww','zq']
gender_list = ['man','femal']
staff_list = []foriinrange(100):
staff_list.append(Staff(ls[i%4],gender_list[i%2],i,'class'))print(set(staff_list))print([(i.name,i.gender)foriinset(staff_list)])
set集合去重机制:先调用hash,若发现hash出的内存地址已被占用,会再次调用eq比较内容是否相同.
__hash__对与同一个值的同一次运算的结果是相同的
class Employee:
def __init__(self,name,age,sex,partment):
self.name = name
self.age = age
self.sex = sex
self.partment = partment
def __hash__(self):
return hash('%s%s'%(self.name,self.sex))
def __eq__(self, other):
if self.name == other.name and self.sex == other.sex:
return True
employ_lst = []
for i in range(200):
employ_lst.append(Employee('alex',i,'male','python'))
for i in range(200):
employ_lst.append(Employee('wusir',i,'male','python'))
for i in range(200):
employ_lst.append(Employee('taibai', i, 'male', 'python'))
# print(employ_lst)
employ_set = set(employ_lst)
for person in employ_set:
print(person.__dict__)
