亚马逊的AI在履历筛选中歧视女性?AI犯的错来自人类的偏见

亚马逊的AI在履历筛选中歧视女性?AI犯的错来自人类的偏见

亚马逊的 AI 招聘工具触动了人类敏感的神经。据 路透社 报导,亚马逊机器学习专家发现他们的 AI 招聘工具有一个明显的倾向--在筛选简历过程中, 重男轻女 。

这件事得追溯到 2014 年,亚马逊开始尝试用人工智慧筛选简历,帮助公司挑选出合适的员工。对于一个大公司来说,筛选简历是一项浩大的工程,每天的面试者来自四面八方,要从堆积如山的简历中挑选出面试者的优点,并确认其符合公司标準,难上加难。不仅耗费精力,还很花时间。

亚马逊的AI在履历筛选中歧视女性?AI犯的错来自人类的偏见
图片来源:Pixabay

不用我赘述,我想面试经验丰富的人应该对一些大公司的面试週期记忆深刻。

透过系统的机器训练,让 AI 代替 HR 筛选简历,无疑能帮助公司节省大量的劳动力,并且更有效地挑选出合适的人才。万万没想到的是,亚马逊的 AI 却戴上了有色眼镜。

类似人类的情感倾向出现在了 AI 上,本身就有悖于人类训练 AI 的目的。我们希望人工智慧是中立、结果导向的,甚至在理性的前提下,会带有一丝无情。

好在亚马逊自己也发现了这个问题,去年已将负责该项目的团队解散。

人工智慧「性别歧视」的起因

在亚马逊 AI 招聘歧视事件的最后,大家把问题归咎于人工智慧训练样本上。因为在具体的训练方法上,亚马逊针对性开发了 500 个特定职位的模型,对过去 10 年的简历中的 5 万个关键词进行辨识,最后进行重要程度的优先级排序。

因此简单来说, AI 的工作还是抓取关键词。然而在这些简历中,大部分求职者为男性,他们使用诸如「执行」这样的关键词更加频繁,而女性相关的数据太少,因此 AI 会误以为没有这类关键词的女性简历不那幺重要。

亚马逊的AI在履历筛选中歧视女性?AI犯的错来自人类的偏见
图片来源:Reuters

类似的事情同样发生在了 Google 身上。早在 2017 年, Quartz 报导了一篇题为《The reason why most of the images that show up when you search for “doctor” are white men》的文章,如果你在 Google image 上搜索「doctor」,获得的结果中大部分都是白人男性。

一项来自普林斯顿大学的研究表明,这一搜寻结果与潜在的社会现状有关。在普通人眼中医生总是与男性相连,而护士总是与女性相连。

「正如一些资料科学家所言,什幺样的输入就有什幺样的产出,没有好的数据,算法也做不出正确的决策。」

亚马逊的AI在履历筛选中歧视女性?AI犯的错来自人类的偏见
现在的搜寻页面经过优化,并有多种搜寻选项。

 Google 意识到了这一点,调整了搜寻演算法。目前「doctor」的搜索结果中,女性与男性的比例基本平等。

人工智慧发展到现在,应用到实际的时间并不长。如果把它比作婴儿,那它的成长有很大一部分依靠人类给予的养分与教育。人工智慧在机器训练的过程中,所输入的数据便是养分。科学家尽力将演算法调整到中立、客观,但最终影响其输出的还是数据。

即使数据中仅出现了一个小的偏差,人工智慧的最终行为也会将这个偏差放大。人类获得的结果便是「歧视」--我们如何看待社会,人工智慧也会以相同的视角去看待社会。这一情况属于普遍现象,其涉及到的不仅是技术问题,更是一个巨大的哲学问题。

今年七月份,微软和中国发展研究基金会发布了《未来基石》报告。报告涵盖了两家机构对人工智慧的思考。例如微软在人工智慧的开发中,将遵循六个道德基本準则,以创造「可靠」的人工智慧。

在微软的人工智慧产品中,曾出现了聊天机器人小冰骂髒话的情况,同样是源于训练资料库的影响。经历该事件后,微软修改了小冰的对话原则,并加强了对数据库的过滤。但实际上仍然无法百分百避开数据库中不健康的讯息。

亚马逊的AI在履历筛选中歧视女性?AI犯的错来自人类的偏见
图片来源:PConline

想要训练出更靠谱的人工智慧,用户同样是很重要的力量群体。

 AI 还有其它偏见

与其说人工智慧对这个世界有偏见,不如说是认知偏差。其演算法本身是没毛病的,但经过演算法处理的数据则是具有人类社会的特点的,因此人工智慧行为也带了人类的色彩。

这一点在不同的行业、不同事物的类型、甚至不同的文化与国家,都有各自的表现。

例如提到厨房里的人,我们通常脑海里会浮现出一名家庭主妇的形象,传统的观念即是如此。这种观念由社会现状决定,人类取用的数据由社会现状决定,而人工智慧的认知由数据决定。

因此当一张男人站在厨房里的照片经人工智慧识别之后,它极有可能会把男人看成女人。

亚马逊的AI在履历筛选中歧视女性?AI犯的错来自人类的偏见
图片来源:果壳网

这是赵洁玉和她的导师文森特.奥都涅茨研究的课题。果壳网《当人工智慧「学会」性别歧视》一文里,详细描述了他们研究课题的过程。最终发现把男人看成女人并不是出现了 bug ,而是因为资料库的偏差。

除了厨房这个特定环境,他们还发现在照片中「做家事、照顾小孩子的就被认为是女性,开会、办公、从事体育运动的则是男性」,有时候我们会发现人工智慧的结果令人哭笑不得,但究其原因却又情有可原。

又如人工智慧会将印度海得拉巴的印式婚纱错认为中世纪的锁子甲,只因为在其训练的资料库中,欧洲的数据更丰富,而来自第三世界的讯息少得可怜。这对于部分少数群体是极不公平的。

另一个相似的例子是, 2015 年 Google

亚马逊的AI在履历筛选中歧视女性?AI犯的错来自人类的偏见

事件过去三年了,儘管演算法已经更加成熟,资料库更加丰富,人工智慧的坏毛病还是无法根治。据 英国镜报 报导,用户在使用 Google 翻译时,结果里出现了令人毛骨悚然宗教话语,在某些小语种下,特定的重複词组会被 Google 翻译成带有宗教色彩的话语。

其缘由可能是 Google 翻译在某些小语种的学习上,使用了圣经--这一全球最为广泛翻译的数据--作为训练模型,从而导致该情况发生。在经过报导之后, Google 修复了这个 Bug 。

一个不得不接受的事实是,人工智慧的偏见与小毛病将伴随着它的成长。

欢迎加入「Inside」Line 官方帐号,关注最新创业、科技、网路、工作讯息
亚马逊的AI在履历筛选中歧视女性?AI犯的错来自人类的偏见
亚马逊的AI在履历筛选中歧视女性?AI犯的错来自人类的偏见

相关推荐