人工智能存在认知偏差：竟然可能成为种族主义者！_3DM单机

当微软公司在去年三月份在推特上发布一款名为“tay”的聊天机器人时，他们肯定想不到这件事很快会变成一场灾难：在不到24小时的时间里，这款机器人就已经变成了一个歇斯底里的种族主义者和新纳粹分子，之所以出现这种状况，很大程度上是受到了在推特上与它进行对话的那些用户的“教授”和“引导”。

不幸的是，一项最新研究显示，推特并非人工智能“学坏”的唯一途径。事实上，科学研究显示，任何借助人类语言进行学习的人工智能机器人都有可能和人类小孩可能学坏一样，在价值取向上出现扭曲。

研究人员借助一款名为“词义全球向量”（GloVe）的机器学习系统开展了一项实验，结果发现人类在学习过程中可能出现的任何一种偏差都有可能在人工智能系统的学习过程中出现。

美国普林斯顿大学计算机科学博士后艾琳·卡利斯坎（Aylin Caliskan）表示：“看到这些模型中内嵌的所有这些结果令我感到震惊。”即使在训练人工智能系统时使用的材料全部来自中性素材来源，比如维基百科或者新闻报道，最终人工智能仍然有可能会在价值取向上发展出某种偏差，就像人类一样。

内禀性偏差

GloVe是一款能够从文档中提取语义框架结构的工具，具体到这项研究中，其作用是从互联网上自动提取并建立计算机语料库。

心理学家们很早之前就已经了解人类大脑会基于每个单词背后隐含的意思来建立起不同单词之间的联系。

在心理学上有一种被称作“内隐联想测验”（IAT）的测试方式，其做法是通过测试人对不同单词的反应时间来检测这种相关性：测试人会在屏幕上看到一个名词，比如“水仙花”，同时出现的还有两个分别代表正面和负面感受的词汇，比如“痛苦”和“美丽”。测试人必须用最快的速度做出反应并按下相应按键。不出意外的，更多的人会更倾向于将“花卉”一词与正面语义联系起来，而将“武器一词与负面语义联系起来。”

内隐联想测验可以测定人们对于某种特定社会现象或群体的潜意识观点。比如说，一项内隐联想测验显示在美国，人们会下意识地将“武器”一词与黑肤色人群联系在一起，而将一些无害的词汇与美国白人联系在一起。

关于这类结果的解读还存在一些争议。专家们目前还难以明确，之所以会出现这样的语义联系，是因为被试人的确存在内心认定的，根深蒂固但自己却毫不意识到的社会认知偏差，还是因为在日常对话和信息获取过程中，从统计学上看有更大的几率将一些负面的词汇与少数族裔，老年人或边缘群体联系在一起，而被试受到了无意识的影响?

数字偏见

卡利斯坎和她的同事们在针对人类被试进行测试的IAT系统基础上开发了针对计算机人工智能的IAT系统，并将该系统称为“WEAT”，意为“词汇内嵌联合测试”。该测试旨在评估GloVe系统所给出的不同词汇之间的相互联系，这一点与传统的IAT测试观察人类大脑中不同词汇之间的联系非常相似。

在每一种语义联系和习惯测试中，WEAT测试都得到了与IAT测试相同的结果。这款机器学习工具成功地重现了人类将花卉与美好事物联系起来的倾向，它也不喜欢“昆虫”和“武器”这类词，但是喜欢“乐器”并将其与美好事物联系在一起。但令人不安的是，这款人工智能工具认为欧洲裔美国人的名字听上去更加令人愉悦，而非洲裔美国人的名字则比较容易令人不快。另外，它会更多地将男性名字与事业和工作联系起来，而将女性名字更多地与家庭相关词汇联系在一起;同样的，它还将男性名字更多地与数学和科学联系在一起，而将女性名字更多地与艺术词汇联系在一起。而老人的称谓常常与令人不悦的词汇联系在一起，而年轻人的称谓则与令人愉悦的词汇联系在一起。

卡利斯坎表示：“我们感到很震惊，我们竟然能够完全重现过去在数百万的人们身上进行过的IAT测试结果。”

情况还不止于此，利用另外一种相似的方法，研究组还发现机器学习工具基于语义联系得到的认知结果竟然是可以比较精确地反映现实世界情况的。比较WEAT测试的结果与美国联邦劳工统计局关于女性职业分布的数据，卡利斯坎发现GloVe数据中，那些被人工智能与“女性”联系起来的职业，在现实世界中从事这项职业的女性比例也更高，两者的相关性超过90%。

换句话说，基于人类语言进行学习的计算机程序能够“非常精准地领会人类语言背后的含义和其所代表的人类文化”，即便那种文化本身可能是存在偏见的甚至是某种下意识地歧视，计算机也能敏感地领会并学习到。但与此同时，人工智能在某些人类学习者感觉非常容易理解的地方却会感觉理解起来非常吃力。举个例子，一篇关于马丁·路德-金在1963年由于参加黑人人权运动而在亚拉巴马州伯明翰被监禁的新闻报道中当然会涉及很多将美国黑人与负面词汇相互联系的情况，但一名人类读者很容易就能体会到这篇报道中的美国黑人是一名英雄，而在计算机看来，它的收获只不过是将“黑人”与“监狱”两个词汇之间建立起了联系。

要想在保证精确性的同时还要力求让人工智能来理解人类文化中的“公正性”是一项巨大的挑战。卡利斯坎指出：“我们并不认为去除偏向性之后这个问题就能够得到解决，因为这样做可能将会打破人工智能对于这个世界的完整理解能力。”

去除偏向性

而在哈弗福德学院计算机科学家索瑞尔·福雷德勒（Sorelle Friedler）看来，本月12日发表在《科学》杂志上的这项最新研究并不会让她感到惊讶。索瑞尔并未参与这项研究，但她认为这一研究成果意义重大。她说：“这是一种基本方法，很多系统都基于此构建。”换句话说，任何基于GloVe平台或是通过人类语言学习进行构建的人工智能系统都有可能受到这种偏差性的影响。

索瑞尔的研究涉及一项近年来逐渐兴起的领域，那就是机器学习中的公平、责任与透明性。要想解决这一问题并不容易，在某些情况下，程序能够清晰地告诉系统去自动忽略一些思维定式。但在任何涉及微妙差异的表达识别案例中，人类都需要及时介入，来确保人工智能不会理解错误。取决于你不同的设计目的，具体的人工智能解决方案可能会有所差异，你设计这款人工智能系统是做什么的?为了搜索应用?为了辅助决策还是其他事情?

在人类社交习惯中，人们表面上模棱两可的表态并不代表他们对某些特定社会群体在内心有着某种明确的看法。心理学家们一直在对这一现象进行分析：这种现象的出现是否是因为人们会倾向于隐藏自己的偏见，保持沉默不发表观点，以避免陷入某种尴尬局面?是否有可能IAT测试并不能那么好的测试出人们的内心偏见?但对于人类而言，即便内心带有某种偏见，人们至少仍然能够分辨是非对错，可是机器就不一定，他们没有伦理是非概念。因此，卡利斯坎和同事认为在人工智能发展过程中，人类仍然必须要有所参与，并保持程序代码的透明度，以便人类能够时刻监督，帮助机器把握好价值判断的尺度。

卡利斯坎表示：“在存在认识偏差的状况下，我们知道如何做出正确的决定。但不幸的是，机器并没有自我意识。“