研究人员开发了一种使用人工智能（AI）的工具来检测诸如种族或性别等保护区域中的不公平偏见。宾夕法尼亚州立大学和哥伦比亚大学的研究人员表示，该工具可用于发现AI系统中的偏差，甚至可用于人类决策者的偏见。
“人工智能系统 - 例如那些参与选择工作候选人或进入大学的人员 - 都接受了大量数据的培训，但如果这些数据存在偏差，它们会影响人工智能系统的建议，”Vasant说中国机械网okmao.com。宾夕法尼亚州立大学信息科学与技术教授Honavar 发表声明。
如果一家公司从未雇佣过某个女性从事某项工作，那么接受过此类历史数据培训的人工智能系统就不太可能会推荐一位女性担任该公司的新工作。
Honavar在那个例子中说，软件程序本身的机器学习没有任何问题。“它正在做它应该做的事情，这是为了确定好的求职者......但由于它是对有历史的，有偏见的数据进行培训，因此有可能提出不公平的建议。”
研究人员创建了一个人工智能工具，用于检测基于因果关系或因果关系的人或人工智能系统的偏差。
问题是，“工资中是否存在基于性别的歧视？”可以重申为“性别是否会对工资产生因果影响？”或“女性如果是男性会得到更多报酬吗？”要直接了解答案，研究人员使用反事实推理算法来得出最佳猜测。
为女性获得公平薪水的最佳猜测的一种方法是找到具有相似资格，生产力和经验的男性。宾夕法尼亚州立大学信息科学与技术专业的研究生Aria Khademi说：“如果我们确保类似的男性和女性获得相似的工资，我们就可以最大限度地减少基于性别的工资歧视。”
研究人员利用美国人口普查局的收入数据，发现基于性别的工资歧视情况以及纽约市警察部门的数据，这些数据显示，对于因停止逮捕而被捕的有色人种的偏见。
随着收入的增加，这些团队使用了5万人的数据，并发现工资中存在性别歧视的证据，特别是每年工资超过5万美元的女性的可能性仅为男性的三分之一。对于可能出现的种族偏见，研究人员揭示了可能存在针对西班牙裔和非裔美国人的种族偏见的证据，但没有发现平均作为一个群体歧视他们的证据。
Honavar说，研究人员建立的工具可以帮助组织避免成为歧视工具和不公平的威胁。“如果你不知道问题存在，你无法纠正问题......我们的工具可以帮助解决这个问题，”他说。
该研究得到了美国国立卫生研究院和国家科学基金会的支持。