审计可以消除算法中的偏见吗?_REV:ORCH

十多年来,记者和研究人员一直在撰写有关依靠算法做出重大决策的危险的文章:谁被关押,谁得到工作,谁得到贷款,甚至谁优先使用COVID-19疫苗。

而不是消除偏差,一个接一个的算法已经将其编成代码并永久存在,因为公司同时继续或多或少地保护其算法不受公众审查。

此后的一个大问题:我们如何解决这个问题?立法者和研究人员提倡进行算法审计,该算法将对算法进行剖析和压力测试,以查看算法如何工作以及它们是否在执行既定目标或产生有偏见的结果。越来越多的私人审计公司声称这样做。公司越来越多地求助于这些公司来审查其算法,尤其是当他们面对因偏向结果而受到批评的时候,但是目前尚不清楚此类审计是否实际上使算法的偏向性降低了,或者它们是否仅仅是良好的公关手段。

最近,当沃尔玛和高盛等公司使用的受欢迎的招聘软件公司HireVue面临批评时,算法审计引起了广泛关注,该公司通过视频采访评估候选人的算法存在偏见。

HireVue要求审计公司提供帮助,并在一月份在新闻稿中大肆宣传了审计结果。

审计发现,该软件的预测“在公平性和偏见问题方面做得很出色”,HireVue在一份新闻稿中说,引用了该公司聘请的审计公司O'Neil风险咨询和算法审计。

英国监管机构发现数字银行Revolut审计存在缺陷:金色财经报道,英国金融监管机构发现提供加密货币投资服务银行Revolut的审计过程存在缺陷。

财务报告委员会(Financial Reporting Council) 7月份的一份报告称,会计师事务所德豪会计师事务所(BDO)对一家身份不明的“金融服务提供商”的审计“不充分”,存在“未被发现的重大错报风险”。据英国《金融时报》采访的知情人士透露,这家未具名的公司就是Revolut。

英国《金融时报》采访的一名人士还警告称,德豪国际采取更严格的做法,可能会导致其账目申报延迟,其中大部分账目将于本月底到期。该公司目前迟迟没有提交Revolut Newco UK Ltd.的账目,该实体旨在容纳其延迟的英国银行执照。(the block)[2022/9/5 13:10:04]

但是,尽管对其流程进行了更改,但HireVue被广泛指责为使用PR特技进行审计。

文章在快速公司,VentureBeat的,和麻省理工学院技术评论叫响公司mischaracterizing审计。

Titano Finance:将部署新合约,已由Certik完成审计:2月20日消息,此前遭受攻击的抵押协议Titano Finance发推称,安全公司Certik已经联系我们,要求团队部署新合约。Titano团队已经收到Certik的初步审计报告,确认新合约没有漏洞,是100%安全的。

此前消息,PeckShieldAlert发推称,监测到Titano Finance遭到攻击,黑客已经获利4828.7 BNB(约合190万美元)。[2022/2/21 10:04:38]

HireVue表示,通过公开发布该报告可以使审计透明,并补充说新闻稿规定该审计仅针对特定情况。

“尽管HireVue可以接受任何类型的审计,包括涉及对我们整个流程的审计,但ORCAA要求只关注一个用例,以便就该系统进行具体讨论,”HireVue首席数据科学家LindseyZuloaga在接受采访时说。一封电邮。“我们与ORCAA合作,选择了一个具有代表性的用例,该用例与大多数HireVue候选人所进行的评估有很大的重叠。”

但是算法审计师也对HireVue关于审计的公开声明不满意。

印度特许会计师协会将探索在审计中使用区块链技术:2月17日消息,印度特许会计师协会(ICAI)新任总裁Debashis Mitra表示,ICAI将探索在审计中使用区块链技术。Mitra称,技术将是ICAI的一个主要关注点,因为它不仅会颠覆传统行业,而且还会创造机会。(The Economic Times)[2022/2/17 9:58:16]

人工智能解释和偏差监控初创企业Arthur的联合创始人利兹·奥沙利文表示:“在对营销抵押品进行非常周到的分析时,它们破坏了整个领域的合法性。”

这就是算法审计作为消除偏差的工具的问题:公司可能会使用它们进行真正的改进,但可能不会。而且没有任何行业标准或法规要求审计师或使用它们进行会计的公司。

什么是算法审计-它如何工作?

好问题-这是一个非常不确定的字段。通常,审计以几种不同的方式进行:通过查看算法的代码和来自其结果的数据,或通过与员工的访谈和研讨会来查看算法的潜在影响。

可以访问算法代码的审核程序使审阅者可以评估算法的训练数据是否有偏见,并创建假设性场景来测试对不同人群的影响。

THORChain通过2次安全审计,现已恢复运行:跨链流动性协议THORChain已在夏季的两次攻击事件后完成了2次安全审计,分别由网络安全公司Trail of Bits和Halborn进行,这将使THORChain得以实施一项五步恢复计划。THORChain的贡献者表示,在重启所有主要加密货币集成和跨链交易功能后,该协议已经全面运行。除了审计之外,THORChain还宣布,已经委托漏洞赏金平台Immunefi实施一项赏金计划来识别新漏洞。(Cointelegraph)[2021/10/29 21:06:45]

Twitter的机器学习道德总监兼算法审计公司Parity的创始人RummanChowdhury说,只有大约10到20家提供算法评论的知名公司。公司还可能拥有自己的内部审核团队,负责在将算法发布给公众之前研究其算法。

2016年,奥巴马政府一份关于算法系统和公民权利的报告鼓励了算法审计行业的发展。不过,聘请审计师仍然不是一种普遍的做法,因为公司没有义务这样做,而且根据多名审计师的说法,公司不希望受到审查或可能引起审查的潜在法律问题,特别是针对他们所销售的产品。

USDC发布四月资金审计,美元储备可覆盖实际发行量:独立会计事务所Grant Thornton已发布USDC美元储备的四月审计报告。 报告显示:

1. 截止太平洋时间4月30日23:59,已发行和未偿付的USDC代币数量为726,804,679 USDC;

2. 同时,托管账户中的美元储备为727,324,351美元;

3. 截至报告审计日期,已发行和未偿付的USDC代币未超过托管账户中所持有的美元余额。[2020/5/25]

“律师告诉我,'如果我们雇用您,发现有一个我们无法解决的问题,那么我们就失去了合理的可否认性,我们不想成为下一个卷烟公司,'”ORCAA的创始人CathyO'尼尔说。“这是我找不到工作的最常见原因。”

对于那些聘请审计师的人,“审计”应包含什么没有标准。即使是拟议的纽约市法律也要求对聘用算法进行年度审核,也无法说明应如何进行审核。一位审核员的批准印章比另一位审核员的审核意味深远。

而且由于审计报告也几乎总是受保密协议约束,因此两家公司无法相互比较自己的工作。

乔杜里说:“最大的问题是,随着这一领域的利润越来越丰厚,我们将发现,我们确实需要什么是审计标准。”“外面有很多人愿意对某事进行审计,建立一个外观漂亮的网站并每天称其为日,然后无条件获取现金。”

一些审计师说,即使聘用了审计师,科技公司也并不总是能如愿以偿。

Arthur的O'Sullivan说:“在这种情况下,商业秘密已足够使这些算法能够在晦暗黑暗的环境中运行,而我们不能拥有这种秘密。”

算法正义联盟的审计师和研究合作者伊尼奥卢瓦·德博拉·拉吉表示,审计师处于无法访问该软件代码并因此存在违反计算机访问法律的风险。乔杜里说,当公司要求她允许他们在公开发布之前对其进行审查时,她拒绝了审计。

Zuloaga说,对于HireVue的审计,ORCAA采访了利益相关者,包括HireVue员工,客户,应聘者和算法公平专家,并确定了公司需要解决的问题。

ORCAA的评估并未考虑HireVue算法的技术细节,例如算法所训练的数据或其代码,尽管Zuloaga表示,该公司不以任何方式限制审计师的访问权限。

Zuloaga说:“ORCAA要求提供有关这些分析的详细信息,但他们的方法着眼于解决利益相关者如何受算法影响的问题。”

奥尼尔说,她无法对HireVue审核发表评论。

许多审核是在产品发布之前进行的,但这并不是说它们不会出现问题,因为算法不是凭空存在的。例如,当微软建立一个聊天机器人时,一旦暴露给Twitter用户,该聊天机器人便迅速变成种族主义者。

奥沙利文说:“一旦将其投入现实世界,即使有最好的意图,也有可能出错一百万人。”“我们希望采用的框架还不够完善。总有办法使事情更加公平。”

因此,尽管并不常见,但一些预发行审核也将提供连续监视。奥沙利文说,这种做法在银行和医疗保健公司中越来越流行。

奥沙利文的监视公司安装了一个仪表板,该仪表板可实时查找算法中的异常情况。例如,如果公司的算法拒绝更多的女性贷款申请,它将在启动后几个月提醒公司。

最后,越来越多的对抗性审核机构,主要是由研究人员和一些记者进行的,他们未经公司的同意就对算法进行审查。例如,算法正义联盟的创始人Raji和JoyBuolamwini,他们在亚马逊Rekognition工具上的工作突显了该软件如何在没有公司参与的情况下具有种族和性别偏见。

公司在审核后会修复其算法吗?

无法保证公司将解决审计中提出的问题。

Raji说:“您可以进行质量审核,但仍然无法从公司那里获得问责制。”“这需要大量精力来弥合获取审计结果与将其转化为责任之间的差距。”

公众的压力有时会迫使公司解决技术上的算法偏差-或未按技术公司的要求进行的审计,并由保密协议进行了审计。

拉吉说,性别阴影研究的研究发现了商业面部识别工具中的性别和种族偏见,并任命了IBM和Microsoft等公司来引发围绕它的公开对话。

她说,但是围绕算法的责任感很难引起关注。

尽管面部识别的偏见是可以解决的,但人们可以看到照片和错误率,并且可以理解种族歧视和性别偏见在技术中的后果,但与诸如利率算法偏见之类的东西联系起来可能会更加困难。

拉吉说:“我们如此依赖公众的呼声,实在令人难过。”“如果公众不理解,那就没有罚款,也没有法律上的影响。这让它非常沮丧。”

那么如何改善算法审核呢?

在2019年,一群民主立法者提出了联邦算法责任法案,该法案将要求公司对其算法进行审计,并解决审计在使用之前发现的任何偏见问题。

AIForthePeople的创始人MutaleNkonde是技术专家团队的成员,该团队帮助起草了该法案,并表示将为公司创建政府授权以进行审计并遵循这些审计。

她说:“就像药物测试一样,必须有某种类型的机构,例如食品和药物管理局来研究算法。”“如果我们看到了不同的影响,那么该算法将不会投放市场。”

该法案从未付诸表决。

来自俄勒冈州的民主党参议员罗恩·怀登表示,他计划与参议员科里·布克和众议员伊维特·克拉克重新引入该法案,并更新2019年版本。目前尚不清楚该法案是否将为审计制定标准,但这将要求公司根据其结果采取行动。

Wyden在一份声明中说:“我同意研究人员,行业和政府需要努力建立公认的审计AI基准,以确保审计尽可能具有影响力。”“但是,在国会开始采取行动防止偏见污染自动化系统之前,要等到学术界达成完全共识的风险太大了。我认为我们需要在两个方面都努力。”

郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。

水星链

[0:31ms0-0:644ms