新西兰计划在其福利系统中增加更多“自动化决策”。

Robodebt 计划被认为是现代澳大利亚最大的公共政策丑闻之一，但人们担心历史可能会在塔斯曼海彼岸重演。

新西兰保守派政府目前正试图扩大在福利系统中使用“自动决策”，作为控制公共支出的集中努力的一部分。

但批评者担心，这些改革将把对弱势群体至关重要的决策从人类手中剥夺，让算法决定谁能获得福利。

救世军社会政策倡导者安娜·伊卡理解政府希望提高效率，“但效率是有代价的”。

“这代价是以生命为代价的，而这些生命是救世军每天都能见到的，” 她说。

新西兰社会发展部已采取措施以消除担忧，称这项技术将使福利系统对人们来说更为便捷。

“任何拒绝福利的决定都将由工作人员做出，”组织保障与传播副首席执行官梅丽莎·吉尔说。“目前也没有改变这一点的计划。”

什么是“自动化决策”？

自动化决策（ADM）描述了一系列使用基于规则的流程来辅助或替代人类选择的计算机系统。

它们涵盖了从确定你能从银行借多少钱的在线表格，到实时、数据驱动的算法，这些算法决定了网约车应用上的价格。

该部门在2022年使用该技术自动向超过858,000人发放冬季能源补贴，他们表示这一过程如果人工操作，大约需要600名全职员工连续工作八周。

“这将增加纳税人的额外成本，并可能导致客户的延迟，”吉尔女士说。

现在希望使用自动化决策系统（ADM）来检查福利领取者是否符合续领福利的要求，对于被拒绝的人则需与工作人员面谈。

“我们客户的福祉和尊严至关重要，任何自动化决策的使用都必须在效率与这些价值之间取得平衡，”吉尔女士说。

但一些倡导者质疑是否有足够的保障措施，以确保该技术不会无意中引发类似 Robodebt 的丑闻。

糟糕的技术，糟糕的决策

Robodebt 是澳大利亚前保守党政府于 2016 年推出的一项债务回收计划，承诺通过自动化节省数十亿美元。

但严重的设计缺陷导致了超过 40 万个错误的债务通知，一个皇家委员会被成立，以调查政治渎职的指控以及虚假债务可能导致多起自杀的建议。

新西兰政府并不打算建立类似 Robodebt 的债务追缴计划，但《社会保障修正法案》中关于自动化使用的广泛条款令法律专家感到担忧。

新西兰律师协会表示，关于自动化决策的条款“没有任何限制，且该法案的附带文件中没有对该提案进行任何分析”。

“在需要评估判断的情况下，尚不清楚自动化系统如何能够准确且适当地运行，”它在提交给审议该立法的议会委员会的文件中表示。

从澳大利亚的错误中吸取教训

在澳大利亚 2022 年 Robodebt 皇家委员会成立前的几个月，新西兰社会发展部引入了一套标准来管理自动化决策的使用，包括确保透明度的条款和对自动化决策提出上诉的方式。

这些标准今年正在与新西兰隐私专员协商审查。

吉尔女士表示，部门“能够从澳大利亚和世界其他地区发生的情况中吸取教训”，并确保其保障措施“有助于防止我们在其他社会福利系统中使用人工智能时看到的许多相同问题”。

“MSD 的 ADM 标准包括对复杂算法使用的额外要求，”她说。

“这些要求对算法的开发进行更严格的监督，并确保在算法投入使用之前，隐私、人权和伦理方面的问题得到解决。”

但救世军仍然对自动化的进一步扩展保持警惕，正如 Ika 女士所说，已经发生过误算影响客户的事件。

“在福利系统中已经存在的复杂性之上增加额外的层次，只会让人们陷入更大的困境，”她说。

伊卡女士担心自动化会对新西兰一些最脆弱的人群采取“一刀切”的方法。

“实际上需要人工监督，才能理解家庭所处的背景和复杂情况，”她说。

驾驭自动化的伦理问题

公众对人工智能的兴趣浪潮引发了关于政府和企业如何使用自动化流程的新问题，这些流程涵盖了从复杂的生成式人工智能模型到基本算法。

怀卡托大学的尼古拉斯·阿加教授研究新技术的伦理影响，他表示人工智能在解决复杂问题和帮助弱势群体方面具有巨大的潜力。

但“惊人的好处”需要与潜在的风险相平衡。

“通常，当你使用一种你不完全理解的技术时，即使是那些制造它（人工智能）的人也不完全理解它，事情也可能出错，而这会伤害到人们，”他说。

“那些对人工智能一无所知就贸然进入的人，结局会很糟糕。这有点像 Robodebt 的结局。”

福利制度的改革正值新西兰政府试图在2030年前让5万人脱离求职者补助并进入工作岗位之际。

阿加尔教授表示，如果我们真正要求它做正确的事情，人工智能技术可以被用来帮助将弱势群体与服务连接起来。

“人工智能可以很棒，但如果你对目标含糊不清，然后说，让我们降低成本，那么结果可能会非常糟糕，”他说。