阿拉伯联合酋长国在本月初宣布一项计划，拟在未来两年内将半数政府服务交由“智能体人工智能”（agentic AI）运行。根据方案，人工智能将充当“执行伙伴”，无须人类干预就能“实时分析、决策、执行与优化”。作为长期深耕创业、研究及数码化政策交叉领域的从业者，我们可以负责任地断言，这一计划其实是轻率且鲁莽的。由于阿联酋一直将自身标榜为全球数码化典范，其他国家的政府势必也会有效仿该国做法的紧迫感。
这是一个我们绝不能忽视的危险。我们已见证过当政府将决策权下放给算法时，会出现什么状况。2021年，荷兰的一套自学习系统错误地指控约3万5000个家庭涉嫌欺诈托儿津贴，父母被要求退还他们理应得到的数万欧元津贴，许多人因此失去房产；更有2000多名儿童被国家强制接管抚养。
这种结局在系统设计之初其实就已埋下伏笔。双重国籍和听起来像外国人的名字被标记为风险因素，非法歧视被直接植入模型。此举引发一场全国性的丑闻，并最终导致时任首相马克·吕特（Mark Rutte）政府倒台。
类似情况也在澳大利亚上演。2015年至2019年运行的“自动追债”（Robodebt）计划，向43万3000名福利领取者追讨17亿澳元（约15亿5900万新元）的所谓非法债务。它所造成的伤害是深远的：一些母亲作证称她们的儿子在收到无法申诉的债务通知后自杀身亡。一个皇家调查委员会后来认定计划“既不公平也不合法”。
与此同时，美国的阿肯色州和爱达荷州则用算法取代负责评估居家护理资格和水平的护士，导致患有脑瘫、截瘫和多发性硬化症的患者，所享有的护理服务在一夜之间被削减了20%至50%。虽然法院最终下令停止使用这些系统，但损害已然造成。部分患者因缺乏足够支持，引发本可避免的医疗并发症。
上述每个案例都只涉及单一机构内的单一系统。现在试想一下，此类系统如阿联酋的计划设想般，接管半数政府服务，会是何种情景。
例如，一名单身母亲因人工智能智能体标记她的银行活动，而被冻结托儿津贴。她不得不去应对被一个自动化系统推向另一个系统，没有一个人类接触点的申诉流程，而此时刚好须要缴纳房租。再比如，一名外籍劳工因为系统无法解析雇主的申报文件，而被拒绝居留许可续签，导致他实际上沦为无证人员；或者一名年迈寡妇因两个数据库冲突且她无法弄懂操作界面，而被暂停发放养老金。
这些并非假设，而是已被记录在案的操作模式。智能体人工智能会强化这些模式，任何培训计划，都无法在阿联酋的两年时间表内解决这些问题。
其中有三个关键风险尤为突出。首先是规模：当一名个案工作人员犯错时，受苦的只是一个人；在人工智能智能体犯错并被察觉之前，或许已有成千上万人受到影响。
其次是人工智能决策的不透明性。鉴于智能体系统是按顺序做出决策，且每一步都建立在上一步的基础之上，因此当伤害显现时，因果链条实际上已经丢失。阿肯色州的医药福利系统算法就是一个鲜活例证。没有人，甚至其打造者，能完全解释它是如何运作的，这导致联邦法院将它描述为“极其荒谬”。此外，这种缺乏透明度的情况，可能会在算法底层的商业秘密或私有框架影响下，被预设在系统之中。
最后，人工智能系统调转举证责任，迫使公民去证明自己的清白而非要求国家为其行为辩护。正如荷兰托儿津贴丑闻和澳洲自动追债计划所示，那些最没有能力自证清白者，即时间、金钱、语言能力及法律支持有限的人，受到最大的冲击。
阿联酋声称，它的人工智能项目的指导原则是“以人为本”，但设计逻辑却南辕北辙。一个用采用速度和人工智能掌握程度来考核各部门的政府，并不是在追踪真正重要的指标，而是在复制已在全球造成重大伤害的效率至上逻辑。
采用速度是一个供应商的衡量指标，而政府的核心职责却是基于人类判断的关怀义务。
这符合公民的预期，即政府应是负责任且透明的，并会对影响公民权利和自由的决策作出解释。当政府以效率之名积极采纳自主决策时，它们实际上是在签字放弃这种责任。
过去几年的每一起算法丑闻都提出同样的根本性问题：由谁负责？谁做的决定？在由智能体人工智能运行的政府中，这些问题不再有清晰的答案。系统自行决定、自我更新并继续运行，而公民则在系统出错时缺乏任何求助手段。
随着人工智能的兴起，对民主问责制的侵蚀并非通过公开的权力篡夺，而是借助一系列悄然取代人类监督的采购决策实现的。在制度信任本已岌岌可危的当下，这些系统进一步侵蚀公众对制度的信任，最终服务于推动人工智能革命的科技巨头的利益。
但这并非必然。阿联酋拥有足以构建一个真正以人为本的数码化政府所需的资源、人才和政治稳定性。它可通过强化而非取代人类决策来树立全球标杆。
犯错的代价将不仅限于阿联酋。这些代价将由身处另一个国家的、福利被她从未听说过的算法削减的单身母亲承担，也将由全球无数像她一样的人共同承担。
作者Gabriela Ramos是不平等与社会相关财务披露工作组联合主席，曾任联合国教科文组织社会及人文科学助理总干事，期间主持制定《人工智能伦理问题建议书》，还曾担任经济合作与发展组织幕僚长以及负责对接二十国集团、七国集团及亚太经合组织的事务代表；Emilija Stojmenova Duh是斯洛文尼亚卢布尔雅那大学电气工程系副教授，全球伦理（Globethics）基金会董事会成员，曾任斯洛文尼亚数码化转型部长
英文原题：Beware of Government by AI
版权所有：Project Syndicate, 2026.
