（纽约综合讯）当人工智能可以实现自我进化时，人类的监管可能跟不上技术的发展速度，诸多威胁将随之而至。美国人工智能公司Anthropic呼吁各国的前沿AI公司，合作设置一个“刹车”，在必要时一致放缓或暂停尖端AI的发展。
Anthropic星期四（6月4日）在官网发长文，探讨人工智能（AI）惊人的发展速度、它们的递归自我改进（Recursive Self-Improvement）能力以及这可能带来的社会影响。
递归自我改进是指AI系统能够自主设计和开发下一代系统，完成自我进化。文章指出，这项重大的技术突破有望在科学、医疗保健等诸多领域为世界带来巨大福祉，但同时也可能使AI系统失控的风险提高。
“如果系统能够完全自主进化，那么我们如何保障它安全、如何监控它们以及如何引导它们的行为，都会变得更为重要。”
Anthropic因此提出，前沿AI开发者应构建一个经过一致协调且可验证的程序，以备AI系统开始以超过社会风险管控能力的速度进行自我进化时，能够放缓或暂停AI开发进程。
文章强调，这须要以中美为首的多国主要AI公司，同意同步放缓或停止研发，并且彼此监督；因为如果只有一些公司暂停，其他竞争对手就会赶超，这无益于控制技术发展。
Anthropic联合创始人克拉克（Jack Clark）接受英国广播公司（BBC）采访时说：“我们需要能够选择踩油门或者踩刹车。可是目前，AI行业像是有油门踏板，却没有刹车踏板。”
法新社报道，Anthropic的这个提议遭到一些硅谷业者和白宫官员反对，指称它夸大风险，试图以安全隐忧为借口，拖慢竞争对手的前进步伐。
他们也认为，美国的AI发展只要有丝毫放缓，都可能使中国在这场世纪技术竞争中获得决定性的战略优势。
Anthropic开发的Claude Mythos前沿AI模型，已证实可轻易识破许多常见应用的大量漏洞，近期引起业界和各国政府关注与警惕。
美国总统特朗普本星期二（2日）刚签署一项行政令，让AI开发商在公开最新的先进模型前，自愿向联邦政府开放为期30天的测试窗口，让模型接受网络安全测试。
教宗良十四世前不久在发表首份通谕时，特别针对AI的发展向硅谷科技领袖和人类社会郑重发出警惕，并宣布与Anthropic合作，“在AI时代共同引导人类”。
