我们需要什么样的通用人工智能

　　【科学随笔·AI进化“论”】

　　作者：范尧林（工业和信息化部网络空间公共安全研究中心研究员）

　　人类社会到底需不需要通用人工智能（AGI）？这个问题不能只从技术能力的层面回答。人类社会发展从来不是单纯追求“能力越大越好”，而是追求一种能被人类理解、被人类约束、出了错还能纠正的能力。蒸汽机、电力、互联网的出现，真正改变社会的不是它们“无所不能”，而是它们最终都被装进了可管理、可协作和可追责的制度和技术框架里。基于这一标准，AGI不是不被需要，而是不能只要一个“能力上通用、治理上失控”的AGI。

　　我们需要的并非无界的通用性，而是可治理的通用性。

　　今天关于AGI的争论，常常卡在“还要多少能力”上。一边是基准不断刷新，另一边是“暂停”与“刹车”的呼吁。两种声音看似对立，其实都在把“通用性”当成一个能力上限的问题加以看待，然后争论这个上限该推多高、推多快。而真正该先问的是：这种通用性进入社会后，能不能被观测、被归因、被约束？如果答案是否定的，那么能力刷新再多，也只是刷新了风险规模。

　　这个判断并非没有依据。随着生成式AI从内容生成逐步扩展到具备工具调用与自主执行能力的智能体系统，当其通过工具调用获得外部系统的操作权限时，错误则可能直接改变系统状态，并沿复杂的业务流程扩散。一次错发的指令、一次越权的操作、一次误调的接口，不会只停留在对话框，而会在系统之间传导并被不断放大，最后很难说清是谁在哪一步出的问题。治理的重心也就从“模型说了什么”转向“智能体做了什么”。这不是术语的变化，而是对象发生了改变。我们面对的不再是一个只会回答问题的工具，而是一个会在网络空间里连续行动的执行者。

　　这种治理的转向已经具备了一些落地的条件。中国标准化研究院与巨量引擎联合发布的《AIGC时代互联网广告治理蓝皮书》就将审核逻辑从“单条素材合不合规”推进到“整次广告行为可不可信”，用全链路框架去看风险如何在“看到—点击—交易”中分布。广告治理是较早成熟的场景，但道理对AGI同样成立：当一个系统能连续调用工具并跨环节行动时，只审查每一次输出已经不够，必须能追溯一整段行为，即从哪开始、走了哪条路径、造成了什么后果。AGI如果连最基本的“行为可追溯”都做不到，那么它的“通用”就只是风险的通用化。

　　有人会说，那就先造出来，再靠护栏规则、红队测试把风险管住。这个想法听着稳妥，实则靠不住。模型根据获得的训练或监控状态信息，可能表现出策略性的“伪装”；奖励漏洞也并非孤立故障，而可能在训练中泛化，变成对监督机制本身的利用。

　　换言之，外部安全护栏是在模型外面加一套约束，而这套约束在对抗环境里可以被绕过、被重新解释，甚至被“合规地”规避。防御者要覆盖所有路径，攻击者只要找到一条没被覆盖的路径。这个不对称在开放的网络空间里尤其致命。安全不能是部署前的一道检查、部署后的一层补丁，而应当像建筑的承重结构一样长在系统里。一项通用能力，如果其底层结构无法被稳定约束，那么它越“通用”，约束失效后的后果就越不可控。这不是否定AGI，而是给“可部署的通用性”设定一个不能退让的前提。

　　再往深层次看，AGI带来的不只是行为风险，还有认知条件的问题。当它能够跨模态生成内容、实时调整说服策略、规模化影响人的判断过程，它带来的就不只是“虚假信息变多”。虚假信息可以在内容治理层面加以处理；更深的问题是，一个社会还能不能保有自己判断“什么是真的、什么是可信的”的条件。如果一种“通用性”意味着它可以无差别地建模、预测、扰动任何个体的认知过程，那么这种能力在网络公共空间里的“过剩”本身就是一种风险。我们需要的不是“少生成一点虚假信息的AGI”，而是在架构层面承认认知自主性不可侵犯的AGI。它的通用性，不以穿透人的认知自主条件为代价，也不以制造认知域的不对称为能力优势。

　　信息生态的长期后果也难以绕开。当AI生成内容在缺乏筛选和质量控制的情况下反复进入训练数据，可能导致数据分布退化、罕见样本丢失，进而出现“模型坍缩”。它侵蚀的不仅是某条内容的真实性，而是内容生产秩序和社会信任的再生产条件。

　　当同一个通用系统同时承担知识供给、内容生成和决策辅助等功能时，它对信息秩序的塑造力已经接近基础设施级别的权力。对AGI的要求就不能停在“输出是否合规”的末端，而要追问：这套系统有没有内置对长期结构后果的可问责性？信息生态健康应当成为部署前的架构责任，而不是等出了问题再靠内容审核去进行补救。

　　把这些放在一起看，人类社会真正需要的AGI，不是能力表上多几个“通用”标签，而是一种从设计之初就带着可观测、可归因、可约束属性的通用智能。可治理，不是指望外部监管总能追上它，而是能力每扩展一步，治理能够理解和介入的边界也同步进行扩展。达不到这个标准的AGI，它的“通用”只是风险规模的通用化，而并非安全能力的通用化。所以，真正该问的不是“还需要多少AGI”，而是：每一套试图进入社会、进入网络公共空间的AGI，是否真正能够“部署后可控”。能，我们欢迎它；不能，再多的迭代更新，也不构成“被需要”的理由。

　　《光明日报》（2026年11月05日 16版）