锐意创新 · 敏锐洞察 · 锐不可当

中国工程院院士邬江兴:将“安全基因”植入人工智能系统

今年开年,OpenClaw席卷全球,推动人工智能从“会聊天”走向“能干活”。与此同时,关于其安全性的讨论热火朝天。

AI的智能化程度不断提高的同时,安全风险如影随形。为了让人工智能“更聪明”,往往需要赋予其更大的行动自由与自主决策空间,但这恰恰会放大潜在的失控风险;若为了“更向善”而施加过多约束,又可能限制其性能发挥。于是,让人工智能“更向善”与“更聪明”这两个目标在实践中似乎陷入对立。“安全与性能割裂”的悖论已成为制约人工智能规模化赋能实体经济发展的关键瓶颈。

近日,科技日报记者专访了中国工程院院士、国家数字交换系统工程技术研究中心主任、网络通信与计算机领域专家邬江兴。在他看来,解决上述悖论,必须放弃“打补丁”的防御思维,转而追求“硬性的防御屏障”,实现人工智能系统的内生安全。

邬江兴院士

人物档案

邬江兴,中国工程院院士,国家数字交换系统工程技术研究中心主任,通信与信息系统专家。长期致力于信息技术与网络安全领域研究与实践,先后获国家科技进步奖创新团队奖1项,国家科技进步奖一等奖3项、二等奖4项,国家教学成果一等奖1项,何梁何利基金科学与技术成就奖,全国创新争先奖等。

邬江兴,中国工程院院士,国家数字交换系统工程技术研究中心主任,通信与信息系统专家。长期致力于信息技术与网络安全领域研究与实践,先后获国家科技进步奖创新团队奖1项,国家科技进步奖一等奖3项、二等奖4项,国家教学成果一等奖1项,何梁何利基金科学与技术成就奖,全国创新争先奖等。

人工智能存在内生性安全风险

记者:近来关于人工智能风险的讨论越来越热烈,我们应该怎么看待它?

邬江兴:我认为要从人工智能竞争角度来分析这个问题。当前各国关于人工智能的竞争本质上围绕两个核心点展开。一是算法模型与算力技术的比拼,这方面,目前我国发展情况与国际先进水平之间,呈现追赶与博弈的态势。二是规模化渗透应用的耐力比拼,这一点我们有体制机制和市场优势。

美国智库兰德公司曾明确表示,人工智能竞争并非冲刺赛,而是一场终点模糊的马拉松,决定胜负的关键是哪个国家能更高效地推动人工智能在各行业实现规模化落地。安全可信,正是制约这场马拉松推进的“裉节或前置性”问题。大众不敢放心地使用人工智能,企业不敢大胆地推广人工智能,监管部门缺乏可量化管控依据……导致这些问题的核心原因都是人工智能的安全边界不确定。这种风险不是局部的、偶然的,而是贯穿人工智能全生命周期的内生的或自在性矛盾,若无法破解这一问题,即便算法再先进、算力再充沛、应用场景再广泛,也难以实现人工智能对其他行业真正的规模化赋能,甚至可能因风险失控引发更大的社会问题。

记者:从技术本质上看,人工智能安全风险的根源是什么?

邬江兴:人工智能安全风险的根本问题,在于本因缺陷与根因问题的双重叠加。

从本因来看,当前大模型的输出本质是概率性选择生成,而非传统计算的确定性逻辑推导。这种天然特性导致其输出具有不可解释、不可判识、不可推论这三大不确定性问题,“幻觉”就是这种本因缺陷的典型体现。从数学层面讲,这种“幻觉”根植于训练数据的统计学本质,不可能彻底消除。

从根因来看,人工智能规模化应用,离不开基于冯·诺依曼架构的数字生态系统,这种架构天生存在功能灵活性与安全边界确定性的固有矛盾。因此可以说,其安全问题是“娘胎里带来的”。加之功能安全、网络安全、数据安全等多重风险相互交织,仅靠事后打补丁、叠罗汉、加防护这类“附加式”“保镖式”手段难以奏效,甚至可能适得其反。这决定了我们必须站在统筹发展与安全的高度,从源头上治理,实现内生安全。

记者:那是不是可以理解为,现有的人工智能安全防御范式很难应对这种内生性安全风险。

邬江兴:是的。当前的人工智能安全治理主要有自律、他律两种模式,但这两种模式都存在难以突破的困境。

自律模式试图通过优化训练数据、改进模型结构、细化价值对齐来消除安全边界的不确定性。然而,这一模式陷入了一种完备性困境:试图用局部自证去覆盖整体不确定的安全边界。再完善的模型优化,也无法穷尽人工智能概率性输出可能带来的所有风险。

他律模式包括人类监督和传统机器测试两种方式。人类监督难以满足海量人工智能应用的实时检测需求——毕竟人工智能的运行速度之快、应用场景之广,远超人类监督的能力边界。传统机器测试则用基于软件工程的确定性符号逻辑系统,去测试具有不确定性的概率性人工智能模型,存在认知上的根本不匹配。这好比刻舟求剑,永远无法精准捕捉其动态变化。

更关键的是,传统安全范式遵循还原论思维,习惯性地将系统拆解为独立模块逐一优化,用“打地鼠”的方式疲于奔命地被动应对。但人工智能的安全风险是系统性、关联性的,传统的碎片化防御无法应对不确定性风险所引发的连锁反应,这正是其核心短板所在。因此,要破解人工智能的内生安全风险,必须从根源上化解这一内生安全问题。

实现安全与性能协同共生

记者:您刚才提到了人工智能内生安全这一概念,这究竟是什么意思?它与传统“补丁式”的安全防御有何区别?

邬江兴:简单来说,人工智能内生安全的核心,在于跳出“附加安全”的路径依赖,并回答三个关键问题:如何从机理上证明人工智能的内生安全?如何设计具有内生安全能力的人工智能系统?如何检测其内生安全的质量或性能?

与传统事后补漏的“补丁式”防御不同,内生安全将“安全基因”深度植入人工智能系统的架构设计、模型训练与算法应用全流程,使安全成为人工智能系统的原生属性,而非后续附加的功能。

传统安全是先有系统、后补安全,安全始终滞后于风险;内生安全则是安全与系统同生共长,将原本不可调和的安全与性能矛盾,转化为可控的系统特性。它不再试图彻底消除不确定性,而是通过概率化的风险管控,让安全成为性能提升的催化剂,而非绊脚石。其核心逻辑是结构决定安全——通过优化系统架构,从根源上增强人工智能的抗扰动能力,实现安全与性能的协同共生。

记者:内生安全的优越性显而易见,那么,它是否具备可行性?

邬江兴:内生安全的可行性,已通过信息论、控制论、博弈论、系统论等多学科交叉的数学证明,得到了理论化与形式化的验证。

在信息论层面,我们创建了“结构编码/环境加密”新体制,通过系统架构的异构性编码,实现类似“一次一密”的完美安全效果,使攻击者无法捕捉系统的运行规律。在控制论层面,内生安全的动态异构冗余(DHR)架构具备随机稳定性、指数稳定性与超稳定性,即使系统受到扰动,也能快速重建稳定状态,不会引发系统性崩溃。在博弈论层面,内生安全架构拥有纳什均衡解与双盲效应,能大幅压缩攻防双方的博弈空间,让攻击者难以掌握系统的运行逻辑。在系统论层面,DHR架构可在状态空间构建特殊的拓扑结构,使攻击轨迹受到莫比乌斯环式动力学机制的约束,无法实现有效突破。这些数学证明,使内生安全从理论假说转化为可量化、可推导、可验证的科学体系。

记者:理论层面具备可行性,在实战层面,内生安全的有效性是否经过了检验?

邬江兴:当然。实战检验既是内生安全最有力的支撑,也是科学证伪的必要环节。紫金山实验室内生安全试验场(NEST)连续八届“强网”拟态防御国际精英挑战赛的结果,充分证明了其有效性。此外,我们在智能网联汽车、人工智能电视、无人系统安全检测等场景中的科学验证,也佐证了其落地可行性。

构建适配内生安全的质量检测体系

记者:人工智能内生安全如何在更大范围内安全落地?

邬江兴:推进人工智能内生安全落地,必须从安全质量检测开始,构建适配内生安全的质量检测体系,让安全可量化、可验证、可体验。

记者:那么具体来说,该怎么构建适配内生安全的质量检测体系?

邬江兴:我认为,加快构建人工智能内生安全质量检测体系,需要从科学问题破解、平台建设、行业试点三个方面协同发力。

首先,要破解三大核心问题。一是建立可信任、可检测的量纲,使人工智能安全不再是模糊的概念。二是提升检测理论与技术的普适性,实现规模化、高效验证,降低检测成本。三是构建良好产业生态,避免因检测周期长、成本高而阻碍人工智能创新链与产业链的衔接。

其次,要加快建设国家级人工智能内生安全质量检测中试平台。立足国家战略需求,打造“科学验证、产业赋能、标准引领、全球协同”的综合平台,整合科研院所、检测机构、头部企业资源,为检测技术的规模化应用提供支撑。

最后,要谋划在前、先行先试。人工智能质量检测机构应适应智能经济加速到来的趋势,为大模型驱动的智能产品普及提供质量保障。坚持刚需牵引与民生拓展双驱动,在智能网联汽车、智能无人机、智能制造等高安全行业,以及智能家居、智能康养、智能电器等民生场景同步开展质量检测示范,尽快构建“瀑布式”的全行业快速拓展能力。

记者:看来,人工智能内生安全质量检测是一个发展前景很广阔的领域。

邬江兴:是的,人工智能内生安全检测本身就是一个潜力巨大的未来产业,有望创造亿元级的市场需求,并带动人工智能核心产业与相关配套产业协同升级。

在建设标准化认证体系方面,人工智能内生安全检测产业将“安全+性能”纳入智能产品评价体系,有助于引导市场拒绝缺乏“默认安全”的智能产品,筑牢AI产业高质量发展的信任基石。

在创新全链条服务模式方面,人工智能内生安全检测产业可整合检测认证、安全维护、技术升级等全流程服务,有利于培育专业化、规模化的检测服务主体,孵化第三方检测机构与检测领域的新支柱企业,形成“AI主导+安全检测配套”的产业协同发展生态。

在构建风险分散机制方面,人工智能内生安全检测产业可带动人工智能安全保险业的发展,推动形成“检测—认证—保险”联动机制,以市场化手段分散AI应用的安全风险,撬动AI规模化应用需求,带动上下游产业协同升级。

实现真正的创新,前提是敢于质疑、勇于挑战权威。科学探索能走多远,往往取决于我们回归本源的能力。这种溯源,是对理论基石的重新审视。只有敢于质疑学科的基本假设,才能真正触及创新的源头。

这要求我们打破既有框架,摆脱对权威理论的盲目遵从,敢于在无人区里树立灯塔。这种突破需要自信与勇气,需要建立新范式、开辟新路径,在自立自强、独创独有上持续下功夫。

20世纪80年代,我接手搞程控交换机时,连这东西的原理都不太懂。当时西方人说,到20世纪末中国也搞不出来这个东西。可我偏不信——我从程控交换机的第一性问题出发,用“软件定义功能”的思路去造“能打电话的计算机”,结果搞出了“04机”,把电话初装费从五千块降到了两三百。这段经历告诉我,创新不是修修补补,而是敢于走没人走过的路。创新之路上充满荆棘,希望青年人别怕摔跟头,勇敢地迈出创新的第一步。

因此,我希望青年科技工作者保持对知识本真的追求,在科学探索中追寻本真、突破“条条框框”,为推动或引领人类工程科学的发展作出新贡献。

阅读量:1203
阅读时间:9分钟