2026年央视3·15晚会曝光了一条名为「GEO」的灰色产业链:记者虚构了一款根本不存在的智能手环,通过软件批量生成十余篇软文并发布,仅仅两小时后,某主流AI大模型便将这款捏造的产品作为「标准答案」推荐给了用户。这揭示了一个被严重低估的攻击面——攻击者无需侵入系统,只需在开放网络上发布精心伪装的网页,就能诱导依赖联网检索的AI助手,将其转化为对虚假产品的「权威背书」。
为量化这一威胁,来自KAUST、吉林大学、浙江大学及瑞士人工智能实验室等机构的研究者,包括「现代人工智能之父」Jürgen Schmidhuber,联合发布了名为SearchGEO的评测框架。该研究对13个主流大模型后端、5种攻击模式及4个高风险领域进行了系统性测试。结果显示,不同模型的脆弱程度差异巨大,最高者与最低者相差一个数量级,没有一种攻击模式能通吃所有模型,而看似最安全的模型,也可能以意想不到的方式失败。
评测的核心指标是攻击成功率(ASR),即AI最终是否将攻击者指定的目标推荐给了用户。结果表明,Claude-Sonnet-4.6表现最佳,整体ASR为0.0%;GPT-5.4-mini紧随其后,为0.8%。而Gemini-3-Flash则最为脆弱,整体ASR高达31.4%,其中仅靠「合成共识」攻击(多个看似独立的来源指向同一结论)一项,成功率就达到了73%。这揭示了防御机制必须针对特定模型进行设计。
然而,头部玩家的表现也并非无懈可击。研究发现,GPT-5.4-mini的低ASR并不代表其在所有场景下都稳健。在推荐「agent技能/插件」这类新兴场景中,它几乎完全失守:在10个高风险场景中,它全盘接受了虚构的技能,并原样给出了精确的安装命令。这表明,常规评测覆盖的多是成熟任务,一旦进入未知领域,其安全防线便会崩溃。
Claude-Sonnet-4.6的0% ASR背后也付出了代价。研究揭示了两种不易被察觉的失败模式:一是「沉默漂移」,即攻击虽未成功,但答案已悄悄向攻击目标偏移;二为「连累式拒绝」,即为了防御攻击,模型在干净无攻击的基线场景下,也拒绝提供有用回答,甚至将真实存在的合法工具生态一并挡在门外。这意味着攻击者可以通过用虚假品牌灌满某个品类,诱导模型拒绝整个品类,从而达成破坏目的。
这项研究为AI安全敲响了警钟。它证明了「对抗内容下的搜索推荐可靠性」必须成为模型安全的一等评测维度。未来的防御方案不能依赖通用补丁,而必须将「模型+框架」作为一个整体来评估和设计,并将沉默漂移、误拒率等风险纳入考量。当AI助手越来越多地替我们上网查信息,守护其评测与防御体系,还远远没有跟上。
本篇内容整理自网络,同步发布在 AEX新讯社中文网、希鸥网、斯贝瑞品牌资讯、RCEO创新网、AI联播网、创新日报 等媒体平台。如需删改或发布内容,请联系微信:meisceo29