AI越来越能干，也闯祸越来越多？蚂蚁开源两套安全框架，想给AI拴上“安全绳”

一句话说清楚

现在AI已经不满足于聊天了，它能自己上网搜资料、写代码、点外卖（这种能自己干活的AI叫“智能体”）。但能力越大，闯祸也越大——坏人可能骗它偷偷传走你的隐私，或者让它做违法的事。蚂蚁最近开源了两套安全框架，相当于给AI戴了两道“安全带”：一道在它动手前检查指令安全，一道在它感知信息时过滤陷阱。

AI惹的祸，从“说什么”变成“做什么”

以前AI安全主要管“输出内容”，比如别让它骂人、别答违法问题。但现在智能体自己操作电脑、调用工具，风险从“嘴”转移到了“手”——它可能被坏人远程操纵，执行恶意代码、访问不该看的文件。更麻烦的是，危险还能藏在图片里（比如一张图里的隐形文字），AI读完就可能中招。传统靠打补丁修漏洞的方法就像给漏水的船不停贴创可贴，根本治不了本。

蚂蚁的两套框架，一个管“行为”，一个管“感知”

• 第一套叫SingGuard-NSFA：专门管智能体要做什么。它在AI执行命令前先检查：这个请求坏不坏？是不是想滥用工具？生成有害代码？检查速度很快，几十毫秒就能判断，而且万一将来有新危险，只需给它加一个小“分类头”就能扩展，不用从头再学。
• 第二套叫SingGuard：专门管多模态（看图、读文字、听语音）的AI。它把安全规则做成“实时指挥”——不同业务当场发安全红线，AI逐条对照判断。比如微信里发图，它会看图上有没有骗子信息、违规广告。它还有“快慢分工”：简单问题秒过，复杂问题深度推理，效率很高。

为什么这对普通人很重要？

有了这类底层安全框架，以后你用AI助手订票、写文件、发邮件时，AI背后先有一道自动安检。坏人想骗AI泄露你的银行卡号？会被拦截。想用AI生成诈骗短信？也会被挡。而且这些框架是开源的，很多公司都能直接用，等于给整个行业定了一套统一的安全标准。

之前蚂蚁就发现过Claude Code、OpenClaw的漏洞并帮着修复，现在直接送你一套“安全工具箱”——以后AI闯祸的概率会越来越低，普通人用AI也能更放心。