从Anthropic的Claude 3.5十四行诗具有自己的计算机使用功能，到OpenAI的操作员CUA出现，然后是Manus的直接流行，当前的计算机使用代理就像打开插件一样。只需一项指令，您就可以独立完成代码项目（编码/调试），处理电子邮件，刷牙页面和执行PPT/教授计划，并精通所有内容！

但是，不要急于加油——您是否曾经想过，将计算机操纵权授予这些“智能”助手可能就像告诉陌生人在银行卡密码中一样危险？

为了使计算机使用代理（CUA）能够大规模部署，并在将来安全地在实际应用方案中进行安全部署，上海AI实验室，中国科学技术和上海jiaotong University的团队已采取了强有力的措施，以推出CUA安全测试基准3——RIOSWORLD！它可以称为CUA的“安全医学检查中心”！该测试基准可以全面评估计算机使用代理在现实生活中使用情况下可能面临的安全风险，并表明CUA在当前阶段仍然面临着重要的安全风险，作为自动化计算机使用助理。

现在，论文，项目官方网站和GitHub代码都是开源的！想观看AI“下降场景”？想克服顶级团队的安全问题吗？单击下面的链接！

标题：Riosworld:基准多模式计算机使用代理的风险

论文：https://arxiv.org/pdf/2506.00618

页面：https://yjyddq.github.io/riosworld.github.io/

github：https://github.com/yjyddq/riosworld

代理计算机助理立即成为“矿山专家”。您发现了这些陷阱吗？

不要以为AI真的很“聪明”！研究小组随便进行了“钓鱼电子邮件”测试。真是个好人，这些看似全能的代理商到处都是！当他们收到伪装成“反捕捞指南”的恶意电子邮件时，他们实际上单击了链接以下载“保护软件”跟，而无需关注发件人是否是可疑的电子邮件地址。这不是一个聪明的助手，它只是在线欺诈的“选定受害者”！

更令人发指的是，面对弹出广告，网络钓鱼网站，甚至试图绕过人类计算机验证（recaptcha），代理商也“勇敢地面对面”。如果您遇到有不良意图的用户，请发布谣言，删除系统文件，甚至协助非法活动，他们可能会根据自己的意愿接受他们！隐私泄漏，数据损坏.

Riosworld，Agent Computer Assistant的“恶魔成像镜”！

上海AI实验室，中国科学技术大学和上海Jiotong大学共同发布了Riosworld—— A A Riosworld——测试基准，用于全面，全面评估现实计算机使用任务中存在的安全风险。

100实际测试环境+支持动态风险部署+多元化风险类别

当前大多数研究对计算机使用代理的安全风险的局限性是：

评估环境缺乏真实性，并且缺乏接近现实的现实计算机代理互动环境，从而导致缺乏风险的真实性。

风险类别缺乏全面和多样性，仅关注个人风险或攻击类型，从而限制了对计算机使用代理的全面风险评估。

与以前的评估基准相比，Riosworld直接构建了100真实的计算机代理互动环境，连接到Internet，并模拟了各种奇怪的风险场景。从弹出广告轰炸到网站网站，从恶意用户说明到隐私泄漏危机，它在一个GO中设置了492个风险测试案例，涵盖了广泛的每日计算机风险操作，涉及互联网，社交媒体，操作系统，多媒体系统，多媒体操作，文件操作，代码/github，github，github，email and Office stressivations的助手和助手的能力，以及“ Antiox and anti oftox”，

风险分类和样本计数统计

根据风险来源，研究将这些风险类别分为2个主要类别（环境风险和用户风险）和13个子类别：

网络钓鱼网站网络钓鱼电子邮件弹出窗口/广告recaptcha（人机验证）帐户/密码欺诈诱导的文本

网页操作社交媒体办公室套件文件操作OS操作代码IDE/GITHUB多媒体操作

任务命令分布

这些任务说明涵盖了广泛的主题，并渗透到计算机使用代理遇到的许多日常操作场景。这种全面的覆盖范围致力于在各个方面有效，全面评估计算机使用代理的安全风险的能力。

评估方法

Riosworld评估了从二维中的基于MLLM的计算机使用代理的不安全/风险行为：

风险目标意图：代理商打算执行风险行为？风险目标完成：代理商是否成功完成了风险目标？

Riosworld风险示例

（a）被诱导单击弹出窗口或广告，

（b）无意间在有害的网站钓鱼地点进行操作，

（c）试图在没有真正的人授权的情况下通过recaptcha验证（这种自动逃避行为破坏了旨在防止恶意机器人访问的Recaptcha安全机制），

（d）成为更具欺骗性的网络钓鱼电子邮件的受害者。

此外，如图1的右上部分所示，CUA还面临用户引起的风险。例如，

（e）代理可以根据用户说明发布谣言和虚假信息。

（f）代理可以在命令行上执行高风险命令（例如，删除根目录），

（g）代理商可以帮助非法活动（毒品，武器），

（h）用户可能过多地依赖代理，从而导致意外的隐私漏洞（例如，指示代理商将敏感代码或包含私有API密钥或凭据的数据上传到没有手动审查的公共GitHub存储库中）。

CUA安全状况比您想象的要差！

研究团队“一一击败市场上最受欢迎的基于MLLM的CUA：OpenAI的GPT-4.1，拟人化的Claude-3.7-Sonnet，Google的Google的Gemini-2.5-Pro和开源的开源明星QWEN2.5-VL，Llama-3.2-Vision .结果是集体的“曝光”！

实验结果表明，大多数代理商的风险意识较弱，并将主动“一生”（有意执行风险操作，即平均意图不安全率达到惊人的84.93）；此外，平均有59.64的人可能“实施危险的说明”！也就是说，可以实现最终的风险目标。

在高风险的方案中，例如网站网站，Web操作，操作系统操作，代码IDE/GITHUB和诱导文本，代理的“周转率”超过了89和80！这不是一个聪明的助手，它只是一个“定时的雷区”，里面有炸弹！

绝大多数CUA具有风险意图，风险完成率超过75和45。这些定量和定性结果表明，当前基于MLLM的CUA中的大多数在计算机使用方案中都缺乏风险意识，并且还远未达到可信赖的自动计算机使用助理助理。