AI漏洞挑战赛实测:GPT-5.5成功率最高,DeepSeek成本仅其1/15
安全研究员 Kasra Rahjerdi 搭建了一个故意留有 Firebase 凭据漏洞的图书评论 APK,测试多款 AI 大模型的安全推理能力。每个模型单次预算为 10 美元、限时 2 小时,总花费 1500 美元。

测试结果显示:
| 模型 | 成功次数/总次数 | 单次成功成本 |
|---|---|---|
| GPT-5.5 | 7/10 | $9.46 |
| 3/10 | $0.62 | |
| Claude Sonnet 4.6 | 2/10 | — |
| Claude Opus 4.8 | 2/10 | — |
DeepSeek V4 Pro 的成功率(30%)远低于 GPT-5.5(70%),但单次成功成本仅 $0.62,约为 GPT-5.5 的 1/15。在失败次数中,DeepSeek 有 5 次已接触到 Firebase 但部分路线误判了认证方式——将 Firebase Auth 用于后端接口而非正确路径。这意味着 DeepSeek 在安全推理的路径选择准确性上仍有提升空间,但极低的试错成本让批量运行成为可能:同样的预算下可以多跑 15 倍的测试次数。
Claude Opus 4.8 的案例尤为耐人寻味——多次接近答案但被安全护栏中断了会话。这体现了 AI 安全领域的一个核心矛盾:用于防御的安全护栏同时也限制了模型的进攻性漏洞发现能力。而 GPT-5.5 的成功主要归因于其不被 API 或应用界面分散注意力、能快速锁定核心漏洞(Firebase 凭据)的能力。整个测试中最清晰的结论或许是:在 AI 安全工具的选型中,目前仍需要在"高成功率"和"低成本批量"之间做取舍,尚不存在两者兼得的最优解。
评论交流
欢迎分享看法。评论审核通过后公开;待审核和已拒绝的评论仅自己可见,邮箱不会公开。