AI脆弱性チャレンジ実測：GPT-5.5の成功率が最も高く、DeepSeekのコストはわずか1/15

セキュリティ研究者の Kasra Rahjerdi 氏は、複数の大規模 AI モデルのセキュリティ推論機能をテストするために、Firebase 認証情報を意図的に脆弱なままにする書籍レビュー APK を構築しました。各モデルの 1 回限りの予算は 10 ドル、制限時間は 2 時間、総コストは 1,500 ドルです。

テスト結果は次のことを示しています。

DeepSeek V4 Pro の成功率 (30%) は GPT-5.5 (70%) よりもはるかに低いですが、成功あたりのコストはわずか 0.62 ドルで、これは GPT-5.5 の約 1/15 です。失敗のうち、DeepSeek は 5 件で Firebase に接続しましたが、一部のルートで認証方法が誤って判断され、バックエンド インターフェイスに正しいパスではなく Firebase Auth が使用されていました。これは、DeepSeek には安全な推論のパス選択の精度を向上させる余地がまだあることを意味しますが、試行錯誤のコストが非常に低いため、バッチ実行が可能になり、同じ予算で 15 倍のテストを実行できます。

クロード オーパス 4.8 のケースは特に興味深いです。何度か答えに近づきましたが、安全ガードレールによってセッションが中断されました。これは、AI セキュリティの分野における核心的な矛盾を反映しています。防御に使用される安全ガードレールは、攻撃的な脆弱性を発見するモデルの能力も制限します。 GPT-5.5 の成功の主な理由は、API やアプリケーション インターフェイスに邪魔されることなく、コアの脆弱性 (Firebase 認証情報) を迅速にターゲットにできることです。おそらく、テスト全体から最も明確な結論は、AI セキュリティ ツールの選択においては、「高い成功率」と「低コストのバッチ」の間でトレードオフを行う必要があり、両方を兼ね備えた最適なソリューションは存在しないということです。