Test réel de l'AI Vulnerability Challenge : GPT-5.5 a le taux de réussite le plus élevé et DeepSeek V4 Pro n'en coûte que 1/15
Les chercheurs en sécurité ont testé plusieurs modèles d'IA avec des APK qui laissaient délibérément des failles : GPT-5.5 avait le taux de réussite le plus élevé, soit 70 %. Le coût de réussite unique de DeepSeek V4 Pro n'était que de 0,62 $, soit 1/15 du GPT-5.5. Claude a interrompu la séance à cause des barrières de sécurité.
Mesure réelle du défi de vulnérabilité IA : GPT-5.5 a le taux de réussite le plus élevé, et le coût de DeepSeek n'en représente que 1/15
La chercheuse en sécurité Kasra Rahjerdi a créé un APK de critique de livre qui a délibérément laissé les informations d'identification Firebase vulnérables pour tester les capacités de raisonnement de sécurité de plusieurs grands modèles d'IA. Chaque modèle dispose d'un budget unique de 10 $, d'une limite de temps de 2 heures et d'un coût total de 1 500 $.
Les résultats des tests montrent :
| Modèle | Nombre de réussites/nombre total de fois | Coût par réussite |
|---|---|---|
| GPT-5.5 | 7/10 | 9,46 $ |
| DeepSeek V4 Pro | 3/10 | 0,62$ |
| Claude Sonnet 4.6 | 2/10 | — |
| Claude Opus 4.8 | 2/10 | — |
Le taux de réussite de DeepSeek V4 Pro (30 %) est bien inférieur à celui de GPT-5.5 (70 %), mais le coût par réussite n'est que de 0,62 $, soit environ 1/15 de GPT-5.5. Parmi les échecs, DeepSeek avait contacté Firebase dans 5 cas, mais certaines routes avaient mal évalué la méthode d'authentification - en utilisant Firebase Auth pour l'interface backend au lieu du chemin correct. Cela signifie que DeepSeek a encore de la marge pour améliorer la précision de la sélection de chemin pour une inférence sûre, mais le coût extrêmement faible des essais et des erreurs rend l'exécution par lots possible : 15 fois plus de tests peuvent être exécutés avec le même budget.
Le cas de Claude Opus 4.8 est particulièrement intrigant : il s'est rapproché à plusieurs reprises de la réponse mais a vu la séance interrompue par des garde-corps de sécurité. Cela reflète une contradiction fondamentale dans le domaine de la sécurité de l’IA : les garde-fous utilisés pour la défense limitent également la capacité du modèle à détecter les vulnérabilités offensives. Le succès de GPT-5.5 est principalement attribué à sa capacité à cibler rapidement les principales vulnérabilités (identifiants Firebase) sans se laisser distraire par les API ou les interfaces d'application. La conclusion la plus claire de l'ensemble du test est peut-être la suivante : lors de la sélection des outils de sécurité de l'IA, il est toujours nécessaire de faire un compromis entre "taux de réussite élevé" et "lot à faible coût", et il n'existe pas de solution optimale qui réunisse les deux.
Avis