Aktueller Test der AI Vulnerability Challenge: GPT-5.5 hat die höchste Erfolgsquote und DeepSeek V4 Pro kostet nur 1/15 davon
Sicherheitsforscher testeten mehrere KI-Modelle mit APKs, die bewusst Lücken ließen: GPT-5.5 hatte mit 70 % die höchste Erfolgsquote. Die einzelnen Erfolgskosten von DeepSeek V4 Pro betrugen nur 0,62 $, was 1/15 von GPT-5.5 entsprach. Claude unterbrach die Sitzung aufgrund von Sicherheitsvorkehrungen.
Tatsächliche Messung der AI Vulnerability Challenge: GPT-5.5 hat die höchste Erfolgsquote und die Kosten für DeepSeek betragen nur 1/15 davon
Die Sicherheitsforscherin Kasra Rahjerdi hat eine Buchrezensions-APK erstellt, die Firebase-Anmeldeinformationen absichtlich angreifbar machte, um die Sicherheitsbegründungsfähigkeiten mehrerer großer KI-Modelle zu testen. Jedes Modell hat ein einmaliges Budget von 10 $, ein Zeitlimit von 2 Stunden und Gesamtkosten von 1.500 $.
Die Testergebnisse zeigen:
| Modell | Anzahl der Erfolge/Gesamthäufigkeit | Kosten pro Erfolg |
|---|---|---|
| GPT-5.5 | 7/10 | 9,46 $ |
| DeepSeek V4 Pro | 3/10 | 0,62 $ |
| Claude Sonett 4.6 | 2/10 | — |
| Claude Opus 4.8 | 2/10 | — |
Die Erfolgsquote von DeepSeek V4 Pro (30 %) ist viel niedriger als die von GPT-5.5 (70 %), aber die Kosten pro Erfolg betragen nur 0,62 $, was etwa 1/15 von GPT-5.5 entspricht. Von den Fehlern hatte DeepSeek in fünf Fällen Kontakt zu Firebase aufgenommen, aber einige Routen schätzten die Authentifizierungsmethode falsch ein – sie verwendeten Firebase Auth für die Backend-Schnittstelle anstelle des richtigen Pfads. Dies bedeutet, dass DeepSeek noch Spielraum für eine Verbesserung der Pfadauswahlgenauigkeit der sicheren Inferenz hat, aber die extrem niedrigen Trial-and-Error-Kosten ermöglichen den Batch-Betrieb: Mit dem gleichen Budget können 15-mal mehr Tests durchgeführt werden.
Der Fall von Claude Opus 4.8 ist besonders faszinierend – er kommt der Antwort mehrmals nahe, die Sitzung wird jedoch durch Sicherheitsleitplanken unterbrochen. Dies spiegelt einen zentralen Widerspruch im Bereich der KI-Sicherheit wider: Die zur Verteidigung eingesetzten Sicherheitsleitplanken schränken auch die Fähigkeit des Modells ein, offensive Schwachstellen zu finden. Der Erfolg von GPT-5.5 wird hauptsächlich auf seine Fähigkeit zurückgeführt, Kernschwachstellen (Firebase-Anmeldeinformationen) schnell zu bekämpfen, ohne durch APIs oder Anwendungsschnittstellen abgelenkt zu werden. Die vielleicht klarste Schlussfolgerung aus dem gesamten Test ist: Bei der Auswahl von KI-Sicherheitstools muss immer noch ein Kompromiss zwischen „hoher Erfolgsquote“ und „kostengünstiger Charge“ geschlossen werden, und es gibt keine optimale Lösung, die beides bietet.
Bewertungen