AI 취약점 챌린지 실제 측정 : GPT-5.5는 성공률이 가장 높으며 DeepSeek 비용은 1/15에 불과합니다.

보안 연구원인 Kasra Rahjerdi는 여러 대규모 AI 모델의 보안 추론 기능을 테스트하기 위해 의도적으로 Firebase 자격 증명을 취약하게 만든 서평 APK를 구축했습니다. 각 모델의 일회성 예산은 $10, 시간 제한은 2시간, 총 비용은 $1,500입니다.

테스트 결과는 다음과 같습니다.

DeepSeek V4 Pro의 성공률(30%)은 GPT-5.5(70%)보다 훨씬 낮지만, 성공당 비용은 GPT-5.5의 1/15 정도인 $0.62에 불과합니다. 실패 중 DeepSeek는 5개 사례에서 Firebase에 연락했지만 일부 경로는 인증 방법을 잘못 판단했습니다. 즉, 올바른 경로 대신 백엔드 인터페이스에 Firebase 인증을 사용했습니다. 이는 DeepSeek이 안전한 추론의 경로 선택 정확도를 향상시킬 수 있는 여지가 여전히 남아 있지만 시행착오 비용이 매우 낮기 때문에 일괄 실행이 가능하다는 것을 의미합니다. 동일한 예산으로 15배 더 많은 테스트를 실행할 수 있습니다.

Claude Opus 4.8의 사례는 특히 흥미롭습니다. 여러 번 답변에 근접했지만 안전 가드레일로 인해 세션이 중단되었습니다. 이는 AI 보안 분야의 핵심 모순을 반영합니다. 방어에 사용되는 안전 가드레일은 공격적인 취약점을 찾는 모델의 능력도 제한합니다. GPT-5.5의 성공은 주로 API나 애플리케이션 인터페이스에 방해받지 않고 핵심 취약점(Firebase 자격 증명)을 빠르게 표적으로 삼는 능력에 기인합니다. 아마도 전체 테스트에서 가장 명확한 결론은 AI 보안 도구 선택에 있어서 여전히 "높은 성공률"과 "저비용 배치" 사이의 절충이 필요하며, 두 가지를 모두 갖춘 최적의 솔루션은 없다는 것입니다.