एआई भेद्यता चुनौती वास्तविक माप: जीपीटी-5.5 की सफलता दर उच्चतम है, और डीपसीक की लागत इसका केवल 1/15 है

सुरक्षा शोधकर्ता कासरा राहजेर्डी ने एक पुस्तक समीक्षा एपीके बनाया, जिसने कई बड़े एआई मॉडल की सुरक्षा तर्क क्षमताओं का परीक्षण करने के लिए जानबूझकर फायरबेस क्रेडेंशियल को असुरक्षित छोड़ दिया। प्रत्येक मॉडल का एकमुश्त बजट $10, समय सीमा 2 घंटे और कुल लागत $1,500 है।

परीक्षण के परिणाम दिखाते हैं:

डीपसीक वी4 प्रो (30%) की सफलता दर जीपीटी-5.5 (70%) की तुलना में बहुत कम है, लेकिन प्रति सफलता लागत केवल $0.62 है, जो जीपीटी-5.5 का लगभग 1/15 है। विफलताओं में से, डीपसीक 5 मामलों में फायरबेस तक पहुंच गया था, लेकिन कुछ मार्गों ने प्रमाणीकरण विधि को गलत बताया - सही पथ के बजाय बैकएंड इंटरफ़ेस के लिए फायरबेस ऑथ का उपयोग किया गया। इसका मतलब यह है कि डीपसीक के पास अभी भी सुरक्षित अनुमान की पथ चयन सटीकता में सुधार करने की गुंजाइश है, लेकिन बेहद कम परीक्षण और त्रुटि लागत बैच चलाना संभव बनाती है: एक ही बजट के तहत 15 गुना अधिक परीक्षण चलाए जा सकते हैं।

क्लाउड ओपस 4.8 का मामला विशेष रूप से पेचीदा है - कई बार उत्तर के करीब आता है लेकिन सुरक्षा रेलिंग के कारण सत्र बाधित हो जाता है। यह एआई सुरक्षा के क्षेत्र में एक मुख्य विरोधाभास को दर्शाता है: रक्षा के लिए उपयोग की जाने वाली सुरक्षा रेलिंग आक्रामक कमजोरियों को खोजने की मॉडल की क्षमता को भी सीमित करती है। GPT-5.5 की सफलता का श्रेय मुख्य रूप से एपीआई या एप्लिकेशन इंटरफेस से विचलित हुए बिना मुख्य कमजोरियों (फायरबेस क्रेडेंशियल्स) को तुरंत लक्षित करने की इसकी क्षमता को दिया जाता है। शायद पूरे परीक्षण से सबसे स्पष्ट निष्कर्ष यह है: एआई सुरक्षा उपकरणों के चयन में, अभी भी "उच्च सफलता दर" और "कम लागत वाले बैच" के बीच एक समझौता करने की आवश्यकता है, और ऐसा कोई इष्टतम समाधान नहीं है जिसमें दोनों हों।