क्लाउड ओपस 5 जारी: आधी कीमत पर फैबल 5 अत्याधुनिक बुद्धिमत्ता के करीब, वैज्ञानिक मूल्यांकन में 4.8 से आगे
एंथ्रोपिक ने 24 जुलाई को क्लाउड ओपस 5 जारी किया: ओपस 4.8 के समान कीमत पर, यह फ्रंटियर-बेंच और कर्सरबेंच जैसे कई बेंचमार्क पर SOTA को ताज़ा करता है। एआरसी-एजीआई 3 स्कोर उप-इष्टतम मॉडल का 3 गुना है, इसे "इतिहास में उच्चतम संरेखण और सबसे कम धोखा" मॉडल कहा जाता है।
एंथ्रोपिक ने 24 जुलाई को एक सावधानीपूर्वक गणना की गई शतरंज का टुकड़ा गिरा दिया:
बेंचमार्क परिणाम: SOTA बनाम "3x अगला सर्वश्रेष्ठ"
ओपस 5 का हार्ड डेटा लगभग हर प्रमुख पैमाने पर एक "क्रशिंग" फ़ुटनोट छोड़ता है:
- फ्रंटियर-बेंच v0.1: अन्य सभी मॉडलों से आगे निकल जाता है और प्रति कार्य कम लागत पर ओपस 4.8 के दोगुने से अधिक प्रदर्शन प्राप्त करता है
- कर्सरबेंच 3.2: उच्चतम प्रयास फ़ेबल 5 शिखर से केवल 0.5% अलग है, और लागत इसकी आधी है
- ARC-AGI 3: अगले सर्वश्रेष्ठ मॉडल से 3x अधिक स्कोर
- ज़ैपियर ऑटोमेशनबेंच: एक ही कार्य लागत पर, पास दर उप-इष्टतम मॉडल की लगभग 1.5 गुना है
- OSWorld 2.0: एक तिहाई से अधिक लागत पर Fable 5 के सर्वोत्तम परिणाम को मात देता है
वैज्ञानिक मूल्यांकन 4.8 से भी बेहतर है: सभी जीवन विज्ञान मूल्यांकन बेहतर हैं, कार्बनिक रसायन विज्ञान का आंतरिक स्कोर 4.8 से 10.2 प्रतिशत अंक अधिक है, और प्रोटीन से संबंधित कार्य 7.7 प्रतिशत अंक अधिक हैं।
मूल्य निर्धारण और नई इंजीनियरिंग क्षमताएं
ओपस 5 आज से सभी प्लेटफार्मों पर उपलब्ध है, इसकी कीमत $5/मिलियन इनपुट टोकन, $25/मिलियन आउटपुट टोकन (ओपस 4.8 के समान) है, और फास्ट मोड (लगभग 2.5 गुना तेज, 2 गुना कीमत) प्रदान करता है। एक साथ दो बीटा इंजीनियरिंग टीम के ध्यान के लायक हैं: सत्र के दौरान उपकरण परिवर्तन (शीघ्र कैश को अब अमान्य नहीं किया जाएगा, लंबे सत्रों की लागत संरचना में काफी सुधार किया जाएगा) और एपीआई स्वचालित रोलबैक (डाउनग्रेड गलती सहिष्णुता पर एक आधिकारिक प्रयास)।
संरेखण के स्तर पर, एंथ्रोपिक ने एक दुर्लभ बयान दिया - ओपस 5 इसका "अब तक का सबसे संरेखित और सबसे कम भ्रामक मॉडल" है, जिसका संरेखण स्कोर 2.3 है। 30 जून को प्रचारित "जेलब्रेक गंभीरता स्कोर" उद्योग ढांचे के अनुरूप, एंथ्रोपिक प्रदर्शन के साथ-साथ एक विक्रय बिंदु के रूप में सुरक्षा क्षमताओं का विपणन कर रहा है।
उद्योग के नजरिए से, ओपस 5 कार्ड स्थिति का गहरा अर्थ यह है कि जबकि फैबल 5 (अत्याधुनिक फ्लैगशिप) और सॉनेट 5 (बड़े पैमाने पर मुख्य बल) क्रमशः दो छोरों पर कब्जा करते हैं, ओपस 5 मध्य रेंज को "आधी कीमत वाले फ्लैगशिप" से भरता है। यह वास्तव में OpenAI GPT-5.6 (सोल/टेरा/लूना) के त्रि-स्तरीय मूल्य निर्धारण का प्रत्यक्ष दर्पण प्रतिक्रिया है। डेवलपर्स के लिए, इस "लागत-क्षमता" संतुलन के दोनों पक्षों के निर्माता एक ही चर को विकल्प सौंप रहे हैं - बुद्धिमत्ता की प्रति यूनिट डॉलर की लागत।
भविष्य में ट्रैकिंग के लायक कई दिशाएँ:
- एआरसी-एजीआई 3 मूल्यांकन पद्धति: 29 जुलाई को ओपनएआई द्वारा "स्कोर को तीन गुना बढ़ाने वाली दो सेटिंग्स" का खुलासा करने के बाद, प्रत्येक कंपनी के एआरसी-एजीआई 3 नंबरों की क्षैतिज तुलनीयता की फिर से जांच करने की आवश्यकता है।
- मध्य-सत्र उपकरण परिवर्तनों का वास्तविक लागत प्रभाव: शीघ्र कैश प्रतिधारण दर लंबे एजेंट कार्यों के लिए मुख्य लागत चर है।
- वैज्ञानिक कंप्यूटिंग परिदृश्यों में ओपस 5 की पैठ: क्या जीवन विज्ञान मूल्यांकन में नेतृत्व को चिकित्सा और बायोफार्मास्युटिकल ग्राहकों द्वारा वास्तविक खरीद में अनुवादित किया जा सकता है।
- फेबल 5 की अनुवर्ती कार्रवाइयां: फ्लैगशिप के "आधी कीमत पर पहुंच जाने" के बाद, एंथ्रोपिक की अगली पीढ़ी के फ्लैगशिप अपग्रेड लय को आगे बढ़ने के लिए मजबूर किया जाएगा।
समीक्षाएं