विंडसर्फ ने अनुकूली बुद्धिमान रूटिंग लॉन्च की: प्रत्येक कार्य को "सबसे उपयुक्त मॉडल" का उपयोग करने दें
विंडसर्फ ने 6 अप्रैल को एडेप्टिव इंटेलिजेंट मॉडल रूटिंग लॉन्च किया, जो स्वचालित रूप से प्रत्येक कार्य के लिए सबसे उपयुक्त अंतर्निहित मॉडल (सरल कार्यों के लिए तेज़ और सस्ते मॉडल, और जटिल कार्यों के लिए उन्नत मॉडल) का चयन करता है, टोकन निर्धारित दरों के आधार पर कोटा में कटौती करता है, और उन्नत मॉडल के अति प्रयोग से बचने के लिए लागत पारदर्शिता में सुधार करता है।
एआई प्रोग्रामिंग टूल के उपयोगकर्ताओं को आम तौर पर एक छिपा हुआ दर्द होता है: एक बड़े चाकू से मुर्गे को मारना-टिप्पणियों की एक पंक्ति बदलना, लेकिन सबसे मजबूत फ्लैगशिप मॉडल को कॉल करना, और कोटा हटा दिया जाता है।
अनुकूली तंत्र
मॉडल चयनकर्ता में एडाप्टिव एक नया विकल्प है। इसका मुख्य तंत्र टोकन निर्धारित दरों के आधार पर कोटा में कटौती करना और कई अंतर्निहित मॉडलों के बीच गतिशील रूप से चयन करना है: सरल कार्यों के लिए तेज़ और सस्ते मॉडल, और जटिल कार्यों के लिए उन्नत मॉडल। साथ ही, मॉडल चयनकर्ता एक साथ प्रत्येक मॉडल का टोकन मूल्य, नया प्रॉम्प्ट कैश टाइमर और प्रतिक्रिया टोकन गिनती प्रदर्शित करेगा - लागत पारदर्शिता में काफी सुधार हुआ है। अतिरिक्त उपयोग के लिए प्रोमोशनल कीमतें: $0.50/मिलियन इनपुट टोकन, $2.00/मिलियन आउटपुट टोकन, $0.10/मिलियन कैश रीड टोकन (दो सप्ताह)।
मॉडल रूटिंग: 2026 में लागत में कमी और दक्षता में सुधार का मुख्य विषय
एडेप्टिव के उद्भव ने विंडसर्फ को 2026 में सबसे लोकप्रिय प्रौद्योगिकी कथा - मॉडल रूटिंग में डाल दिया है। इस ट्रैक पर एक ही समय में कई निर्माताओं द्वारा दांव लगाया जा रहा है: ओपनएआई का मॉडल परिवार (लूना/टेरा/सोल), पर्प्लेक्सिटी का मॉडल काउंसिल, और विंडसर्फ का एडेप्टिव सभी एक ही काम कर रहे हैं - कार्य की जटिलता के आधार पर गतिशील रूप से इष्टतम मॉडल का चयन करना और गुणवत्ता और लागत के बीच संतुलन बनाना।
उद्योग के दृष्टिकोण से, मॉडल रूटिंग के उदय से एक गहरे बदलाव का पता चलता है: जब मॉडल की आपूर्ति प्रचुर हो जाती है, तो "मॉडल चयन" स्वयं एक तकनीक बन जाता है। डेवलपर्स के लिए, एडाप्टिव का मूल्य लागत को पूर्वानुमानित बनाते हुए "किस मॉडल का उपयोग करना है" के निर्णय को मनुष्यों से सिस्टम में स्थानांतरित करना है। चीनी एपीआई एकत्रीकरण/रूटिंग निर्माताओं (विभिन्न मॉडल गेटवे) के लिए, विंडसर्फ का एडेप्टिव एक महत्वपूर्ण उत्पाद नमूना है - बुद्धिमान रूटिंग "इंजीनियरिंग अनुकूलन साधन" से "उपयोगकर्ता-उन्मुख विक्रय बिंदु" में बदल रही है, और लागत पारदर्शिता को उपयोगकर्ता-बोधगम्य फ़ंक्शन बनाना इस ट्रैक में भेदभाव की कुंजी है।
भविष्य में ट्रैकिंग के लायक कई दिशाएँ:
- रूटिंग निर्णयों की सटीकता: क्या सरल/जटिल कार्यों का वर्गीकरण निर्णय विश्वसनीय है।
- लागत बचत का वास्तविक परिमाण: अनुकूली मोड में उपयोगकर्ताओं द्वारा वास्तविक कोटा खपत में परिवर्तन।
- शीघ्र कैश हिट दर: क्या कैश्ड रीड टोकन के अनुपात में कमी जारी रह सकती है।
- घरेलू मॉडल गेटवे की "उपयोगकर्ता-साइड रूटिंग": क्या एपीआई एकत्रीकरण विक्रेता अंतिम उपयोगकर्ताओं के लिए रूटिंग फ़ंक्शन लॉन्च करेंगे।
समीक्षाएं