कॉग रेप्लिकेट द्वारा लॉन्च किया गया एक ओपन सोर्स टूल है। यह स्वचालित रूप से मशीन लर्निंग मॉडल को डॉकर कंटेनरों में पैकेज करता है और एक मानक REST API प्रदान करता है। यह GPU त्वरण और स्वचालित विस्तार और संकुचन परिनियोजन का समर्थन करता है।

दांता (प्रतिकृति)

कॉग के मुख्य पैरामीटर और आँकड़े

कॉग एमएल इंजीनियरिंग में एक लंबे समय से कम महत्व वाली समस्या को हल करता है - मॉडल परिनियोजन के "अंतिम मील" के लिए मानकों की कमी। प्रत्येक मॉडल में अलग-अलग रूपरेखाएँ, निर्भरताएँ और कॉलिंग विधियाँ होती हैं। एक नया मॉडल तैनात करने का अर्थ है डॉकरफाइल, फ्लास्क सर्वर और प्रीप्रोसेसिंग पाइपलाइन को फिर से लिखना। इस प्रक्रिया को मानकीकृत करने के लिए कॉग सम्मेलनों के एक सेट (cog.yaml + रनर इंटरफ़ेस) का उपयोग करता है, जिससे प्रशिक्षण संदर्भ से उत्पादन संदर्भ तक मॉडल के माइग्रेशन समय को "दिन" से घटाकर "घंटे" कर दिया जाता है।

प्रोजेक्ट्स	सार्वजनिक सूचना
आधिकारिक स्थिति	एमएल मॉडल कंटेनरीकृत पैकेजिंग और परिनियोजन उपकरण
कोर तंत्र	cog.yaml घोषणात्मक प्रासंगिक विन्यास + रनर पायथन इंटरफ़ेस → स्वचालित रूप से डॉकर छवियां बनाता है
इनपुट विशिष्टता	Runner.run() प्रकार एनोटेशन + cog.yaml निर्भरता घोषणा
आउटपुट विशिष्टता	मानक REST API (JSON + फ़ाइल + SSE स्ट्रीमिंग)
वास्तुकला भाषाएँ	गो (सीएलआई)/रस्ट (HTTP सर्वर कॉगलेट)/पायथन (एसडीके)
समर्थन त्वरण	GPU (CUDA, cuDNN), TensorRT
ओपन सोर्स लाइसेंस	अपाचे 2.0
गिटहब स्टार्स	9,400+
नवीनतम संस्करण	v0.21.0 (2026-06-17)
निवास स्थान	संयुक्त राज्य अमेरिका (यूएस)

कोर पोजिशनिंग: कॉग एक मॉडल परिनियोजन प्लेटफ़ॉर्म नहीं है (रेप्लिकेट यही करता है), लेकिन एक "पैकेजिंग मानक" - यह cog.yaml + रनर क्लास के सम्मेलन को परिभाषित करता है। इस कन्वेंशन का अनुपालन करने वाले मॉडल को बिना किसी संशोधन के रेप्लिकेट क्लाउड प्लेटफ़ॉर्म, स्व-निर्मित डॉकर संदर्भ या कुबेरनेट्स क्लस्टर पर तैनात किया जा सकता है। यह "पैकेज एक बार, कई स्थानों पर चलाएँ" मॉडल अनिवार्य रूप से एमएल परिनियोजन के क्षेत्र में डॉकर कंपोज़ के अमूर्त विचार को दोहराता है - और डॉकर कंपोज़ के निर्माता, बेन फ़र्शमैन, कॉग के सह-संस्थापक हैं।

Cog और विकल्पों के बीच मुख्य अंतर: Dockerfile + Flask/FastAPI को मैन्युअल रूप से लिखने के समाधान की तुलना में, Cog स्वचालित रूप से CUDA संस्करण संगतता जाँच, Python निर्भरता कैशिंग, मल्टी-स्टेज बिल्ड ऑप्टिमाइज़ेशन और HTTP API पीढ़ी को संभालता है; बेंटोएमएल की तुलना में, कॉग का अमूर्त स्तर कम है, यह एक विशिष्ट मॉडल फ्रेमवर्क या रनटाइम को बांधता नहीं है, और PyTorch/TensorFlow/ONNX जैसे किसी भी फ्रेमवर्क को समान रूप से मानता है; एमएलफ़्लो की तुलना में, कॉग "परिनियोजन" अनुभाग पर ध्यान केंद्रित करता है, इसमें प्रयोग ट्रैकिंग और मॉडल पंजीकरण शामिल नहीं है, लेकिन परिनियोजन लिंक अधिक पूर्ण है - पैकेजिंग से HTTP सेवा से लेकर मिरर वेयरहाउस तक पुश करने तक, यह एक स्टॉप में पूरा हो जाता है।

आयाम	दांता	मैनुअल डॉकरफाइल + फ्लास्क/फास्टएपीआई	बेंटोएमएल	एमएलफ्लो
अमूर्त स्तर	मॉडल स्तर (धावक इंटरफ़ेस)	कोई अमूर्तता नहीं, पूरी तरह से अनुकूलित	सेवा स्तर (बेंटो इकाई)	परियोजना स्तर (एमएलप्रोजेक्ट)
जीपीयू/सीयूडीए प्रबंधन	स्वचालित पहचान और कॉन्फ़िगरेशन	मैनुअल प्रबंधन	स्वचालित प्रबंधन	सीमित
HTTP एपीआई पीढ़ी	स्वचालित (जंग/एक्सम)	मैनुअल कोडिंग	स्वचालित (फास्टएपीआई)	स्वचालित
फ्रेमवर्क बाइंडिंग	कोई नहीं	कोई नहीं	पायथन को प्राथमिकता दें	पायथन को प्राथमिकता दें
छवि निर्माण	अंतर्निहित अनुकूलन	मैन्युअल रूप से लिखित Dockerfile	अंतर्निर्मित	प्लग-इन आवश्यक
सीखने की अवस्था	निम्न (3 दस्तावेज़)	उच्च (एकाधिक प्रौद्योगिकी ढेर)	मध्यम	मध्यम
उत्पादन परिनियोजन	डॉकर/K8s/रेप्लिकेट	डॉकर/K8s	डॉकर/K8s/बेंटोक्लाउड	डॉकर/K8s

तुलनाओं के इस सेट में Cog का अद्वितीय मूल्य यह है कि यह एकमात्र उपकरण है जो "कंटेनर पैकेजिंग" और "HTTP सेवाक्षमता" को एक परमाणु चरण में जोड़ता है। डेवलपर्स को डॉकरफाइल सिंटैक्स, फ्लास्क रूटिंग पंजीकरण और डब्लूएसजीआई परिनियोजन कॉन्फ़िगरेशन को अलग से सीखने की आवश्यकता नहीं है।

कॉग के उपयोगकर्ता और बाज़ार की पहचान

कॉग का बाज़ार प्रभाव उसकी मूल कंपनी, रेप्लिकेट से अत्यधिक जुड़ा हुआ है, लेकिन इसने एक स्वतंत्र ओपन सोर्स प्रोजेक्ट के रूप में काफी सामुदायिक स्वीकृति भी अर्जित की है।

गिटहब समुदाय: जुलाई 2026 तक, कॉग को GitHub पर 9,400+ सितारे, 696 फोर्क्स, 97 योगदानकर्ता और कुल 233 रिलीज़ प्राप्त हुए हैं। कोडबेस में गो (61.5%) का वर्चस्व है, शेष में रस्ट (17.6%), एचटीएमएल (14.9%) और पायथन (5.8%) शामिल हैं। गो सीएलआई और बिल्ड इंजन के लिए मुख्य भाषा है, रस्ट HTTP इंट्रेंस सर्वर (कोगलेट) की कार्यान्वयन भाषा है, और पायथन एसडीके परत है जिसके साथ उपयोगकर्ताओं का सीधा संपर्क होता है। भाषा श्रम का यह विभाजन एक स्पष्ट स्तरित वास्तुकला को दर्शाता है: उपयोगकर्ता परत के लिए पायथन, नियंत्रण परत के लिए गो, और प्रदर्शन-संवेदनशील परत के लिए रस्ट।

एंटरप्राइज़ एडॉप्शन: कॉग को अपनाने वाले मुख्य रूप से डेवलपर टीमें हैं जो इसे रेप्लिकेट प्लेटफ़ॉर्म के माध्यम से अप्रत्यक्ष रूप से उपयोग करती हैं। रेप्लिकेट प्लेटफ़ॉर्म पर होस्ट किए गए लगभग सभी मॉडल कॉग के माध्यम से पैक किए जाते हैं, जिसका अर्थ है कि हजारों सार्वजनिक मॉडल और सैकड़ों एंटरप्राइज़-ग्रेड परिनियोजन कॉग द्वारा संचालित होते हैं। प्रत्यक्ष स्व-होस्टिंग कॉग के उल्लेखनीय उपयोगकर्ताओं में कई एआई स्टार्टअप, अनुसंधान संस्थानों और बड़े उद्यमों में एमएल प्लेटफ़ॉर्म टीमें शामिल हैं। हालाँकि, एंटरप्राइज़ ग्राहकों की सटीक सूची और तैनाती के पैमाने का खुलासा नहीं किया गया है।

उद्योग बेंचमार्किंग: एमएल मॉडल परिनियोजन टूल ट्रैक में, कॉग बेंटोएमएल, एमएलफ्लो मॉडल, सेल्डन कोर, ट्राइटन इनफरेंस सर्वर आदि के साथ प्रतिस्पर्धा करता है। कॉग का मुख्य अंतर "अत्यधिक सरलता" में निहित है - एक cog.yaml + एक run.py मॉडल से एपीआई में रूपांतरण पूरा कर सकता है, जो विशेष रूप से प्रोटोटाइप सत्यापन और छोटी टीम परिदृश्यों के लिए अनुकूल है। हालाँकि, बड़े पैमाने पर उत्पादन परिनियोजन (मॉडल संस्करण प्रबंधन, ए/बी परीक्षण और मॉनिटरिंग अलार्म) के लिए इसकी प्रबंधन क्षमताएं सेल्डन कोर और एमएलफ्लो जैसे एंटरप्राइज़-स्तरीय प्लेटफार्मों की तुलना में कमजोर हैं।

कोग की लागत का लाभ

कॉग की लागत संरचना स्वयं बहुत स्पष्ट है - उपकरण पूरी तरह से खुला स्रोत और मुफ़्त है, और लागत मुख्य रूप से "आप इसे क्या करने के लिए उपयोग करते हैं" में परिलक्षित होती है। विभिन्न भूमिकाओं के लिए, लागत संरचना और संवेदनशीलता बिंदु पूरी तरह से अलग हैं।

सी-साइड/व्यक्तिगत डेवलपर्स: कॉग सीएलआई पूरी तरह से मुफ़्त है और इसे अपाचे 2.0 लाइसेंस के तहत किसी भी मशीन पर इस्तेमाल किया जा सकता है। एकमात्र व्यक्तिगत लागत सीखने का समय है - यदि आप cog.yaml लेखन विनिर्देशों और रनर इंटरफ़ेस सम्मेलनों से परिचित हैं, तो आप आमतौर पर 1-2 घंटे में शुरू कर सकते हैं। व्यक्तिगत परियोजनाओं के लिए डॉकर इमेज स्टोरेज और स्थानीय जीपीयू हार्डवेयर की लागत कॉग से स्वतंत्र है।

एपीआई/डेवलपर: यदि आप रेप्लिकेट प्लेटफ़ॉर्म पर पैकेज और तैनाती के लिए कॉग का उपयोग करते हैं, तो आपको अनुमान कॉल की मात्रा के आधार पर बिल भेजा जाएगा। रेप्लिकेट का मूल्य निर्धारण मॉडल "जीपीयू समय प्रति सेकंड + कॉल की संख्या" है, और मॉडल आकार और जीपीयू मॉडल के आधार पर मॉडल अनुमान की लागत लगभग $0.0001-0.01/समय है। स्व-होस्टेड टूल के रूप में कॉग का उपयोग करने वाली टीमों के लिए, टूलींग लागत 0 है, लेकिन डॉकर छवि और सीआई/सीडी एकीकरण के निर्माण के लिए आवश्यक प्रारंभिक कॉन्फ़िगरेशन समय 2-5 मानव-दिन होने का अनुमान है।

उद्यम/निजी परिनियोजन: कॉग के ओपन सोर्स लाइसेंस का मतलब शून्य लाइसेंसिंग शुल्क है, लेकिन उद्यमों को अपने स्वयं के जीपीयू क्लस्टर और मिरर वेयरहाउस बनाने की आवश्यकता है। एक उदाहरण के रूप में मध्यम आकार की एमएल प्लेटफ़ॉर्म टीम (5-8 लोग) को लेते हुए, कॉग एकीकृत परिनियोजन प्रक्रिया शुरू करने के बाद, मॉडल लॉन्च चक्र को 3-5 दिनों से घटाकर 0.5-1 दिन कर दिया जाता है, और संबंधित जनशक्ति की बचत लगभग 2-4 मानव-दिन/मॉडल होती है। यदि टीम हर महीने 10 मॉडल लॉन्च करती है, तो इससे प्रति माह 20-40 मानव-दिवस की बचत होगी, जो एक मध्य-स्तर के इंजीनियर के दैनिक वेतन के आधार पर प्रति माह श्रम लागत में लगभग 40,000-80,000 युआन है।

छिपी हुई लागत: कॉग के उच्च स्तर के स्वचालन का मतलब है कि टीमों का अंतर्निहित कंटेनरों के विवरण पर कम नियंत्रण होता है - जब बिल्ड विफल हो जाते हैं या रनटाइम पर गैर-मानक त्रुटियां होती हैं, तो मैन्युअल कॉन्फ़िगरेशन की तुलना में डिबगिंग अधिक कठिन होती है। इसके अलावा, एक बार जब टीम कॉग के पैकेजिंग विनिर्देशों से गहराई से बंध जाती है, तो उसे अन्य परिनियोजन टूल पर माइग्रेट करते समय सभी cog.yaml और रनर कोड को दोबारा करने की आवश्यकता होगी, जिसके परिणामस्वरूप विक्रेता लॉक-इन की एक निश्चित डिग्री होगी (भले ही कॉग स्वयं खुला स्रोत है)।

कॉग के मुख्य कार्य

कॉग का कार्यात्मक डिज़ाइन "घोषणात्मक कॉन्फ़िगरेशन + स्वचालित पीढ़ी" की अवधारणा का अनुसरण करता है। उपयोगकर्ताओं को केवल मॉडल को "किस संदर्भ की आवश्यकता है" और "कैसे चलाना है" का वर्णन करने की आवश्यकता है, और बाकी काम स्वचालित रूप से टूल द्वारा पूरा किया जाता है।

• घोषणात्मक प्रासंगिक कॉन्फ़िगरेशन (cog.yaml): एक YAML फ़ाइल के माध्यम से पायथन संस्करण, सिस्टम निर्भरता पैकेज, पायथन पैकेज निर्भरता GPU आवश्यकताओं और अन्य प्रासंगिक जानकारी घोषित करें। कॉग स्वचालित रूप से इन घोषणाओं को मल्टी-स्टेज बिल्ड, डिपेंडेंसी लेयर कैशिंग और एनवीडिया बेस इमेज चयन के साथ एक अनुकूलित डॉकरफाइल में परिवर्तित करता है। मैन्युअल Dockerfile की तुलना में: CUDA संस्करण और PyTorch संस्करण की संगतता मैट्रिक्स के बारे में परवाह करने की कोई आवश्यकता नहीं है - Cog में एक अंतर्निहित संगतता डेटाबेस है और स्वचालित रूप से सबसे उपयुक्त Nvidia बेस छवि का चयन करता है।

• मानकीकृत मॉडल इंटरफ़ेस ('रनर' क्लास): मॉडल लॉजिक को 'रनर' क्लास में समाहित किया गया है, जो दो तरीकों को लागू करता है: सेटअप() (मॉडल को मेमोरी में लोड करें, एकाधिक अनुमानों को एक बार प्रारंभ करें) और रन() (एकल अनुमान निष्पादित करें)। इनपुट और आउटपुट को पायथन प्रकार के एनोटेशन के माध्यम से घोषित किया जाता है, और कॉग स्वचालित रूप से तदनुसार ओपनएपीआई स्कीमा उत्पन्न करता है। समर्थित प्रकार: str, int, float, bool, Path (फ़ाइल), list, dict, Union और कस्टम Pydantic मॉडल।

• स्वचालित HTTP अनुमान सर्वर (कोगलेट): रस्ट/एक्सम फ्रेमवर्क पर आधारित एक उच्च-प्रदर्शन HTTP सर्वर जो स्वचालित रूप से रनर इंटरफ़ेस को एक RESTful API के रूप में प्रदर्शित करता है। मानक /भविष्यवाणियों समापन बिंदु, स्वास्थ्य जांच और समवर्ती अनुरोध प्रबंधन का समर्थन करता है। सर्वर शुरू होने पर मॉडल स्वचालित रूप से लोड हो जाते हैं और गर्म रहते हैं, बिना किसी अतिरिक्त कॉन्फ़िगरेशन की आवश्यकता होती है।

• सर्वर-भेजे गए इवेंट (एसएसई) स्ट्रीमिंग अनुमान (v0.21.0 में नया): पूर्वानुमान अनुरोध वास्तविक समय में 'स्टार्ट', 'आउटपुट', 'लॉग', 'मीट्रिक' और 'पूर्ण' इवेंट प्राप्त करने के लिए 'स्वीकार करें: टेक्स्ट/इवेंट-स्ट्रीम' हेडर के माध्यम से एसएसई मोड को सक्षम कर सकते हैं। एक डिस्कनेक्ट किया गया क्लाइंट PUT /predictions/{id} के माध्यम से पुनः कनेक्ट करके इवेंट स्ट्रीम को पुनर्स्थापित कर सकता है। विशिष्ट परिदृश्य: बड़े भाषा मॉडल का टोकन स्ट्रीमिंग आउटपुट, लंबी कार्य प्रगति प्रतिक्रिया।

• पूर्ण सीएलआई टूलचेन: कॉग रन (स्थानीय रनिंग मॉडल, -i इनपुट का समर्थन करता है), कॉग बिल्ड (डॉकर छवि का निर्माण), कॉग पुश (मिरर रिपॉजिटरी पर पुश), कॉग सर्व (स्थानीय HTTP सर्वर प्रारंभ करें), कॉग एक्ज़ीक्यू (कंटेनर संदर्भ में मनमाने आदेश निष्पादित करें), कॉग डॉक्टर (संदर्भ समस्याओं का निदान करें, v0.19.0 में नया)। सभी कमांड cog.yaml कॉन्फ़िगरेशन का समान सेट साझा करते हैं।

• प्रशिक्षण इंटरफ़ेस समर्थन: अनुमान के अलावा, कॉग प्रशिक्षण इंटरफेस को परिभाषित करने का भी समर्थन करता है - पैकेजिंग विनिर्देशों के एक ही सेट के तहत अनुमान और प्रशिक्षण के एकीकृत प्रबंधन को प्राप्त करने के लिए 'रनर' की 'ट्रेन()' विधि के माध्यम से फाइन-ट्यूनिंग एपीआई को उजागर करना।

• प्रायोगिक वजन प्रबंधन (प्रबंधित वजन): v0.19.3 में पेश की गई एक प्रयोगात्मक सुविधा, जो मॉडल वजन के प्रबंधन को कोड से अलग करने की अनुमति देती है, और डॉकर छवियों में वजन फ़ाइलों को एम्बेड किए बिना कई स्रोतों (एचटीटीपीएस यूआरएल, मिरर वेयरहाउस इत्यादि) से वजन खींचने का समर्थन करती है।

कॉग का मॉडल और संस्करण विकास

कॉग का संस्करण पुनरावृत्ति एमएल परिनियोजन टूल के विकास पथ को "उपयोग करने योग्य" से "उपयोग में आसान" और फिर "अवलोकन योग्य" तक दर्शाता है। सार्वजनिक रिपॉजिटरी से पता लगाने योग्य प्रमुख मील के पत्थर नीचे दिए गए हैं।

प्रारंभिक स्थापना अवधि (v0.1 - v0.8, लगभग 2021-2024)

कॉग को पहली बार रेप्लिकेट के भीतर बेन फ़र्शमैन और एंड्रियास जैनसन द्वारा विकसित किया गया था, जिसका प्रारंभिक लक्ष्य रेप्लिकेट प्लेटफ़ॉर्म पर मॉडलों के लिए एक मानक पैकेजिंग प्रारूप प्रदान करना था। इस चरण का मुख्य कार्य cog.yaml प्रारूप विनिर्देश, भविष्यवाणी() इंटरफ़ेस सम्मेलन और डॉकर बिल्ड इंजन के बुनियादी ढांचे को स्थापित करना है। शुरुआती संस्करणों ने मुख्य रूप से सीमित समुदाय को अपनाने के साथ, रेप्लिकेट की आंतरिक टीम को सेवा प्रदान की।

फ़ंक्शन विस्तार अवधि (v0.9 - v0.17, लगभग 2024-2025)

संस्करण	रिलीज की तारीख	मुख्य परिवर्तन
v0.9.x	~2024-Q1	पेश है TensorRT समर्थन, बेहतर GPU संगतता जाँच
v0.10.x	~2024-Q2	बेहतर इनपुट और आउटपुट प्रकारों का समर्थन करने के लिए पायथन एसडीके को दोबारा तैयार किया गया
v0.11.0	~2025-12	उन्नत TensorRT समर्थन और Windows संगतता (WSL2)
v0.12.0	~2026-05	बेहतर जीपीयू समर्थन और पायथन निर्भरता कैशिंग
v0.17.x	~2026-क्यू1	बाद के पुनर्लेखन की तैयारी में रस्ट/कॉगलेट सर्वर आर्किटेक्चर इंफ्रास्ट्रक्चर

वास्तुकला पुनर्आकार देने की अवधि (v0.18 - v0.21, 2026)

यह हाल के दिनों में कॉग की सबसे गहन पुनरावृत्ति अवधि है, और मुख्य विषय "गो रनटाइम से रस्ट/कोगलेट आर्किटेक्चर में माइग्रेट करना" और "रनटाइम स्कीमा जेनरेशन से स्टैटिक स्कीमा जेनरेशन में माइग्रेट करना" हैं।

• v0.18.0 (2026-04-16): कॉगलेट (रस्ट HTTP सर्वर) आधिकारिक तौर पर डिफ़ॉल्ट रनटाइम बन जाता है। cog run का नाम बदलकर cog exec कर दिया गया (बैकवर्ड कम्पैटिबिलिटी अलियासिंग को संरक्षित करते हुए)। महत्वपूर्ण बग को ठीक करें जहां async def setup() को कॉगलेट के तहत चुपचाप हटा दिया जाता है। इनपुट प्रकारों के रूप में dict और list[dict] का समर्थन करता है, चैट संदेशों जैसे संरचित इनपुट परिदृश्यों को अनलॉक करता है।

• v0.19.0 (2026-04-28): एक क्लिक से डॉकर कॉन्फ़िगरेशन CUDA उपलब्धता और पायथन संदर्भ का निदान करने के लिए cog doctor कमांड जोड़ा गया। स्टेटिक स्कीमा पीढ़ी डिफ़ॉल्ट मोड है - एपीआई स्कीमा उत्पन्न करने के लिए बिल्ड समय पर पायथन कोड को आयात और निष्पादित करना आवश्यक नहीं है, जिससे बिल्ड गति और विश्वसनीयता में काफी सुधार होता है।

• v0.19.1 (2026-05-01): स्कीमा पीढ़ी में टाइपेडडिक्ट प्रकार एनोटेशन की संगतता समस्या को ठीक करें। संसाधन की कमी को रोकने के लिए कॉगलेट व्हील निर्माण क्रम को अनुकूलित करें।

• v0.19.2 (2026-05-02): फ़ज़ टेस्ट टाइमआउट और typing_extensions.TypedDict रनटाइम समर्थन को ठीक करें।

• v0.19.3 (2026-05-05): प्रयोगात्मक प्रबंधित वजन का परिचय, कई स्रोतों से मॉडल वजन की अलग-अलग लोडिंग की अनुमति।

• v0.20.0 (2026-05-20): कॉग प्रेडिक्ट का आधिकारिक तौर पर नाम बदलकर कॉग रन कर दिया गया है (प्रिडिक्ट को उपनाम के रूप में रखा गया है)। पूर्ण छवि URL के बजाय मॉडल संदर्भ नाम (r8.im/user/model) का समर्थन करता है। बहु-स्रोत भार और HTTPS भार स्रोत। स्कीमा उत्पन्न करने से फ़ील्ड को बाहर करने के लिए अपारदर्शी एनोटेशन का परिचय दें। रनटाइम स्कीमा जेनरेशन पथ पूरी तरह से हटा दिया गया है और बिल्ड स्थिति को .cog/ निर्देशिका में केंद्रीकृत किया गया है।

• v0.21.0-rc.1~rc.3 (2026-05-30 से 06-05): SSE स्ट्रीमिंग भविष्यवाणी JSON-नेटिव यूनियन इनपुट PEP 563 स्ट्रिंग एनोटेशन संगतता फिक्स का समर्थन करता है। आधिकारिक संस्करण में प्रवेश करने से पहले तीन उम्मीदवार संस्करणों को लगातार पॉलिश किया गया था।

• v0.21.0 (2026-06-17, वर्तमान में नवीनतम): एसएसई स्ट्रीमिंग भविष्यवाणी आधिकारिक तौर पर उपलब्ध है, यूनियन प्रकार इनपुट समर्थन में सुधार हुआ है, और नमूना मॉडल को मुख्य गोदाम में ले जाया गया है। यह वर्तमान उत्पादन-तैयार अनुशंसित संस्करण है।

संस्करण रणनीति की व्याख्या

कॉग "प्रमुख संस्करण संख्या + लगातार उम्मीदवार रिलीज" की रणनीति अपनाता है। V0.18.0 से v0.21.0 तक, 4 प्रमुख संस्करण पुनरावृत्तियाँ केवल 2 महीनों में पूरी की गईं, प्रत्येक प्रमुख संस्करण से पहले 1-3 RC उम्मीदवार संस्करण थे। इस लय का अर्थ है कि नई सुविधाएँ शीघ्रता से लॉन्च की जाती हैं, लेकिन आरसी चरण में संगतता परीक्षण उत्पादन उपयोगकर्ताओं के लिए महत्वपूर्ण है - यह अनुशंसा की जाती है कि उत्पादन परिनियोजन कम से कम तब तक प्रतीक्षा करें जब तक कि अपग्रेड करने से पहले संबंधित संस्करण .0 का आधिकारिक संस्करण जारी न हो जाए।

यह ध्यान दिया जाना चाहिए कि पिछले आलेख में दर्ज नवीनतम_संस्करण (v0.12.0) और इतिहास_संस्करण फ़ील्ड केवल मूल प्लेसहोल्डर जानकारी हैं, और वास्तविक नवीनतम संस्करण v0.21.0 है। संपूर्ण रिलीज़ इतिहास GitHub रिलीज़ पेज पर पाया जा सकता है।

कोग के तकनीकी फायदे

कॉग का तकनीकी डिज़ाइन "एमएल परिनियोजन के संज्ञानात्मक भार को कम करने" के इर्द-गिर्द घूमता है। इसका लाभ किसी एक प्रौद्योगिकी की सफलता में नहीं, बल्कि इंजीनियरिंग प्रणाली एकीकरण क्षमताओं में निहित है।

स्वचालित CUDA/एनवीडिया संगतता प्रबंधन: यह Cog का सबसे ठोस तकनीकी मूल्य है। ML फ्रेमवर्क (PyTorch, TensorFlow, ONNX) और CUDA/cuDNN संस्करणों के बीच एक जटिल संगतता मैट्रिक्स है - PyTorch 2.6 को CUDA 12.4+ की आवश्यकता होती है, TensorFlow 2.18 को CUDA 11.8 की आवश्यकता होती है। एक बार गलत संयोजन का चयन हो जाने पर, बिल्ड प्रक्रिया इंस्टॉलेशन चरण के दौरान अस्पष्टीकृत लिंक त्रुटियों की रिपोर्ट करेगी। कॉग में एक अंतर्निहित अद्यतन करने योग्य संगतता डेटाबेस है जो मैन्युअल रूप से संगतता तालिका से परामर्श करने की आवश्यकता के बिना, cog.yaml में उपयोगकर्ता द्वारा घोषित फ्रेमवर्क संस्करण के आधार पर स्वचालित रूप से सबसे उपयुक्त एनवीडिया बेस छवि (एनवीडिया / क्यूडा, एनवीडिया / क्यूएनएन) से मेल खाता है। प्रभाव: CUDA संस्करण बेमेल के कारण निर्माण विफलता दर मैन्युअल परिदृश्य के ~30% से घटकर लगभग शून्य हो गई है।

रस्ट/एक्सम HTTP सर्वर (कोगलेट): Cog v0.18+ के लिए अनुमान सर्वर को अधिक सामान्य पायथन (फ्लास्क/फास्टएपीआई) या Node.js के बजाय रस्ट में लागू किया गया है। रस्ट की शून्य-लागत अमूर्तता और जीसी-मुक्त प्रकृति इसे उच्च-समवर्ती अनुमान परिदृश्यों में पूर्वानुमानित विलंबता देती है। एक्सम फ्रेमवर्क टॉवर मिडलवेयर इकोसिस्टम पर आधारित है और स्वाभाविक रूप से टाइमआउट नियंत्रण, वर्तमान सीमा और अनुरोध ट्रैकिंग जैसी उत्पादन-स्तरीय सुविधाओं का समर्थन करता है। पायथन सर्वर के साथ तुलना: समान लोड के तहत, कॉगलेट की P99 विलंबता समान पायथन सर्वर की तुलना में 40-60% कम है, और जीआईएल के कारण कोई समवर्ती बाधा नहीं है। हालाँकि, रस्ट सर्वर का कोल्ड स्टार्ट समय थोड़ा लंबा है (पहले लोड के लिए लगभग 3-5 सेकंड बनाम पायथन का 1-2 सेकंड), और लघु-जीवनचक्र कंटेनरों (जैसे सर्वर रहित अनुमान) के लिए वार्म-अप रणनीति पर विचार करने की आवश्यकता है।

स्टेटिक स्कीमा पीढ़ी: पारंपरिक समाधान को निर्माण करते समय उपयोगकर्ता मॉडल कोड को आयात करने और इनपुट और आउटपुट प्रकारों का अनुमान लगाने के लिए पायथन रनटाइम को निष्पादित करने की आवश्यकता होती है। यह प्रक्रिया मॉडल के आयात टॉर्च, भार भार और अन्य परिचालनों को ट्रिगर करेगी, जो धीमी और त्रुटि-प्रवण है। Cog v0.19+ इसके बजाय स्थैतिक विश्लेषण का उपयोग करता है - पायथन कोड को निष्पादित किए बिना ओपनएपीआई स्कीमा उत्पन्न करने के लिए एएसटी के माध्यम से रनर वर्ग के प्रकार एनोटेशन को पार्स करता है। प्रभाव: निर्माण समय 40-60% कम हो जाता है, और निर्माण के दौरान मॉडल कोड निष्पादित होने के कारण होने वाली "बिल्ड-टाइम क्रैश" समस्याएं समाप्त हो जाती हैं। यह सुधार जटिल निर्भरता वाले बड़े मॉडलों के लिए विशेष रूप से महत्वपूर्ण है, जैसे एलएलएम बहु-प्रक्रिया आरंभीकरण।

लेयर्ड बिल्ड कैशिंग और इमेज ऑप्टिमाइज़ेशन: कॉग डॉकर बिल्ड प्रक्रिया को "बेस इमेज लेयर" (CUDA, सिस्टम पैकेज) और एक "यूज़र लेयर" (पायथन निर्भरता, मॉडल कोड) में विभाजित करता है। आधार छवि परत का पुनर्निर्माण केवल तभी किया जाता है जब cog.yaml या पायथन संस्करण घोषणा की सिस्टम निर्भरता बदल जाती है; जब requirements.txt या मॉडल कोड बदलता है तो उपयोगकर्ता परत का पुनर्निर्माण किया जाता है। डॉकर बिल्डकिट की रिमोट कैशिंग क्षमता के साथ, सीआई वातावरण में बार-बार निर्माण का समय 15-30 मिनट से घटाकर 3-5 मिनट किया जा सकता है।

cog.yaml के लिए घोषणात्मक सार: यह Cog उपयोगकर्ता अनुभव के लिए मुख्य साधन है। एक विशिष्ट cog.yaml को मॉडल संदर्भ को पूरी तरह से परिभाषित करने के लिए कॉन्फ़िगरेशन की केवल 10-15 पंक्तियों की आवश्यकता होती है, Dockerfile की 50-80 पंक्तियों को हाथ से लिखने की आवश्यकता के बिना। इससे भी महत्वपूर्ण बात यह है कि cog.yaml की अमूर्त परत टीम के भीतर "प्रासंगिक ज्ञान को तैनात करने" की छिपी लागत को समाप्त कर देती है - नए लोगों को DevOps ज्ञान जैसे CUDA संस्करण चयन रणनीति, उपयुक्त स्रोत कॉन्फ़िगरेशन, मल्टी-स्टेज बिल्ड सर्वोत्तम प्रथाओं आदि को समझने की आवश्यकता नहीं है। उन्हें केवल टेम्पलेट भरने की आवश्यकता है।

कॉग का उपयोग कैसे करें

कॉग के उपयोग पथ को तीन चरणों में विभाजित किया गया है: इंस्टॉल → मॉडल कॉन्फ़िगर करें → रन/तैनाती। निम्नलिखित को भूमिका और उपयोग की गहराई द्वारा विस्तारित किया गया है।

स्थापना

Cog macOS, Linux और Windows 11 का समर्थन करता है (WSL2 संदर्भ की आवश्यकता है)। शर्त केवल डॉकर को स्थापित करना है।

मैकओएस (होमब्रू अनुशंसित):

ब्रू इंस्टॉल रिप्लिकेट/टैप/कॉग

लिनक्स/विंडोज WSL2 (डायरेक्ट बाइनरी डाउनलोड):

sudo कर्ल -L -o /usr/local/bin/cog https://github.com/replication/cog/releases/latest/download/cog_$(uname -s)_$(uname -m).tar.gz
sudo tar -xzf /usr/local/bin/cog -C /usr/local/bin

इंस्टॉलेशन सत्यापित करें:

दांता--संस्करण
कॉग डॉक्टर # v0.19+ उपलब्ध है, स्वचालित निदान संभव है

मॉडल कॉन्फ़िगर करें (कोर वर्कफ़्लो)

चरण 1: cog.yaml बनाएं और मॉडल के लिए आवश्यक चल रहे संदर्भ को परिभाषित करें:

निर्माण:
  जीपीयू: सत्य
  पायथन_संस्करण: "3.13"
  पायथन_आवश्यकताएँ: आवश्यकताएँ.txt
  सिस्टम_पैकेज:
    - "libgl1"
    - "libglib2.0-0"
चलाएँ: "run.py:धावक"

चरण 2: run.py बनाएं और रनर वर्ग लागू करें:

कॉग से बेसरनर, इनपुट, पाथ आयात करें
मशाल आयात करें

क्लास रनर (बेस रनर):
    डीईएफ़ सेटअप(स्वयं):
        """मॉडल को मेमोरी में लोड करें और इसे केवल एक बार निष्पादित करें""
        सेल्फ.डिवाइस = टार्च.डिवाइस('क्यूडा' यदि टार्च.क्यूडा.आईएस_उपलब्ध है() अन्यथा 'सीपीयू')
        सेल्फ.मॉडल = टॉर्च.लोड(''/वेट्स.पीटीएच'').टू(सेल्फ.डिवाइस)
        self.model.eval()

    डीईएफ़ रन(स्वयं,
            छवि: पथ = इनपुट (विवरण = "ग्रेस्केल इनपुट छवि")
    ) -> पथ:
        """तर्क निष्पादित करें"""
        आउटपुट = self.model(प्रीप्रोसेस(छवि))
        वापसी पोस्टप्रोसेस (आउटपुट)

चरण 3: requirements.txt बनाएं और पायथन निर्भरता घोषित करें:

टॉर्च==2.6.0
तकिया==11.1.0

उपयोग मोड

आदेश	उद्देश्य	विशिष्ट परिदृश्य
cog run -i [email protected]	स्थानीय स्तर पर मॉडल अनुमान चलाएँ	विकास और परीक्षण चरणों के दौरान मॉडल आउटपुट सत्यापित करें
कॉग एक्ज़ीक्यूटिव पायथन	कंटेनर के संदर्भ में मनमाने आदेश निष्पादित करें	डिबग निर्भरता समस्याएँ और प्रशिक्षण स्क्रिप्ट चलाएँ
कॉग बिल्ड-टी माय-मॉडल	एक परिनियोजन योग्य डॉकर छवि बनाएं	ऑनलाइन जाने की तैयारी करें
कॉग सर्व-पी 8080	स्थानीय HTTP अनुमान सर्वर प्रारंभ करें	स्थानीय एकीकरण परीक्षण एपीआई डिबगिंग
कोग पुश	दर्पण गोदाम या प्रतिकृति पर पुश करें	उत्पादन परिनियोजन
कोग डॉक्टर	कॉग संदर्भ का निदान करें	स्थापना और कॉन्फ़िगरेशन समस्याओं का निवारण करें
कोग संस्करण	वर्तमान संस्करण देखें	संस्करण प्रबंधन

उत्पादन परिनियोजन उदाहरण - छवि बनाएं और HTTP सेवा प्रारंभ करें:

# डॉकर छवि बनाएं
कॉग बिल्ड -टी माय-क्लासिफिकेशन-मॉडल

# डॉकर कंटेनर प्रारंभ करें (जीपीयू मोड)
डॉकर रन -डी -पी 5000:5000 --जीपीयूएस सभी मेरे-वर्गीकरण-मॉडल

# कॉल अनुमान एपीआई
कर्ल http://localhost:5000/भविष्यवाणियां -X पोस्ट \
    -एच 'सामग्री-प्रकार: एप्लिकेशन/जेसन' \
    -डी '{"इनपुट": {"इमेज": "https://example.com/input.jpg"}}'

एपीआई विवरण: कॉग द्वारा स्वचालित रूप से उत्पन्न HTTP एपीआई रेप्लिकेट के पूर्वानुमान इंटरफ़ेस विनिर्देश का पालन करता है। डिफ़ॉल्ट समापन बिंदु POST /predictions है और पूर्वानुमान परिणामों वाली JSON प्रतिक्रिया देता है। अतुल्यकालिक भविष्यवाणी स्थिति को क्वेरी करने के लिए PUT /predictions/{id} का समर्थन करता है। एपीआई स्कीमा GET /openapi.json (v0.20+) के माध्यम से उपलब्ध है।

प्रशिक्षण इंटरफ़ेस (वैकल्पिक)

यदि आपको मॉडल में फाइन-ट्यूनिंग क्षमताएं जोड़ने की आवश्यकता है, तो 'रनर' में 'ट्रेन()' विधि लागू करें:

क्लास रनर (बेस रनर):
    # ... सेटअप() और रन() उपरोक्त के समान हैं...

    डीईएफ़ ट्रेन(
        स्वयं,
        डेटासेट: पथ = इनपुट(विवरण='प्रशिक्षण डेटा सेट'),
        सीखने की दर: फ्लोट = इनपुट (डिफ़ॉल्ट = 0.001)
    ) -> पथ:
        """फाइन-ट्यून्ड मॉडल"""
        #प्रशिक्षण तर्क
        वापसी पथ(./fine-tuned-weights.pth")

प्रशिक्षण इंटरफ़ेस भी स्वचालित रूप से एक HTTP एपीआई के रूप में प्रदर्शित होता है और अनुमान इंटरफ़ेस के साथ पैकेजिंग विनिर्देशों के समान सेट को साझा करता है।

कॉग के लिए उत्पाद मूल्य निर्धारण

कॉग की मूल्य निर्धारण संरचना बेहद सरल है - उपकरण स्वयं पूरी तरह से मुफ़्त है, और लागत इस बात पर निर्भर करती है कि आप इसका उपयोग कैसे करते हैं।

टियर	लागत संरचना	विशिष्ट मासिक लागत (अनुमान)
कॉग सीएलआई (ओपन सोर्स)	अपाचे 2.0 लाइसेंस, शून्य लागत	¥0
स्थानीय स्व-होस्टेड अनुमान	GPU सर्वर किराया/मूल्यह्रास + बिजली बिल	¥3,000-50,000 (जीपीयू मॉडल के आधार पर)
क्लाउड प्लेटफ़ॉर्म अनुमान को दोहराएँ	GPU समय + कॉल की संख्या द्वारा बिल किया गया	$50-5,000 (मॉडल और कॉल वॉल्यूम के आधार पर)
उद्यम का निजीकरण	स्व-निर्मित क्लस्टर + संचालन और रखरखाव जनशक्ति	¥50,000-300,000+ (टीम लागत सहित)

कॉग सीएलआई (सभी निःशुल्क): अपाचे 2.0 लाइसेंस, व्यावसायिक उपयोग, संशोधन और पुनर्वितरण की अनुमति देता है। कॉल की संख्या पर कोई सीमा नहीं है, कोई समवर्ती सीमा नहीं है, और कोई कार्यात्मक बधियाकरण नहीं है। यह सही मायने में "पूर्ण विशेषताओं वाला खुला स्रोत और मुफ़्त" है।

रेप्लिकेट प्लेटफ़ॉर्म बिलिंग (यदि आप प्रबंधित परिनियोजन चुनते हैं): रेप्लिकेट को GPU प्रकार और अनुमान समय के आधार पर बिल किया जाता है, विशिष्ट मॉडलों के लिए लगभग $0.001-0.01 प्रति अनुमान (जैसे कि ResNet वर्गीकरण), और बड़े मॉडल (जैसे LLM पीढ़ी) के लिए लगभग $0.01-0.10 प्रति अनुमान। रेप्लिकेट एक नि:शुल्क परीक्षण प्रदान करता है, और नए उपयोगकर्ताओं को आमतौर पर शुरुआती $5-10 का क्रेडिट मिलता है। विस्तृत कीमतों के लिए, कृपया रेप्लिकेट का आधिकारिक मूल्य निर्धारण पृष्ठ देखें।

स्व-होस्टिंग लागत: स्व-होस्टिंग मॉडल में, एकमात्र लागत GPU सर्वर की खरीद/पट्टा है। उदाहरण के तौर पर एकल NVIDIA A100-80G को लेते हुए, क्लाउड रेंटल लगभग ¥20-40/घंटा है, और मासिक निरंतर उपयोग लगभग ¥15,000-30,000 है। कॉग द्वारा निर्मित छवियों को किसी भी डॉकर-संगत वातावरण में तैनात किया जा सकता है, जिसमें कुबेरनेट्स, डॉकर झुंड, एडब्ल्यूएस ईसीएस, Google क्लाउड रन और बहुत कुछ शामिल हैं।

एंटरप्राइज़ स्तर: कॉग स्वयं एंटरप्राइज़ संस्करण या सशुल्क सहायता प्रदान नहीं करता है, और एंटरप्राइज़ उपयोगकर्ताओं को तकनीकी सहायता और प्रशिक्षण की लागत वहन करने की आवश्यकता होती है। रेप्लिकेट एंटरप्राइज़ उपयोगकर्ताओं के लिए अतिरिक्त एसएलए गारंटी और समर्पित समर्थन प्रदान करता है, लेकिन लागत पर रेप्लिकेट बिजनेस टीम के साथ अलग से चर्चा करने की आवश्यकता है, और कोई सार्वजनिक मूल्य निर्धारण नहीं है।

कोग अनुप्रयोग परिदृश्य

कॉग के लागू परिदृश्य व्यक्तिगत अनुसंधान से लेकर एंटरप्राइज़-स्तरीय एमएल प्लेटफ़ॉर्म तक पूर्ण स्पेक्ट्रम को कवर करते हैं, लेकिन सभी परिनियोजन कार्य कॉग के लिए उपयुक्त नहीं हैं। निम्नलिखित चार प्रकार के परिदृश्यों को बड़े पैमाने पर सत्यापित किया गया है, जिसमें स्पष्ट अनुपयुक्त परिदृश्य संलग्न हैं।

• अनुसंधान टीम का मॉडल जल्दी से ऑनलाइन हो जाता है: अनुसंधान टीम एक नए मॉडल को प्रशिक्षित करने के बाद, इसे तैनाती और ऑनलाइन के लिए इंजीनियरिंग टीम को सौंपने में आमतौर पर 3-5 दिन का समय लेती है - इसमें कोड रीफैक्टरिंग, प्रासंगिक अनुकूलन एपीआई एनकैप्सुलेशन इत्यादि शामिल है। कॉग इस प्रक्रिया को 1-2 घंटे तक छोटा कर देता है: शोधकर्ता प्रशिक्षण कोड के साथ cog.yaml और run.py बनाते हैं, और एक तैनाती योग्य डॉकर छवि उत्पन्न करने के लिए cog build चलाते हैं। लागत में कमी और दक्षता में वृद्धि कटौती: उदाहरण के तौर पर प्रति माह 4 मॉडल तैयार करने वाली 5-व्यक्ति अनुसंधान टीम को लेते हुए, कॉग की शुरुआत के बाद, मॉडल डिलीवरी का समय प्रति व्यक्ति 3 दिन से कम होकर 0.5 दिन हो गया है। टीम प्रति माह लगभग 10 मानव-दिवस बचाती है, जो 0.5 पूर्णकालिक इंजीनियरों की उत्पादन क्षमता जारी करने के बराबर है। नोट: यह एक घटा हुआ मूल्य है. वास्तविक बचत मॉडल की जटिलता और टीम की परिचितता पर निर्भर करती है।

• क्रॉस-टीम मॉडल साझाकरण और एकीकरण: बड़े संगठनों में, एल्गोरिदम टीम द्वारा मॉडल तैयार करने के बाद, बिजनेस सिस्टम टीम को इसे उत्पाद में एकीकृत करने की आवश्यकता होती है। पारंपरिक मॉडल के तहत, प्रत्येक मॉडल हैंडओवर एक "प्रासंगिक अनुकूलन वार्ता" है - "PyTorch संस्करण क्या है? CUDA संस्करण? प्रीप्रोसेसिंग कोड कहां है?" कॉग का मानकीकृत कंटेनर इन संचार लागतों को समाप्त करता है: एल्गोरिदम टीम एक डॉकर छवि सबमिट करती है, और व्यवसाय टीम आंतरिक प्रौद्योगिकी स्टैक को जाने बिना इसे सीधे HTTP एपीआई के माध्यम से कॉल करती है। कार्यान्वयन युक्तियाँ: क्रॉस-टीम साझाकरण के लिए आंतरिक छवि गोदामों (जैसे हार्बर, अमेज़ॅन ईसीआर) और एकीकृत छवि नामकरण विनिर्देशों का समर्थन करना आवश्यक है। कॉग अकेले संगठनात्मक स्तर के शासन के मुद्दों को हल नहीं कर सकता है।

• निरंतर एकीकरण/निरंतर परिनियोजन (सीआई/सीडी) में मॉडल स्वचालन: "कोड सबमिशन → स्वचालित छवि निर्माण → स्वचालित परिनियोजन और परीक्षण" का पूर्ण स्वचालित लिंक प्राप्त करने के लिए सीआई पाइपलाइन में कॉग बिल्ड को एकीकृत करें। GitHub क्रियाएँ नमूना वर्कफ़्लो:

  
  - नाम: मॉडल बनाएं और पुश करें

भागो: | कॉग बिल्ड -टी ${{रहस्य.रजिस्ट्री }}/माय-मॉडल:${{ github.sha }} कॉग पुश ${{रहस्य.रजिस्ट्री }}/माय-मॉडल:${{ github.sha }}

  **प्रभाव**: उत्पादन एपीआई में मॉडल अपडेट में देरी घंटों से कम होकर मिनटों में हो गई है। लेकिन आपको सीआई वातावरण में जीपीयू उपलब्धता पर ध्यान देने की आवश्यकता है - यदि सीआई रनर में जीपीयू नहीं है, तो कॉग बिल्ड अभी भी सामान्य रूप से पूरा हो जाएगा (यह जीपीयू से संबंधित परीक्षण नहीं करेगा)।

- **रेप्लिकेट प्लेटफ़ॉर्म के लिए मॉडल प्रकाशन**: कॉग उन मॉडल डेवलपर्स के लिए एक अनिवार्य पैकेजिंग टूल है जो रेप्लिकेट प्लेटफ़ॉर्म पर प्रकाशित करने की योजना बना रहे हैं। रेप्लिकेट के लिए आवश्यक है कि सभी मॉडलों को कॉग के माध्यम से पैक किया जाए और `कॉग पुश r8.im/username/modelname` के माध्यम से पुश किया जाए। रेप्लिकेट प्लेटफ़ॉर्म के स्वचालित विस्तार और संकुचन, संस्करण प्रबंधन और बिलिंग सिस्टम सभी कॉग छवि प्रारूप पर आधारित हैं। यह कॉग का वर्तमान सबसे परिपक्व "एंड-टू-एंड" उपयोग पथ है।

**परिदृश्यों के लिए उपयुक्त नहीं**:
- **गैर-पायथन मॉडल**: कॉग का `रनर` इंटरफ़ेस और बिल्ड इंजन पायथन पारिस्थितिकी तंत्र से गहराई से जुड़े हुए हैं। कॉग के पास C++, रस्ट, गो या अन्य भाषाओं में कार्यान्वित अनुमान इंजनों के लिए सीमित मूल समर्थन है - जिसके लिए पायथन रैपर परत के अतिरिक्त लेखन की आवश्यकता होती है।
- **बेहद जटिल निर्माण प्रक्रिया**: यदि मॉडल परिनियोजन में कस्टम CUDA कर्नेल संकलन, मल्टी-स्टेज क्रॉस-संकलन और विशिष्ट लिनक्स कर्नेल मॉड्यूल लोडिंग जैसे निम्न-स्तरीय संचालन शामिल हैं, तो `cog.yaml` का घोषणात्मक अमूर्त इन आवश्यकताओं को व्यक्त करने के लिए पर्याप्त नहीं हो सकता है। इस मामले में, हस्तलिखित डॉकरफ़ाइल अधिक लचीली है।
- **एज डिवाइस परिनियोजन**: कॉग द्वारा निर्मित मानक डॉकर छवि को x86_64 लिनक्स बाउंडेड डॉकर कंटेनर में चलने के लिए माना जाता है और यह सीधे एआरएम-आधारित एज डिवाइस (जैसे जेटसन) या एम्बेडेड सिस्टम का समर्थन नहीं करता है। इन परिदृश्यों के लिए अतिरिक्त क्रॉस-संकलन और मल्टी-आर्किटेक्चर इमेजिंग कार्य की आवश्यकता होती है।
- **परिदृश्य जिनमें बारीक अनुरोध रूटिंग की आवश्यकता होती है**: कॉग का HTTP एपीआई एक निश्चित `/भविष्यवाणियां` मोड है और कस्टम रूटिंग या मल्टी-मॉडल सह-अस्तित्व अनुरोध वितरण का समर्थन नहीं करता है। ऐसे परिदृश्यों के लिए जहां विभिन्न मॉडलों को एक ही समापन बिंदु (जैसे मॉडल ऑर्केस्ट्रेशन) के तहत तैनात करने की आवश्यकता होती है, एपीआई गेटवे परत को कॉग पर सुपरइम्पोज़ करने की आवश्यकता होती है।

## कॉग के लिए लागू लोग

कॉग के उपयोगकर्ता समूह एमएल अनुसंधान और इंजीनियरिंग के क्षेत्रों में फैले हुए हैं, लेकिन विभिन्न भूमिकाओं के उपयोग और मूल्य बिंदुओं की गहराई में स्पष्ट अंतर हैं।

- **एमएल शोधकर्ता और डेटा वैज्ञानिक**: यह वह ऑडियंस है जिसे कॉग मूल रूप से उन शोधकर्ताओं के लिए डिज़ाइन किया गया था जिन्हें DevOps कौशल की आवश्यकता नहीं है। शोधकर्ता बस `cog.yaml` भरते हैं और अपने मॉडलों को साझा करने योग्य, प्रतिलिपि प्रस्तुत करने योग्य डॉकर छवियों में परिवर्तित करने के लिए `रनर` वर्ग को लागू करते हैं। **सीमाओं के लिए उपयुक्त नहीं**: यदि अनुसंधान परियोजना अभी भी लगातार पुनरावृत्ति और प्रयोगात्मक चरण (हर दिन मॉडल वास्तुकला को संशोधित करना) में है, तो कॉग का बिल्ड-रन चक्र (प्रत्येक संशोधन के लिए छवि के पुनर्निर्माण की आवश्यकता होती है) पुनरावृत्ति की गति को धीमा कर देगा। इस समय, नंगे पायथन वातावरण में सीधे प्रयोग करना अधिक कुशल है। मॉडल आर्किटेक्चर के स्थिर होने के बाद मानकीकृत पैकेजिंग के लिए कॉग को पेश करने की सिफारिश की जाती है।

- **एमएल इंजीनियर्स और डेवऑप्स इंजीनियर्स**: विभिन्न टीमों की तैनाती विशिष्टताओं को एकीकृत करने, सीआई/सीडी एकीकरण को सरल बनाने और उत्पादन वातावरण में कॉन्फ़िगरेशन बहाव के जोखिम को कम करने के लिए एमएल परिनियोजन के लिए एक मानक उपकरण के रूप में कॉग को टीम के प्रौद्योगिकी स्टैक में शामिल किया जा सकता है। **कार्यान्वयन के लिए पूर्वापेक्षाएँ**: टीम के पास बुनियादी डॉकर और कंटेनरीकृत संचालन और रखरखाव का अनुभव होना चाहिए; यदि टीम को कंटेनरीकृत तैनाती में कोई अनुभव नहीं है, तो कॉग डॉकर/कुबेरनेट्स की बुनियादी शिक्षा को प्रतिस्थापित नहीं कर सकता है।

- **एआई स्टार्टअप और स्वतंत्र डेवलपर्स**: कॉग की कम प्रवेश लागत और रेप्लिकेट प्लेटफॉर्म की होस्टिंग क्षमताएं स्वतंत्र डेवलपर्स को तैनाती और संचालन के बजाय मॉडल अनुकूलन पर ध्यान केंद्रित करने की अनुमति देती हैं। एक विशिष्ट पथ है: कॉग के साथ स्थानीय रूप से विकास करें → ऑनलाइन एपीआई प्राप्त करने के लिए दोहराने के लिए पुश करें → एपीआई कुंजी के माध्यम से उत्पाद में एकीकृत करें। **लागत पर विचार**: एमवीपी चरण के दौरान, रिप्लिकेट के माध्यम से होस्टिंग स्व-निर्मित जीपीयू सर्वर बनाने की तुलना में अधिक किफायती है; जब अनुमान की मात्रा प्रति माह हजारों डॉलर तक बढ़ जाती है, तो आपको सीमांत लागत को कम करने के लिए स्व-होस्टिंग पर स्विच करने पर विचार करना चाहिए।

- **आंतरिक उद्यम एमएल प्लेटफ़ॉर्म टीम**: एमएल प्लेटफ़ॉर्म टीमों के लिए जिन्हें दर्जनों मॉडल प्रबंधित करने की आवश्यकता होती है, कॉग पैकेजिंग मानकों का एक एकीकृत सेट प्रदान करता है जो "प्रत्येक मॉडल के लिए एक परिनियोजन योजना" की अराजकता को "सभी मॉडल विनिर्देशों के समान सेट का पालन करता है" में परिवर्तित कर सकता है। **लेकिन कृपया ध्यान दें**: कॉग प्लेटफ़ॉर्म परत क्षमताएं प्रदान नहीं करता है जैसे मॉडल संस्करण प्रबंधन, ए/बी परीक्षण, निगरानी और अलार्मिंग इत्यादि। इनके लिए प्लेटफ़ॉर्म टीम को कॉग पर स्वयं निर्माण करने की आवश्यकता होती है।

## कॉग का सारांश और आउटलुक

कॉग ने एमएल मॉडल परिनियोजन टूल श्रृंखला में एक सटीक पारिस्थितिक स्थान पाया है - यह एक पूर्ण-विशेषताओं वाला एमएल प्लेटफ़ॉर्म नहीं है, बल्कि एक समर्पित टूल है जो "मॉडल फ़ाइलों से HTTP सेवाओं को चलाने तक" की दूरी को हल करता है। हालाँकि यह दूरी कम है, लेकिन लंबे समय में टीम द्वारा निवेश की गई मानवीय लागत सबसे अधिक है।

**मुख्य दक्षताएँ**: कॉग का सबसे प्रमुख मूल्य एमएल परिनियोजन के "अव्यक्त ज्ञान" को दोहराने योग्य, स्वचालित प्रक्रियाओं में एन्कोड करने में निहित है। एक वरिष्ठ DevOps इंजीनियर को 3-5 साल के संचित CUDA संस्करण संगतता ज्ञान, डॉकर सर्वोत्तम प्रथाओं और HTTP सेवा कॉन्फ़िगरेशन अनुभव की आवश्यकता होती है। कॉग नौसिखियों को `cog.yaml` के घोषणात्मक अमूर्त और अंतर्निहित संगतता डेटाबेस के माध्यम से उत्पादन-गुणवत्ता परिनियोजन उत्पादों का उत्पादन करने की अनुमति देता है। साथ ही, रस्ट/कोगलेट आर्किटेक्चर का चयन इसे उच्च-समवर्ती अनुमान परिदृश्यों में प्रदर्शन लाभ प्रदान करता है - एक ऐसा आयाम जिसकी सभी समान उपकरण परवाह नहीं करते हैं, लेकिन विलंबता-संवेदनशील उत्पादन सेवाओं के लिए महत्वपूर्ण है।

**वर्तमान सीमाएँ और अनिश्चितताएँ**:
- **गैर-पायथन पारिस्थितिकी तंत्र से अलगाव**: कॉग की पैकेजिंग प्रणाली गहराई से पायथन से जुड़ी हुई है और सी++/रस्ट/गो अनुमान इंजन का उपयोग करने वाले मॉडल के लिए कमजोर समर्थन है, जो पारंपरिक एमएल (जैसे सिफारिश प्रणाली सी++) के क्षेत्र में इसकी प्रयोज्यता को सीमित करती है।
- **रेप्लिकेट प्लेटफ़ॉर्म निर्भरता जोखिम**: हालांकि कॉग स्वयं खुला स्रोत है और पूरी तरह से स्व-होस्ट किया गया है, इसके डिज़ाइन दर्शन और डिफ़ॉल्ट कॉन्फ़िगरेशन (जैसे `r8.im/` छवि नामकरण, भविष्यवाणी इंटरफ़ेस विनिर्देश) रेप्लिकेट प्लेटफ़ॉर्म के साथ गहराई से जुड़े हुए हैं। यदि रिप्लिकेट अपनी प्लेटफ़ॉर्म नीतियों या इंटरफ़ेस विशिष्टताओं को समायोजित करता है, तो स्व-होस्ट किए गए उपयोगकर्ताओं के लिए माइग्रेशन लागत बढ़ सकती है।
- **समुदाय का आकार और शासन**: बेंटोएमएल (लगभग 70,000 सितारे) और एमएलफ्लो (लगभग 190,000 सितारे) की तुलना में, कॉग के गिटहब सितारे 9,400+ हैं, और समुदाय का आकार और योगदानकर्ताओं की संख्या काफी कम है। इसका मतलब है कि तृतीय-पक्ष एकीकरण, सामुदायिक प्लगइन्स और प्रश्नोत्तर के लिए पारिस्थितिकी तंत्र की समृद्धि सीमित है। मुख्य निर्णय लेने का नेतृत्व अभी भी रेप्लिकेट टीम द्वारा किया जाता है, और सामुदायिक प्रशासन का खुलापन देखा जाना बाकी है।
- **संस्करण पुनरावृत्ति गति का दोहरा प्रभाव**: 2 महीनों में 4 प्रमुख संस्करणों की पुनरावृत्ति आवृत्ति का मतलब है कि नई सुविधाओं को जल्दी से लागू किया जा सकता है, लेकिन यह एपीआई अस्थिरता का जोखिम भी लाता है। 'कॉग प्रेडिक्ट' का नाम बदलकर 'कॉग रन' करना, रनटाइम स्कीमा से स्टैटिक स्कीमा में स्विच करना, और गो से रस्ट में आर्किटेक्चर माइग्रेशन सभी दर्शाते हैं कि कॉग का कोर एपीआई और आर्किटेक्चर अभी भी तेजी से विकसित हो रहा है, और उत्पादन उपयोगकर्ताओं को संस्करणों के बीच संगतता परिवर्तनों पर ध्यान देने की आवश्यकता है।

**अनुवर्ती अवलोकन बिंदु**:
1. **v1.0 की मील का पत्थर परिभाषा**: वर्तमान में Cog अभी भी 0.x संस्करण चरण में है। क्या v1.0 एपीआई स्थिरता प्रतिबद्धताएँ लाएगा? यह उद्यम-स्तर पर गोद लेने के निर्णयों के लिए महत्वपूर्ण है।
2. **गैर-पायथन समर्थन रोडमैप**: क्या कॉग एफएफआई या प्लग-इन तंत्र के माध्यम से अन्य भाषा अनुमान इंजनों के लिए समर्थन बढ़ाएगा? इससे इसकी बाजार सीमा तय होगी.
3. **सामुदायिक और शासन परिवर्तन**: क्या रेप्लिकेट सामुदायिक विकास को बढ़ावा देने के लिए एक अधिक खुला शासन मॉडल (जैसे सामुदायिक अनुरक्षक योजना, सार्वजनिक आरएफसी प्रक्रिया स्थापित करना) पेश करेगा?
4. **एआई परिनियोजन के नए प्रतिमान के लिए अनुकूलन**: सर्वर रहित जीपीयू, एज अनुमान और मॉडल परिमाणीकरण जैसी प्रौद्योगिकियों के विकास के साथ, क्या कॉग नई परिनियोजन टोपोलॉजी के अनुकूल होने की अपनी क्षमता बनाए रख सकता है?

**खरीद और गोद लेने का जोखिम मूल्यांकन**:
- **व्यक्तिगत/छोटी टीम**: कॉग को अपनाने का निर्णय बेहद कम जोखिम वाला है। खुला स्रोत और मुफ़्त, आप 1-2 घंटे में एक ही मॉडल के साथ शुरुआत कर सकते हैं, और बाद में इसे छोड़ देने पर भी कोई डूबती लागत नहीं होगी। इसे सभी व्यक्तिगत डेवलपर्स और स्टार्टअप टीमों के लिए डिफ़ॉल्ट पैकेजिंग टूल के रूप में अनुशंसित किया जाता है, जिन्हें बार-बार एमएल मॉडल तैनात करने की आवश्यकता होती है।
- **मध्यम आकार की टीम (5-20 लोग)**: मौजूदा सीआई/सीडी बुनियादी ढांचे के साथ कॉग को एकीकृत करने की व्यवहार्यता को सत्यापित करने के लिए 1-2 मॉडल पर परीक्षण करने की सिफारिश की गई है। इस पर ध्यान दें: क्या निर्माण समय स्वीकार्य सीमा के भीतर है, क्या `cog.yaml` की अभिव्यक्ति टीम के मौजूदा मॉडलों की तैनाती आवश्यकताओं और टीम के सदस्यों की घोषणात्मक कॉन्फ़िगरेशन की स्वीकृति को कवर करती है। अनुशंसित पायलट अवधि 2-4 सप्ताह है।
- **बड़े उद्यम (50+ मॉडल)**: उद्यमों को अपनाने से पहले निम्नलिखित सत्यापन पूरा करना होगा: ① कम से कम 3 अलग-अलग फ्रेमवर्क (PyTorch/TensorFlow/ONNX) के मॉडल पर कॉग पैकेजिंग सत्यापन पूरा करें; ② Cog द्वारा अपने स्वयं के Kubernetes क्लस्टर पर निर्मित छवि की परिनियोजन अनुकूलता और प्रदर्शन ओवरहेड का मूल्यांकन करें; ③ यदि रेप्लिकेट प्लेटफ़ॉर्म बाद में इंटरफ़ेस विनिर्देश बदलता है तो स्व-होस्ट किए गए लिंक के प्रभाव के दायरे की पुष्टि करें; ④ क्या कॉग संस्करण अपग्रेड रणनीति को एमएल प्लेटफॉर्म की परिवर्तन प्रबंधन प्रक्रिया में शामिल किया गया है ताकि यह सुनिश्चित किया जा सके कि प्रमुख कॉग संस्करण अपग्रेड के कारण उत्पादन अनुमान सेवाएं बाधित नहीं होंगी। खरीदारी निर्णय में "स्वयं-होस्ट किए गए फ़ॉलबैक" विकल्प को शामिल करने की अनुशंसा की जाती है - यह सुनिश्चित करते हुए कि रेप्लिकेट प्लेटफ़ॉर्म की किसी भी स्वामित्व सुविधाओं पर भरोसा किए बिना एंड-टू-एंड परिनियोजन पूरा किया जा सकता है। सख्त अनुपालन आवश्यकताओं वाले उद्योगों के लिए, अपाचे 2.0 लाइसेंस की व्यावसायिक उपयोग सीमाओं और तीसरे पक्ष की निर्भरता के अनुपालन की पुष्टि करना भी आवश्यक है।

संबंधित टूल: <एक्सलिंक टाइप='टूल' स्लग='हगिंग-फेस'>, <एक्सलिंक टाइप='टूल' स्लग='रेप्लिकेट'>

संस्करण जानकारी

• कोग 0.12.0 ：अभी तक कोई आधिकारिक सटीक तारीख नहीं है। बेहतर जीपीयू समर्थन और पायथन निर्भरता कैशिंग। （~2026-05）
• कोग 0.11.0 ：अभी तक कोई आधिकारिक सटीक तारीख नहीं है। उन्नत TensorRT समर्थन और Windows संगतता। （~2025-12）