लक्ष्य ढेर मुफ्त

-

ऐम स्टैक एक खुला स्रोत एमएल प्रयोग ट्रैकिंग और विज़ुअलाइज़ेशन प्लेटफ़ॉर्म है जो एक हल्का एसडीके और वेब यूआई प्रदान करता है, और बहुत बड़े पैमाने के प्रयोगों की इंटरैक्टिव तुलना और खोज का समर्थन करता है।

लक्ष्य ढेर उत्पाद इंटरफेस

AimStack

मुख्य पैरामीटर और आँकड़े

ऐम स्टैक (संक्षेप में लक्ष्य) एक खुला स्रोत, स्व-होस्टेड एमएल प्रयोग ट्रैकिंग और विज़ुअलाइज़ेशन प्लेटफ़ॉर्म है। इसे 2020 में AimStack (टीम आर्मेनिया में स्थित है) द्वारा लॉन्च किया गया था। इसकी मुख्य स्थिति "हल्के, उच्च-प्रदर्शन, शून्य डेटाबेस निर्भरता" विकल्प है। पूरी तरह से खुला स्रोत (अपाचे 2.0) रहते हुए, यह वाणिज्यिक उत्पाद डब्ल्यू एंड बी (वजन और पूर्वाग्रह) के बराबर एक इंटरैक्टिव विज़ुअलाइज़ेशन अनुभव प्रदान करता है, और सभी प्रयोगात्मक डेटा डेटाबेस सेवाओं के अतिरिक्त रखरखाव की आवश्यकता के बिना स्थानीय फ़ाइल सिस्टम में संग्रहीत किया जाता है।

प्रोजेक्ट्स लक्ष्य ढेर एमएलफ्लो ट्रैकिंग टेंसरबोर्ड डब्ल्यू एंड बी (वजन और पूर्वाग्रह)
ओपन सोर्स समझौता अपाचे 2.0 अपाचे 2.0 अपाचे 2.0 आंशिक रूप से खुला स्रोत (मुख्य कार्य बंद स्रोत)
परिनियोजन विधि स्व-होस्टेड (पिप इंस्टाल) स्व-होस्टेड + प्रबंधित स्थानीय स्तर पर चलाएं सास + निजी बादल
डेटाबेस निर्भरताएँ कोई नहीं (स्थानीय फ़ाइल सिस्टम) बैकएंड स्टोरेज आवश्यक (SQLite/MySQL/PostgreSQL) कोई नहीं होस्टिंग (उपयोगकर्ता रखरखाव की आवश्यकता नहीं)
एसडीके भाषाएँ पायथन पायथन, आर, जावा पायथन पायथन, आर
वेब यूआई अन्तरक्रियाशीलता सशक्त (तुलना, खोजकर्ता) मध्यम (सारणी, चार्ट) कमज़ोर (केवल अदिश वक्र) मजबूत (डैशबोर्ड, रिपोर्ट)
प्रायोगिक पैमाने का समर्थन 10,000 स्तर की दौड़ 10,000 स्तर की दौड़ 1,000 स्तर की दौड़ 10,000 स्तर की दौड़
एंटरप्राइज़ संस्करण / वाणिज्यिक समर्थन कोई आधिकारिक व्यावसायिक संस्करण नहीं (एंटरप्राइज़ समर्थन से संपर्क कर सकते हैं) हाँ (डेटाब्रिक्स प्लेटफ़ॉर्म) नहीं हाँ (सशुल्क टीम/एंटरप्राइज़ संस्करण)
गिटहब स्टार्स 6.2k 19k+ लागू नहीं (TensorFlow उप-प्रोजेक्ट) लागू नहीं (पूरी तरह से खुला स्रोत नहीं)
डेटा संप्रभुता पूर्णतः स्थानीय स्व-होस्टेड होने पर स्थानीय पूर्णतः स्थानीय डेटा ऑफशोर (सास)

एक संक्षिप्त टिप्पणी: उद्देश्य एक "प्रयोग ट्रैकर है जिसके लिए डेटाबेस की आवश्यकता नहीं होती है"। एमएल टीमों के लिए जो डेटा संप्रभुता पर ध्यान केंद्रित करते हैं और हल्के तैनाती का प्रयास करते हैं, यह वाणिज्यिक उत्पाद डब्ल्यू एंड बी का सबसे मजबूत ओपन सोर्स विकल्प है।

उपयोगकर्ता और बाज़ार की पहचान

GitHub समुदाय गतिविधि: Aim के पास GitHub पर 6.2k स्टार्स, 401 फोर्क्स, 83 योगदानकर्ता हैं और उसने कुल 71 रिलीज़ जारी की हैं। नवीनतम संस्करण v3.29.1 (2025-05-08) है। परियोजना की मुख्य भाषा पायथन (91.8%) है, जो साइथॉन (4.7%) और जावास्क्रिप्ट (1.8%) द्वारा पूरक है। समुदाय डिस्कॉर्ड, ट्विटर, मीडियम और अन्य माध्यमों से सक्रिय रहता है।

एंटरप्राइज़ गोद लेने की स्थिति: विशिष्ट एंटरप्राइज़ ग्राहकों की आधिकारिक सूची का खुलासा नहीं किया गया है, लेकिन PyPI पेज (कई प्रौद्योगिकी कंपनियों के लोगो सहित) पर प्रदर्शित "ML टीमों द्वारा विश्वसनीय" ब्रांड वॉल और AimStack द्वारा प्रदान की गई एंटरप्राइज़ सहायता सेवाओं ([email protected] के माध्यम से संपर्क) को देखते हुए, इसे कुछ यूरोपीय और अमेरिकी प्रौद्योगिकी टीमों द्वारा सत्यापित किया गया है।

शैक्षणिक उद्धरण: उद्देश्य को अकादमिक पत्रों में उद्धृत किया गया है (डीओआई: 10.5281/ज़ेनोडो.6536395) और एनएलपी/सीवी क्षेत्र में प्रयोगात्मक प्रतिकृति में एक मानक ट्रैकिंग उपकरण के रूप में उपयोग किया जाता है।

उद्योग बेंचमार्किंग मूल्यांकन:

  • बनाम टेन्सरबोर्ड: एकल-प्रयोग स्केलर वक्र देखने की क्षमताओं में वेब यूआई (मल्टी-एक्सपेरिमेंट ओवरले, ज़ूम, सर्च) की इंटरैक्टिव तुलना में एआईएम टेन्सरबोर्ड से काफी बेहतर है, और इमेज/टेक्स्ट/एम्बेडिंग जैसे मल्टी-मोडल ट्रैकिंग का समर्थन करता है।
  • बनाम एमएलफ्लो: एआईएम का लाभ आउट-ऑफ-बॉक्स दृश्य अनुभव और शून्य डेटाबेस आर्किटेक्चर में निहित है; एमएलफ्लो का लाभ पारिस्थितिकी तंत्र की पूर्णता (मॉडल पंजीकरण, तैनाती, सेवा) में निहित है।
  • बनाम W&B: W&B टीम सहयोग, रिपोर्ट साझाकरण और स्वचालित अलर्ट में अग्रणी है; उद्देश्य खुला स्रोत और मुफ़्त + डेटा संप्रभुता है, जो इसे बजट-संवेदनशील टीमों के लिए उपयुक्त बनाता है।

सामुदायिक पारिस्थितिक प्लग-इन:

  • एआईएमफ्लो: एमएलफ्लो प्रयोगों के लिए एआईएम का शक्तिशाली यूआई फ्रंट-एंड प्रदान करता है (अर्थात, एमएलफ्लो द्वारा रिकॉर्ड किए गए डेटा को देखने के लिए एआईएम के यूआई का उपयोग करें)।
  • Aim-spaCy: Aim पर आधारित SpaCy प्रयोग ट्रैकर, एनएलपी पाइपलाइन प्रयोग प्रबंधन पर ध्यान केंद्रित करता है।

लागत लाभ

सी-साइड/व्यक्तिगत लागत: पूरी तरह से मुफ़्त। भुगतान करने के लिए कोई लाइसेंसिंग या सदस्यता शुल्क नहीं है। स्व-होस्टिंग में कोई सुविधा सीमा नहीं है और इसका उपयोग किसी भी प्रोजेक्ट रन पर किया जा सकता है।

डेवलपर/टीम लागत: स्व-होस्टिंग लागत बेहद कम है। आपको बस एक पायथन-सक्षम मशीन (या साझा भंडारण) और पिप इंस्टॉल उद्देश्य की आवश्यकता है। कोई डेटाबेस संचालन और रखरखाव लागत नहीं - Aim स्थानीय फ़ाइल सिस्टम (.aim रेपो) भंडारण का उपयोग करता है और MySQL/PostgreSQL जैसी बाहरी निर्भरताएँ पेश नहीं करता है। एमएलफ्लो (जिसमें ट्रैकिंग सर्वर + बैकएंड डेटाबेस + आर्टिफैक्ट स्टोर के कॉन्फ़िगरेशन की आवश्यकता होती है) की तुलना में, एआईएम का संचालन और रखरखाव का बोझ काफी कम है।

व्यापार/निजीकरण लागत: कोई आधिकारिक वाणिज्यिक मूल्य निर्धारण उपलब्ध नहीं है। यदि किसी उद्यम को एसएसओ, आरबीएसी और एसएलए जैसे एंटरप्राइज़-स्तरीय कार्यों की आवश्यकता है, तो उसे स्वयं ओपन सोर्स के आधार पर विस्तार करना होगा, या एंटरप्राइज़ समर्थन पर चर्चा करने के लिए एइमस्टैक टीम ([email protected]) से संपर्क करना होगा। मॉडल का चयन करते समय छिपी हुई विकास लागत के इस हिस्से को स्वामित्व की कुल लागत (टीसीओ) में शामिल किया जाना चाहिए।

त्रिस्तरीय लागत तुलना तालिका:

लागत आयाम लक्ष्य ढेर एमएलफ्लो (स्वयं-होस्टेड) ​​ डब्ल्यू एंड बी (सास)
सॉफ्टवेयर लाइसेंस शुल्क $0 (अपाचे 2.0) $0 (अपाचे 2.0) टीम संस्करण $50/व्यक्ति/माह से शुरू
डेटाबेस संचालन एवं रखरखाव किसी डेटाबेस की आवश्यकता नहीं SQLite/MySQL + भंडारण आवश्यक होस्टिंग, कोई संचालन और रखरखाव की आवश्यकता नहीं
सर्वर लागत एकल मशीन की आवश्यकता कम से कम 1 सर्वर आवश्यक है उपयोग के अनुसार बिल
सीखने की लागत कम (शुरू करने के लिए 10 मिनट) माध्यम (ट्रैकिंग सर्वर को कॉन्फ़िगर करने की आवश्यकता है) कम (सास उपयोग के लिए तैयार)
डेटा माइग्रेशन लागत निम्न (स्थानीय फ़ाइलों की सीधी प्रतिलिपि) मध्यम (ट्रैकिंग स्टोर को निर्यात करने की आवश्यकता है) उच्च (एपीआई निर्यात सीमित है)
उद्यम समारोह विस्तार लागत उच्च (आरबीएसी/एसएसओ के स्व-विकास की आवश्यकता है) मध्यम (MLflow में समुदाय RBAC है) एंटरप्राइज़ संस्करण में पहले से ही शामिल है

मुक्त सत्य: उद्देश्य पूरी तरह से खुला स्रोत है और इसमें कोई छिपा हुआ भुगतान बिंदु नहीं है, लेकिन "मुफ़्त" की कीमत यह है कि उद्यम-स्तर के कार्यों (अनुमति एसएसओ, ऑडिट लॉग) को स्वयं बनाने की आवश्यकता है; जब बड़े पैमाने की टीमें (>50 लोग) समान .aim रेपो साझा करती हैं, तो फ़ाइल सिस्टम का समवर्ती पढ़ना और लिखना एक बाधा बन सकता है, और रिमोट ट्रैकिंग सर्वर मोड में अपग्रेड करना आवश्यक है।

मुख्य कार्य

  • इंटरएक्टिव रन तुलना (एक्सप्लोरर्स): वेब यूआई में, मेट्रिक्स एक्सप्लोरर, पैराम्स एक्सप्लोरर, स्कैटर एक्सप्लोरर इत्यादि जैसे कई विज़ुअल एक्सप्लोरर के माध्यम से, संकेतक वक्र तुलना, हाइपरपैरामीटर स्कैटर विश्लेषण और छवि अनुक्रम प्लेबैक के लिए किसी भी संख्या में रन को सुपरइम्पोज़ किया जा सकता है। माउस होवर हाइलाइटिंग, ज़ूमिंग और क्षेत्र चयन का समर्थन करता है, और आप कोड लिखे बिना असामान्य रन फ़िल्टर कर सकते हैं।

    • सिनर्जी: तुलना दृश्य को सीधे डैशबोर्ड के रूप में सहेजा जा सकता है और बार-बार कॉन्फ़िगरेशन के बिना टीम के सदस्यों के साथ साझा किया जा सकता है।
  • पूर्ण-पाठ खोज और क्वेरी: फ़िल्टर हाइपरपैरामीटर रेंज (लर्निंग_रेट> 0.001), मीट्रिक थ्रेशोल्ड (एसीसी> = 0.9), लेबल या एआईएम के पायथन एक्सप्रेशन क्वेरी सिंटैक्स के माध्यम से कस्टम संदर्भ द्वारा चलता है। खोज परिणाम एक क्रमबद्ध तालिका या डैशबोर्ड में प्रदर्शित होते हैं, जो फजी मिलान और श्रेणी क्वेरी का समर्थन करते हैं।

    • सिनर्जी प्रभाव: खोज स्थितियों को "बुकमार्क" के रूप में सहेजा जा सकता है और सामान्य प्रश्नों को एक क्लिक के साथ पुन: उपयोग किया जा सकता है, जो टीम साप्ताहिक रिपोर्ट और मॉडल बेसलाइन समीक्षाओं जैसे दोहराए जाने वाले परिदृश्यों के लिए उपयुक्त है।
  • स्वचालित मेटाडेटा रिकॉर्डिंग: एसडीके के माध्यम से एक-क्लिक ट्रैकिंग - उद्देश्य आयात रन से; रन = रन() स्वचालित कैप्चर:

    • प्रासंगिक जानकारी (पायथन संस्करण, सिस्टम सूचना जीपीयू मॉडल)
    • Git प्रतिबद्ध हैश और शाखाएँ
    • कस्टम हाइपरपैरामीटर (शब्दकोश प्रपत्र)
    • संकेतक अनुक्रम (नुकसान, सटीकता, आदि, चरण दर चरण दर्ज)
    • मल्टी-मोडल डेटा जैसे चित्र, टेक्स्ट और एम्बेडिंग (Run.track())
    • सिनर्जी: स्वचालित लॉगिंग + खोज के साथ, टीमें सेकंड में हजारों रन से "एक निश्चित डेटा सेट पर उच्चतम एसीसी प्रयोगात्मक कॉन्फ़िगरेशन" पा सकती हैं।
  • डैशबोर्ड: ड्रैग-एंड-ड्रॉप लेआउट का समर्थन करते हुए किसी भी अन्वेषण दृश्य (संकेतक तुलना चार्ट, पैरामीटर तालिका, चित्र पूर्वावलोकन) को एक कस्टम डैशबोर्ड में संयोजित करें। नया रन लिखते ही डैशबोर्ड डेटा स्वचालित रूप से अपडेट हो जाता है।

    • सिनर्जी: डैशबोर्ड का उपयोग "टीम एक्सपेरिमेंट डेली" के लिए स्वचालित रूप से जेनरेट किए गए पेज के रूप में किया जा सकता है, जिससे हर बार मैन्युअल स्क्रीनशॉट रिपोर्टिंग के दोहराव को समाप्त किया जा सकता है।
  • हल्के परिनियोजन और दूरस्थ ट्रैकिंग:

    • पिप इंस्टाल उद्देश्य सिंगल कमांड इंस्टालेशन; एइम अप एक क्लिक से वेब यूआई शुरू करता है (डिफ़ॉल्ट पोर्ट 43800)।
    • रिमोट ट्रैकिंग सर्वर मोड का समर्थन करता है: एकाधिक प्रशिक्षण मशीनें क्लस्टर प्रशिक्षण परिदृश्यों के लिए उपयुक्त, केंद्रीय लक्ष्य सेवा को संकेतक भेजती हैं।
    • कुबेरनेट्स परिनियोजन का समर्थन करता है (आधिकारिक परिनियोजन मार्गदर्शिका प्रदान की गई है)।
    • सीधे नोटबुक के भीतर वेब यूआई लॉन्च करने के लिए ज्यूपिटर/कोलैब के साथ एकीकृत।
    • सिनर्जी: स्टैंड-अलोन प्रयोग से लेकर टीम रिमोट सहयोग तक, आपको केवल aim.Run() में repo पैरामीटर के पॉइंटर को बदलने की आवश्यकता है, और SDK कोड को फिर से लिखने की आवश्यकता नहीं है।
  • पारिस्थितिकी तंत्र विस्तार:

    • एआईएमएलफ्लो: एमएलफ्लो इकोसिस्टम के मॉडल पंजीकरण और परिनियोजन कार्यों को खोए बिना एआईएम के यूआई इंटरफेस को एमएलफ्लो में लाता है।
    • उद्देश्य-स्पेसी: एनएलपी पाइपलाइनों के प्रयोग ट्रैकिंग पर ध्यान दें।
    • PyTorch, TensorFlow, Keras, Hugging Face, PyTorch Lightning, और Stable Baselines3 जैसे मुख्यधारा ढांचे के साथ एकीकरण का समर्थन करता है।

मॉडल और संस्करण विकास

2020 में लॉन्च होने के बाद से, Aim का प्रोटोटाइप (v1/v2) से उत्पादन स्तर (v3) तक पूर्ण विकास हुआ है। वी3 श्रृंखला वर्तमान मुख्य संस्करण है और हर 6-8 सप्ताह में एक छोटी रिलीज की पुनरावृत्ति लय बनाए रखती है।

संस्करण विकास में प्रमुख नोड्स:

संस्करण रिलीज की तारीख मुख्य परिवर्तन
v1.x (प्रारंभिक संस्करण) ~2020 पहला सार्वजनिक संस्करण, बुनियादी प्रयोग ट्रैकिंग क्षमताएं
v2.x ~2022-06 व्यापक पुनर्निर्माण, एक्सप्लोरर सिस्टम की शुरूआत, मल्टी-मोडल ट्रैकिंग के लिए समर्थन
v3.21.0 2024-06 पायथन 3.12 पूरे प्रयोग को सपोर्ट करता है, हटाता है, बड़े ऑब्जेक्ट रिमोट ट्रैकिंग ज्यूपिटर यूआई एम्बेडेड
v3.22.0 2024-06 फ़ाइल सिस्टम-आधारित विरूपण साक्ष्य भंडारण
v3.23.0 2024-07 एसबी3 कॉलबैक फिक्स, क्लाइंट टाइमआउट में कमी, सीएलआई स्किप इनिशियलाइज़ेशन
v3.24.0 2024-08 रिमोट बैच अपडेट यूआई रीड-ओनली मोड, बुकमार्क स्क्रॉलिंग रिपेयर
v3.25.0 2024-10 रिपोर्ट फ़ंक्शन, स्व-हस्ताक्षरित एसएसएल प्रमाणपत्र समर्थन
v3.25.1 2024-11 खाली Index.db हैंडलिंग फिक्स Python 3.12 बिल्ड फिक्स
v3.26.1 2024-12 संकेतक क्वेरी प्रदर्शन अनुकूलन, बुनियादी दोष निदान उपकरण
v3.27.0 2024-12 PyTorch लाइटनिंग लॉगर S3 आर्टिफैक्ट स्टोरेज, रन स्टेटस रिपोर्ट रिपेयर, समानांतर टैग निर्माण रिपेयर को बढ़ाता है
v3.28.0 2025-03 प्रदर्शन में सुधार के लिए अनावश्यक चेक हटाएं, हगिंग फेस डिस्ट्रिब्यूटेड रन कॉलबैक टैग बार-बार प्रोसेसिंग, रिमोट ट्रैकिंग अपवाद हैंडलिंग, कोड शैली में सुधार
v3.29.1 (नवीनतम) 2025-05 एकीकृत डेटाबेस रीडिंग + क्वेरी प्रदर्शन को बेहतर बनाने के लिए निरंतर सूचकांक न्यूनतम/अधिकतम गणना मरम्मत ज्यूपिटर/कोलैब एकीकरण मरम्मत रुके हुए रन स्वचालित अंकन

संस्करण प्रबंधन सुविधाएँ:

  • एआईएम सेम्वर के सख्त सिमेंटिक संस्करण का उपयोग नहीं करता है, और मामूली संस्करण वृद्धि एपीआई संगतता चिह्नों के बजाय फीचर सेट के अनुरूप है।
  • v3.x श्रृंखला पश्चगामी संगतता बनाए रखती है, और समान .aim रेपो को लक्ष्य SDK के विभिन्न लघु संस्करणों द्वारा पढ़ा जा सकता है।
  • v2.x लीगेसी SDK कोड को आधिकारिक तौर पर हटा दिया गया है ([chore] रिमूव लीगेसी (उद्देश्य 2.x.x) sdk v3.28.0 में), और उपयोगकर्ताओं को v3.28+ में अपग्रेड करने की अनुशंसा की जाती है।

नवीनतम संस्करण v3.29.1 विस्तृत विवरण:

  • क्वेरी प्रदर्शन क्रांति: क्रॉस-रन संकेतक क्वेरी विलंब को दूसरे स्तर से उप-दूसरे स्तर तक कम करने के लिए "एकल एकीकृत डेटाबेस" रीडिंग + "निरंतर डेटा इंडेक्स" का परिचय, जो विशेष रूप से दस हजार-स्तरीय रन परिदृश्यों के लिए महत्वपूर्ण है।
  • यूआई/एकीकरण सुधार: ज्यूपिटर/कोलैब में वेब यूआई एम्बेडिंग के साथ संगतता समस्याओं को ठीक किया गया, साथ ही संकेतकों के लिए न्यूनतम/अधिकतम की एकल-बिंदु गणना में त्रुटियां।
  • स्थिरता वृद्धि: स्वचालित रूप से समाप्त चिह्नित करने के लिए रुका हुआ रन जोड़ा गया, फ़ाइल संशोधनों का तत्काल पता लगाने के लिए मतदान पर्यवेक्षक का उपयोग करें, और एकीकृत डेटाबेस असामान्य होने पर स्वचालित रूप से वापस रोल करें।

तकनीकी लाभ

शून्य डेटाबेस आर्किटेक्चर: Aim SQL/NoSQL डेटाबेस पर निर्भर नहीं है, सभी ट्रैकिंग डेटा स्थानीय फ़ाइल सिस्टम पर .aim रेपो में संग्रहीत किया जाता है। प्रत्येक रन का डेटा एक क्रमबद्ध फ़ाइल (साइथॉन-अनुकूलित बाइनरी प्रारूप के आधार पर) में स्वतंत्र रूप से संग्रहीत किया जाता है, और SQL जैसी क्वेरी क्षमताएं यूनियनडीबी (एकीकृत डेटाबेस) परत के माध्यम से प्रदान की जाती हैं। यह वास्तुकला तीन प्रत्यक्ष लाभ लाती है:

  1. शून्य संचालन और रखरखाव: डेटाबेस की कोई स्थापना/कॉन्फ़िगरेशन/ट्यूनिंग की आवश्यकता नहीं है, जिससे एमएलओपीएस बुनियादी ढांचे की जटिलता कम हो जाती है।
  2. पोर्टेबिलिटी: .aim रेपो को सीधे कॉपी/संपीड़ित/संचारित किया जा सकता है, और प्रयोगात्मक डेटा को प्रोजेक्ट के साथ ले जाया जा सकता है।
  3. लेखन प्रदर्शन: क्रमबद्ध लेखन के लिए किसी नेटवर्क I/O की आवश्यकता नहीं होती है, जो उच्च-आवृत्ति संकेतक रिकॉर्डिंग (प्रति चरण एक बार) के लिए उपयुक्त है।

साइथन कोर एक्सेलेरेशन: एआईएम की मुख्य भंडारण परत (उद्देश्य/भंडारण/) साइथॉन (4.7%) में लिखी गई है, जो संकेतक क्रमबद्धता/डीसेरिएलाइज़ेशन और एकत्रीकरण क्वेरीज़ (न्यूनतम/अधिकतम/माध्य/गणना) में सी भाषा के करीब प्रदर्शन प्राप्त करती है। ट्रैकिंग लाइब्रेरी के शुद्ध पायथन कार्यान्वयन की तुलना में, 10,000+ रन के मीट्रिक एकत्रीकरण को संसाधित करते समय Aim में कम विलंबता होती है।

यूनियनडीबी क्वेरी इंजन: पारंपरिक प्रयोग ट्रैकिंग टूल की "इंडेक्स ऑन राइट" रणनीति से अलग, एआईएम "मर्ज ऑन रीड" के यूनियनडीबी डिज़ाइन को अपनाता है। नया लिखा गया रन डेटा तुरंत दिखाई देता है (इंडेक्स पुनर्निर्माण के लिए प्रतीक्षा करने की कोई आवश्यकता नहीं है), और यूनियनडीबी स्वचालित रूप से सभी रन स्टोरेज टुकड़ों को मर्ज कर देता है और क्वेरी करते समय पायथन एक्सप्रेशन फ़िल्टरिंग करता है। यह डिज़ाइन लगातार लिखने + लगातार क्वेरी वर्कलोड के तहत अच्छा प्रदर्शन करता है, लेकिन इसका मतलब यह भी है कि जटिल क्रॉस-रन एकत्रीकरण क्वेरी पूर्व-अनुक्रमित डेटाबेस (जैसे एमएलफ्लो के MySQL बैकएंड) की तुलना में थोड़ी धीमी हो सकती है - यह एआईएम के आधिकारिक निरंतर अनुकूलन की दिशा है (v3.29.1 इस उद्देश्य के लिए निरंतर इंडेक्स पेश करता है)।

वेब यूआई प्रदर्शन: फ्रंट-एंड रिएक्ट + टाइपस्क्रिप्ट के आधार पर बनाया गया है, और 5,000+ रन और लाखों डेटा पॉइंट के तहत सुचारू ब्राउज़र इंटरैक्शन सुनिश्चित करने के लिए वर्चुअल स्क्रॉलिंग, वेबसॉकेट की ऑन-डिमांड लोडिंग और रीयल-टाइम पुश का उपयोग करता है। TensorBoard के एकल-प्रक्रिया फ्लास्क आर्किटेक्चर की तुलना में, Aim के वेब UI का बहु-प्रयोग तुलना परिदृश्यों में काफी बेहतर अनुभव है।

एम्बेडिंग और एकीकरण रणनीति: उद्देश्य एसडीके को "गैर-घुसपैठ" के रूप में डिज़ाइन किया गया है - फ्रेमवर्क कॉलबैक या विशिष्ट प्रशिक्षण लूप संरचनाओं को मजबूर किए बिना, __setitem__ और रन ऑब्जेक्ट के ट्रैक तरीकों के माध्यम से मनमाने ढंग से पायथन प्रशिक्षण स्क्रिप्ट को एम्बेड करना। अधिकारी PyTorch, TensorFlow/Keras, Hugging Face, PyTorch Lightning, Stable Baselines3 और अन्य फ्रेमवर्क के साथ-साथ MLflow माइग्रेशन गाइड के लिए एकीकरण उदाहरण प्रदान करता है।

प्रतिस्पर्धी उत्पादों के साथ तकनीकी अंतर:

तकनीकी आयाम लक्ष्य ढेर एमएलफ्लो डब्ल्यू एंड बी
डेटा भंडारण इंजन साइथॉन अनुकूलित फ़ाइल स्वरूप रिलेशनल डेटाबेस होस्ट किया गया समय श्रृंखला डेटाबेस
क्वेरी विलंबता (10,000-स्तर रन) उप-द्वितीय स्तर (v3.29+) दूसरा स्तर (डीबी प्रदर्शन पर निर्भर करता है) मिलीसेकंड स्तर (होस्टिंग)
परिनियोजन निर्भरताएँ पायथन 3.8+ पायथन + डीबी + स्टोरेज कोई नहीं (सास)
क्रॉस-रन तुलना मूल समर्थन (एक्सप्लोरर) कस्टम क्वेरी आवश्यक मूल समर्थन
ऑफ़लाइन/स्थानीय रूप से उपलब्ध पूर्णतः ऑफ़लाइन ऑफलाइन उपलब्ध इंटरनेट कनेक्शन आवश्यक
डेटा स्वामित्व 100% उपयोगकर्ता-स्वामित्व स्व-होस्टेड होने पर 100% तृतीय पक्ष के माध्यम से डेटा

का उपयोग कैसे करें

स्थित आवश्यकताएँ

  • पायथन 3.8+ (3.10+ अनुशंसित)
  • पिप पैकेज मैनेजर

त्वरित शुरुआत

चरण 1: स्थापना

पिप स्थापित करने का लक्ष्य
# स्थापना सत्यापित करें
लक्ष्य संस्करण

चरण 2: प्रशिक्षण कोड में उद्देश्य एसडीके को एकीकृत करें

लक्ष्य आयात से भागो

# एक नया रन आरंभ करें
भागो = भागो()

# हाइपरपैरामीटर रिकॉर्ड करें
चलाएँ["hparams"] = {
    "सीखने की दर": 0.001,
    "बैच_आकार": 32,
    "अनुकूलक": "एडम",
    "युग": 50
}

#प्रशिक्षण चक्र में एक सफल रिकॉर्ड संकेतक है
श्रेणी में युग के लिए (50):
    ट्रेन_लॉस = ट्रेन_एक_युग(युग)
    run.track(ट्रेन_लॉस, नाम = "नुकसान", चरण = युग, संदर्भ = {"सबसेट": "ट्रेन"})

    val_acc = मान्य(युग)
    run.track(val_acc, name='सटीकता', चरण=युग, संदर्भ={'सबसेट': 'वैल'})

चरण 3: वेब यूआई प्रारंभ करें

लक्ष्य ऊपर करो
# डिफ़ॉल्ट रूप से http://127.0.0.1:43800 पर खोलें

रिमोट ट्रैकिंग मोड

जब प्रशिक्षण कई मशीनों पर चल रहा हो, तो Aim रिमोट ट्रैकिंग सेवा शुरू की जा सकती है:

# सेंट्रल सर्वर पर ट्रैकिंग सेवा शुरू करें
उद्देश्य सर्वर--पोर्ट 43800

# प्रशिक्षण कोड में दूरस्थ सेवा को इंगित करें
लक्ष्य आयात से भागो
रन = रन(repo='उद्देश्य://<सर्वर-आईपी>:43800')

कुबेरनेट्स परिनियोजन

Aim आधिकारिक Kubernetes परिनियोजन मार्गदर्शिका प्रदान करता है। विशिष्ट विन्यास में शामिल हैं:

  • उद्देश्य सर्वर परिनियोजन (केंद्रीय ट्रैकिंग सेवा)
  • PersistentVolume (प्रयोगात्मक डेटा दृढ़ता)
  • सेवा (आंतरिक संचार)

दस्तावेज़ और उदाहरण देखें

प्रवेश नियंत्रण का उपयोग करें

प्रवेश लागू परिदृश्य स्टार्टअप विधि
वेब यूआई पूर्ण विशेषताओं वाला विज़ुअलाइज़ेशन, तुलना, खोज 'लक्ष्य बढ़ाओ'
पायथन एसडीके प्रशिक्षण स्क्रिप्ट में ट्रैकिंग एम्बेड करें आयात उद्देश्य
रिमोट सर्वर मल्टी-मशीन क्लस्टर एकीकृत ट्रैकिंग लक्ष्य सर्वर
ज्यूपिटर/कोलाब नोटबुक में प्रयोग प्रबंधन लक्ष्य ऊपर --नोटबुक
सीएलआई क्वेरी, सांख्यिकी, प्रबंधन रेपो लक्ष्य स्थिति/रेपो/संस्करण
पायथन एपीआई क्रमादेशित क्वेरी और विश्लेषण Aim.sdk आयात रेपो से

उत्पाद का मूल्य निर्धारण

Aim का मुख्य उत्पाद Apache 2.0 ओपन सोर्स लाइसेंस को अपनाता है और पूरी तरह से मुफ़्त है। कोई कार्यात्मक रूप से छीन लिया गया सामुदायिक संस्करण या भुगतान किया गया व्यावसायिक संस्करण नहीं है। इंस्टॉलेशन पर सभी उपयोगकर्ताओं के पास मल्टी-एक्सप्लोरर, डैशबोर्ड, रिमोट ट्रैकिंग और पूर्ण-पाठ खोज सहित पूर्ण कार्यक्षमता तक पहुंच होती है।

निःशुल्क कोटा विवरण:

  • रनों की संख्या की कोई सीमा नहीं
  • उपयोगकर्ताओं की संख्या पर कोई सीमा नहीं
  • संकेतकों की संख्या पर कोई सीमा नहीं
  • कोई भंडारण क्षमता सीमा नहीं (केवल स्थानीय डिस्क द्वारा सीमित)

एइमस्टैक एंटरप्राइज सपोर्ट: AimStack टीम [email protected] के माध्यम से एंटरप्राइज़-स्तरीय सहायता सेवाएँ प्रदान करती है, जिसमें ये शामिल हैं, लेकिन इन्हीं तक सीमित नहीं हैं:

  • प्राथमिकता तकनीकी सहायता (एसएलए)
  • अनुकूलित फ़ंक्शन विकास
  • निजीकरण परिनियोजन परामर्श -टीम प्रशिक्षण और ऑनबोर्डिंग

कीमत का खुलासा नहीं किया गया है, कृपया उद्धरण के लिए AimStack से संपर्क करें। उन टीमों के लिए जिन्हें एसएसओ, आरबीएसी और ऑडिट लॉग जैसे एंटरप्राइज़-स्तरीय कार्यों की आवश्यकता होती है, एआईएम वर्तमान में आधिकारिक तौर पर अंतर्निहित कार्यान्वयन प्रदान नहीं करता है, और उन्हें ओपन सोर्स के आधार पर तीसरे पक्ष के पहचान प्रदाताओं का विस्तार या एकीकरण करने की आवश्यकता है।

छिपी लागत युक्ति:

  • बड़ी टीमों (>20 लोगों) के लिए, रिमोट ट्रैकिंग सर्वर मोड का उपयोग करने की अनुशंसा की जाती है, जिसके लिए अतिरिक्त सर्वर संसाधन की आवश्यकता होती है।
  • चयन के दौरान मूल्यांकन में कस्टम एंटरप्राइज फ़ंक्शंस (अधिकृत एसएसओ) के विकास और रखरखाव की समय लागत को शामिल किया जाना चाहिए।
  • मौजूदा एमएलओपीएस पाइपलाइनों (क्यूबफ्लो, एयरफ्लो) के साथ एकीकरण के लिए अतिरिक्त अनुकूलन विकास की आवश्यकता हो सकती है।

अनुप्रयोग परिदृश्य

  • व्यक्तिगत एमएल प्रोजेक्ट प्रयोग प्रबंधन: स्थानीय बिखरे हुए सीएसवी/एक्सेल/स्क्रीनशॉट रिकॉर्ड को बदलें। प्रत्येक प्रशिक्षण के हाइपरपैरामीटर, संकेतक वक्र और सिस्टम संसाधन उपयोग को स्वचालित रूप से कैप्चर करें, और उन्हें वेब यूआई के माध्यम से एक नज़र में स्पष्ट करें। कटौती लाभ: मैन्युअल रिकॉर्डिंग (प्रति प्रयोग लगभग 15 मिनट) को स्वचालित रिकॉर्डिंग (शून्य अतिरिक्त समय) तक कम कर दिया जाता है, और ऐतिहासिक प्रयोगों को खोजा और खोजा जा सकता है, "मुझे याद है कि मैंने पिछली बार अच्छे परिणाम दिखाए थे लेकिन कॉन्फ़िगरेशन नहीं मिल सका।"

  • आंतरिक टीम मॉडल बेंचमार्किंग (बेंचमार्किंग): टीम के सदस्य साझा भंडारण या केंद्रीय उद्देश्य सर्वर पर अपने स्वयं के प्रयोगों को रिकॉर्ड करते हैं, और खोज और तुलना के माध्यम से वर्तमान सर्वोत्तम अभ्यास हाइपरपैरामीटर संयोजन को तुरंत ढूंढते हैं। कटौती लाभ: "वीचैट/ईमेल स्क्रीनशॉट + मौखिक संचार" (प्रति सप्ताह लगभग 2-4 घंटे संरेखण लागत) से "एक नज़र में देखने के लिए उद्देश्य डैशबोर्ड खोलें" (प्रति सप्ताह लगभग 10 मिनट)। बुकमार्क फ़ंक्शन के साथ, साप्ताहिक रिपोर्ट/समीक्षाओं के बार-बार स्क्रीनशॉट लेने की कोई आवश्यकता नहीं है।

  • ओपन सोर्स सेल्फ-होस्टेड एमएलओपीएस इन्फ्रास्ट्रक्चर: मौजूदा सेल्फ-बिल्ट एमएलओपीएस स्टैक में एक हल्के प्रयोग ट्रैकिंग घटक के रूप में एंबेड एआईएम। उन टीमों के लिए उपयुक्त जो पहले से ही क्यूबफ्लो और एयरफ्लो जैसे ऑर्केस्ट्रेशन टूल का उपयोग करते हैं - एआईएम की शून्य डेटाबेस निर्भरता सुविधा संचालन और रखरखाव जटिलता को बढ़ाए बिना मौजूदा आर्किटेक्चर के साथ एकीकृत करना आसान बनाती है। कटौती लाभ: एमएलफ्लो (जिसमें अतिरिक्त ट्रैकिंग सर्वर + डीबी की आवश्यकता होती है) की शुरूआत की तुलना में, एआईएम का एकीकरण समय लगभग 2 दिनों से कम होकर लगभग 2 घंटे हो गया है।

  • ज्यूपिटर नोटबुक इंटरैक्टिव प्रयोग: डेटा वैज्ञानिक नोटबुक में डेटा सफाई, फीचर इंजीनियरिंग और मॉडल प्रशिक्षण के वन-स्टॉप प्रयोगों को पूरा करते हैं, और नोटबुक एम्बेडेड यूआई में वास्तविक समय में संकेतक परिवर्तनों को देखने के लिए aim up --notebook का उपयोग करते हैं। कटौती लाभ: "बार-बार प्रिंट हानि + मैटप्लोटलिब प्लॉटिंग" (प्रति युग लगभग 30 सेकंड का मैन्युअल ऑपरेशन) से "स्वचालित ट्रैकिंग + वास्तविक समय वक्र" (शून्य अतिरिक्त संचालन)।

  • अकादमिक अनुसंधान और पेपर पुनरुत्पादन: शोधकर्ता ने उद्देश्य को प्रायोगिक प्रक्रिया में शामिल किया और प्रत्येक हाइपरपैरामीटर समायोजन के परिणामों को स्वचालित रूप से रिकॉर्ड किया। Aim का अकादमिक उद्धरण समर्थन (CITATION.cff) कागजात में प्रयोगात्मक डेटा के उद्धरण को मानकीकृत करता है। कटौती लाभ: "जब पेपर समीक्षा के लिए प्रयोगात्मक विवरणों को पूरक करने की आवश्यकता होती है तो लॉग को देखना" (लगभग 1-3 दिन का बैकट्रैकिंग समय) से लेकर ".aim रेपो पथ को सीधे साझा करना" (तुरंत)।

लागू लोग

भीड़ के लिए उपयुक्त:

  • स्वतंत्र एमएल डेवलपर/फ्रीलांस: एक निःशुल्क, रखरखाव-मुक्त, पूर्ण-विशेषताओं वाले प्रयोग प्रबंधन उपकरण की आवश्यकता है। एआईएम के शून्य-डेटाबेस आर्किटेक्चर का मतलब है कि आप एक ही लैपटॉप पर संपूर्ण वर्कफ़्लो चला सकते हैं, जो इसे व्यक्तिगत परियोजनाओं और लागत के प्रति जागरूक फ्रीलांसरों के लिए उपयुक्त बनाता है।

  • छोटी से मध्यम एमएल टीम (5-50 लोग): टीम को प्रयोगात्मक जानकारी साझा करने की आवश्यकता है लेकिन बजट W&B जैसे वाणिज्यिक SaaS खरीदने के लिए पर्याप्त नहीं है। एआईएम की स्व-होस्टिंग क्षमताएं और आसान तैनाती टीमों को एक समर्पित एमएलओपीएस इंजीनियर की आवश्यकता के बिना एक साझा सर्वर पर एक प्रयोग ट्रैकिंग केंद्र स्थापित करने की अनुमति देती है।

  • संगठन जो डेटा संप्रभुता और अनुपालन पर ध्यान केंद्रित करते हैं: वित्त, चिकित्सा, सरकार और अन्य उद्योगों में एमएल टीमें अनुपालन आवश्यकताओं (जैसे जीडीपीआर, एचआईपीएए, विदेश में निर्यात नहीं किया जाने वाला डेटा) के कारण SaaS समाधानों का उपयोग करने में असमर्थ हैं। Aim की पूरी तरह से स्थानीयकृत भंडारण सुविधा इसे अनुपालन परिदृश्यों के लिए पसंदीदा ओपन सोर्स समाधान बनाती है।

  • MLOps प्लेटफ़ॉर्म बिल्डर: आंतरिक MLOps प्लेटफ़ॉर्म बनाते समय, एक हल्के एम्बेडेबल प्रयोग ट्रैकिंग घटक की आवश्यकता होती है। एआईएम का पायथन एसडीके और यूनियनडीबी क्वेरी इंटरफ़ेस ऊपरी-स्तरीय ऑर्केस्ट्रेशन सिस्टम के एकीकरण की सुविधा प्रदान करता है।

लोगों को पद छोड़ने के लिए प्रेरित करने की भीड़/परिदृश्य के लिए उपयुक्त नहीं:

  • एंटरप्राइज़-स्तरीय अनुमति प्रबंधन की आवश्यकता वाली टीमें: Aim में वर्तमान में अंतर्निहित RBAC/SSO नहीं है। यदि टीम को सूक्ष्म प्रायोगिक अभिगम नियंत्रण की आवश्यकता है (जैसे कि "केवल वरिष्ठों को रन हटाने की अनुमति है"), तो उन्हें इसे खुले स्रोत के आधार पर विकसित करने या Aim के शीर्ष पर एक प्रॉक्सी परत जोड़ने की आवश्यकता है। यह अनुशंसा की जाती है कि एमएलफ़्लो (सामुदायिक आरबीएसी योजना के साथ) या डब्ल्यू एंड बी (अंतर्निहित उद्यम अनुमतियाँ) का मूल्यांकन करने के लिए इस प्रकार की आवश्यकताओं को प्राथमिकता दी जानी चाहिए।

  • बहुत बड़े पैमाने की टीमें (100+ लोग): हालांकि ऐम हजारों रन संभाल सकता है, फ़ाइल लॉक प्रतियोगिता तब हो सकती है जब कई लोग एक ही समय में एक ही .aim रेपो पर लिखते हैं। आधिकारिक अनुशंसा शमन के लिए रिमोट ट्रैकिंग सर्वर का उपयोग करने की है, लेकिन डब्ल्यू एंड बी के टीम सहयोग कार्यों (जैसे प्रयोग टिप्पणियां, अनुमोदन प्रवाह) के लिए कोई बेंचमार्क नहीं है।

  • संगठनों को एक-क्लिक होस्टेड SaaS की आवश्यकता है: Aim एक स्व-होस्टेड योजना है और W&B की तरह आउट-ऑफ़-द-बॉक्स SaaS की पेशकश नहीं करता है। यदि टीम किसी बुनियादी ढांचे को बनाए नहीं रखना चाहती है, तो ऐम सही विकल्प नहीं है।

  • गैर-पायथन स्टैक टीम: एआईएम एसडीके केवल पायथन का समर्थन करता है। यदि टीम मॉडल को प्रशिक्षित करने के लिए मुख्य रूप से आर, जूलिया या जावा का उपयोग करती है, तो एक अतिरिक्त इनकैप्सुलेशन परत की आवश्यकता होती है।

सारांश और आउटलुक

मुख्य दक्षताएँ: उद्देश्य ने "शून्य डेटाबेस निर्भरता + इंटरैक्टिव वेब यूआई + 10,000-स्तरीय रन प्रदर्शन" के साथ ओपन सोर्स एमएल प्रयोग ट्रैकिंग ट्रैक में एक विभेदित स्थिति बनाई है। TensorBoard की दृश्य सादगी और MLflow की तैनाती जटिलता की तुलना में, Aim ने "जल्दी से एक अच्छा दिखने वाला प्रयोग डैशबोर्ड प्राप्त करने" में सर्वोच्च उपलब्धि हासिल की है - पिप इंस्टॉल से लक्ष्य ऊपर तक, आप 10 मिनट के भीतर एक इंटरैक्टिव प्रयोग प्रबंधन इंटरफ़ेस प्राप्त कर सकते हैं। उन टीमों के लिए जो डेटा संप्रभुता के प्रति संवेदनशील हैं, सीमित बजट रखते हैं, और हल्के एमएलओपीएस स्टैक का पीछा कर रहे हैं, एआईएम वर्तमान में सबसे संतुलित ओपन सोर्स विकल्प है।

वर्तमान सीमाएँ: एंटरप्राइज़-स्तरीय सुविधाओं (अधिकृत एसएसओ, ऑडिट लॉग) और वाणिज्यिक समर्थन की कमी W&B/नेप्च्यून के साथ प्रतिस्पर्धा करने में Aim की मुख्य कमियाँ हैं। इसके अलावा, Aim की पारिस्थितिकी तंत्र की चौड़ाई (एकीकरणों की संख्या, सामुदायिक प्लग-इन) अभी भी MLflow से बहुत कम है। ऐसे परिदृश्यों में जहां मॉडल पंजीकरण और सर्विंग पूर्ण लिंक की तैनाती की आवश्यकता होती है, उद्देश्य को अन्य उपकरणों के साथ संयोजन में उपयोग करने की आवश्यकता होती है।

खरीद/गोद लेने का जोखिम मूल्यांकन:

  • तकनीकी जोखिम: कम। Aim में समान उपकरणों और कम माइग्रेशन लागतों के बीच सबसे हल्की तैनाती जटिलता है (आप इसे पिप इंस्टॉल के साथ आज़मा सकते हैं, और यदि आप संतुष्ट नहीं हैं तो आप इसे किसी भी समय अनइंस्टॉल कर सकते हैं। प्रयोगात्मक डेटा .aim निर्देशिका में मौजूद है और इसे रखा या हटाया जा सकता है)।
  • आपूर्तिकर्ता जोखिम: मध्यम। मुख्य रखरखाव टीम का आकार सीमित है (GitHub पर लगभग 10 सक्रिय योगदानकर्ता), और परियोजना की दीर्घकालिक स्थिरता सामुदायिक गतिविधि और AimStack के व्यावसायीकरण की प्रगति पर निर्भर करती है। स्वास्थ्य संकेतक के रूप में प्रतिक्रिया गति और रिलीज़ आवृत्ति जारी करने पर कम से कम ध्यान देने की अनुशंसा की जाती है।
  • अनुपालन जोखिम: कम। डेटा पूरी तरह से स्थानीयकृत है और इसमें कोई तृतीय-पक्ष डेटा स्थानांतरण शामिल नहीं है।

अनुवर्ती अवलोकन बिंदु:

  1. डैशबोर्ड अनुकूलन योग्य लेआउट: आधिकारिक रोडमैप में "एम्बेडेड एक्सप्लोरर के साथ अनुकूलन योग्य लेआउट" Aim की डैशबोर्ड क्षमताओं को W&B स्तरों के करीब लाएगा और ट्रैकिंग के लायक हैं।
  2. टेक्स्ट एक्सप्लोरर: प्रॉम्प्ट इंजीनियरिंग परिदृश्यों की प्रायोगिक तुलना के लिए उपयोग किया जाता है, जो एलएलएम एप्लिकेशन डेवलपर्स के लिए मूल्यवान है।
  3. व्यावसायीकरण की प्रगति: क्या AimStack एक भुगतान एंटरप्राइज़ संस्करण (SSO/RBAC सहित) लॉन्च करेगा, बड़े संगठनों में Aim की गोद लेने की दर को सीधे प्रभावित करेगा।
  4. MLflow पारिस्थितिक एकीकरण: Aimlflow की विकास दिशा (चाहे वह एक स्वतंत्र उपकरण हो या Aim के मूल में समाहित हो) उपयोगकर्ता के "MLflow बनाम Aim" के चयन निर्णय को प्रभावित करेगी।

सिफारिश: व्यक्तिगत या समूह परियोजनाओं से जुड़ना शुरू करें, और फिर यह पुष्टि करने के बाद कि ट्रैकिंग ग्रैन्युलैरिटी और खोज अनुभव आपकी आवश्यकताओं को पूरा करते हैं, मौजूदा पाइपलाइनों के साथ गहन एकीकरण पर विचार करें। ऐसे परिदृश्यों के लिए जहां एंटरप्राइज़-स्तरीय अनुमतियों और एसएसओ की आवश्यकता होती है, एइमस्टैक के एंटरप्राइज़ समर्थन अपडेट पर ध्यान देने या स्व-निर्मित विस्तार के लिए बजट आरक्षित करने की अनुशंसा की जाती है।

संबंधित टूल: <एक्सलिंक टाइप='टूल' स्लग='हगिंग-फेस'>, <एक्सलिंक टाइप='टूल' स्लग='रेप्लिकेट'>

संस्करण जानकारी

  • लक्ष्य v3 :अभी तक कोई आधिकारिक सटीक तारीख नहीं है।
  • लक्ष्य v2 :अभी तक कोई आधिकारिक सटीक तारीख नहीं है।

उपयोगकर्ता समीक्षाएं

  • समीक्षाएं लोड हो रही हैं...