एचएमए (विषम नकाबपोश ऑटोरिग्रेशन) मुफ्त

-
डेवलपर एमआईटी सीसेल और मेटा फेयर और यूआईयूसी
आधिकारिक वेबसाइट https://liruiw.github.io/hma

HMA (Heterogeneous नकाबपोश Autoregression) MIT, मेटा FAIR और UIUC द्वारा संयुक्त रूप से प्रस्तावित एक रोबोट एक्शन-वीडियो डायनेमिक मॉडलिंग पद्धति है। विषम मास्क ऑटोरेग्रेसिव प्री-ट्रेनिंग, क्रॉस-ऑन्टोलॉजी और क्रॉस-डोमेन एक्शन-वीडियो संयुक्त वितरण के माध्यम से वास्तविक समय, उच्च-निष्ठा रोबोट वीडियो सिमुलेशन प्राप्त करने के लिए 40+ डेटा सेट और 3 मिलियन+ प्रक्षेपवक्र पर सीखा जाता है। पिछले SOTA की तुलना में, अनुमान की गति 15 गुना बढ़ गई है और इसका व्यापक रूप से रणनीति मूल्यांकन, सिंथेटिक डेटा उत्पादन और इंटरैक्टिव वीडियो सिमुलेशन में उपयोग किया जा सकता है।

एचएमए (विषम नकाबपोश ऑटोरिग्रेशन) उत्पाद इंटरफेस

एचएमए: वास्तविक दुनिया के लिए रोबोट एक्शन - वीडियो डायनेमिक मॉडलिंग

मुख्य पैरामीटर और आँकड़े

प्रोजेक्ट विवरण
उत्पाद का नाम एचएमए (विषम नकाबपोश ऑटोरिग्रेशन)
उत्पाद प्रकार ओपन सोर्स रिसर्च मॉडल/रोबोट वर्ल्ड मॉडल
डिलिवरी फॉर्म ओपन सोर्स कोड (गिटहब) + पूर्व-प्रशिक्षित वेट (हगिंगफेस)
मॉडल स्केल एचएमए-मैगविट: 362एम पैरामीटर; एचएमए-मार्च: 1बी पैरामीटर
प्रशिक्षण डेटा 40+ डेटासेट, 3 मिलियन+ प्रक्षेप पथ
अनुमान गति SOTA (वास्तविक समय ऑपरेशन) से 15 गुना तेज
ओपन सोर्स लाइसेंस अपाचे-2.0
समर्थित भाषाएँ अंग्रेजी
लक्षित उपयोगकर्ता रोबोट शोधकर्ता, सन्निहित इंटेलिजेंस इंजीनियर, एआई सिमुलेशन डेवलपर्स
कोर पेपर arXiv 2502.04296 (फरवरी 2025)
प्रोजेक्ट होमपेज https://liruiw.github.io/hma

पैरामीटर व्याख्या: एचएमए का पैरामीटर आकार "मध्यम से बड़े" रेंज में है - मैगविट संस्करण (362एम) एकल-जीपीयू अनुमान और तीव्र पुनरावृत्ति के लिए उपयुक्त है, और एमएआर संस्करण (1बी) ने वीडियो निष्ठा में और सुधार किया है। पिछले मुख्यधारा प्रसार मॉडल समाधान (जैसे यूनीपीआई और वीडियोपोएट) की तुलना में, एचएमए नकाबपोश ऑटोरेग्रेसिव मार्ग को अपनाता है, जिसमें पीढ़ी की गति (15 गुना त्वरण) में परिमाण का लाभ होता है। यह इसका मूल इंजीनियरिंग मूल्य है: पहली बार, यह रोबोट वीडियो सिमुलेशन को "इंटरैक्टिव रीयल-टाइम" की दहलीज पर धकेलता है।

उपयोगकर्ता और बाज़ार की पहचान

अकादमिक अपनाने का संकेत: फरवरी 2025 में arXiv पर प्रकाशित होने के बाद HMA ने तेजी से रोबोटिक्स सीखने वाले समुदाय का ध्यान आकर्षित किया। पेपर के लेखक MIT CSAIL, मेटा AI (FAIR) और UIUC से आते हैं। यह संयोजन ही मजबूत शैक्षणिक विश्वसनीयता प्रदान करता है। प्रोजेक्ट GitHub रिपॉजिटरी (github.com/liruiw/HMA) वर्तमान में 41 सितारे दिखाता है। हालाँकि यह एक बड़े पैमाने की सामुदायिक परियोजना नहीं है, लेकिन इसकी व्यावसायिकता (रोबोट वीडियो डायनेमिक मॉडलिंग) को देखते हुए, यह डेटा प्रारंभिक अनुसंधान परियोजनाओं की अपेक्षाओं के अनुरूप है।

तृतीय-पक्ष संचार: एचएमए को एआई टूल सेट नेविगेशन स्टेशन (एआई-बॉट.सीएन) में शामिल किया गया है, और कई तकनीकी व्याख्या वीडियो बिलिबिली और अन्य प्लेटफार्मों पर दिखाई दिए हैं (जैसे "एमआईटी का नवीनतम शोध! एचएमए: 15 गुना तेज, उच्च गुणवत्ता वाली रोबोट एक्शन डेटा पीढ़ी!"), यह दर्शाता है कि इसने चीनी प्रौद्योगिकी समुदाय में भी ध्यान आकर्षित किया है। पेपर को arXiv पर cs.RO (रोबोटिक्स) के अंतर्गत वर्गीकृत किया गया है, जो cs.CV (कंप्यूटर विज़न) और cs.LG (मशीन लर्निंग) के लिए क्रॉस-रेफ़र किया गया है, जो अंतःविषय प्रभाव को दर्शाता है।

बेंचमार्क प्रदर्शन: कई SOTA वीडियो जेनरेशन मॉडल की तुलना में, HMA दृश्य निष्ठा (FVD संकेतक) और नियंत्रणीयता (एक्शन ट्रैकिंग सटीकता) दोनों में अग्रणी है। पेपर कई वास्तविक रोबोट डेटा सेट जैसे ब्रिज, डॉब-ई, कैस्ट इत्यादि पर गुणात्मक और मात्रात्मक परिणाम दिखाता है। एचएमए द्वारा उत्पन्न वीडियो भौतिक तर्कसंगतता (ऑब्जेक्ट इंटरैक्शन, छाया, रोड़ा प्रसंस्करण) के मामले में बेसलाइन विधि से काफी बेहतर है।

वर्तमान सीमाएँ: एक अकादमिक अनुसंधान परियोजना के रूप में, एचएमए के पास अभी तक कोई व्यावसायिक संस्करण या उद्यम-स्तरीय समर्थन नहीं है। इसका उपयोगकर्ता आधार मुख्य रूप से गहन शिक्षण प्रशिक्षण और रोबोट परिनियोजन क्षमताओं वाली अनुसंधान टीमों तक सीमित है। GitHub सितारों की संख्या और सामुदायिक गतिविधि प्रारंभिक चरण में है, और एक संपूर्ण दस्तावेज़ीकरण पारिस्थितिकी तंत्र और उपयोगकर्ता समुदाय अभी तक नहीं बनाया गया है।

लागत लाभ

एचएमए का पूरी तरह से खुला स्रोत मॉडल इसकी लागत संरचना को वाणिज्यिक रोबोट सिमुलेशन टूल के बिल्कुल विपरीत रखता है:

लागत आयाम एचएमए (खुला स्रोत) वाणिज्यिक रोबोट सिमुलेटर (जैसे कि NVIDIA आइजैक सिम) क्लाउड वीडियो जेनरेशन एपीआई
सी-साइड/शोधकर्ता पूरी तरह से मुफ़्त, कोड + वज़न खुला स्रोत निःशुल्क सामुदायिक संस्करण में सीमित कार्य हैं, पूर्ण संस्करण के लिए एंटरप्राइज़ लाइसेंस की आवश्यकता होती है टोकन/सेकेंड द्वारा बिल, लंबे वीडियो महंगे हैं
एपीआई/डेवलपर कोई एपीआई परत नहीं, स्वयं अनुमान लगाने की आवश्यकता है पायथन एसडीके प्रदान किया गया, जीपीयू क्लस्टर की आवश्यकता है अनुरोध द्वारा बिल किया गया, सामान्य $0.01-0.10/सेकंड
उद्यम/निजी स्व-होस्टेड, कोई लाइसेंस शुल्क नहीं, केवल GPU हार्डवेयर आइज़ैक सिम एंटरप्राइज़ संस्करण की लागत $10,000+ प्रति वर्ष है निजीकरण का कोई समर्थन नहीं

सी-साइड लागत: शोधकर्ता सीधे गिटहब के माध्यम से रिपॉजिटरी को क्लोन कर सकते हैं, हगिंगफेस पर पूर्व-प्रशिक्षित वजन (0.4बी/1बी) डाउनलोड कर सकते हैं, और एकल आरटीएक्स 3090/4090 पर अनुमान और इंटरैक्टिव डेमो चला सकते हैं। हार्डवेयर लागत ही एकमात्र वास्तविक व्यय है।

डेवलपर लागत: एचएमए कोई वाणिज्यिक एपीआई प्रदान नहीं करता है। वर्कफ़्लो में एकीकृत करने के लिए, टीम को पर्यावरण कॉन्फ़िगरेशन (पायथन 3.10+, PyTorch, Accelerate और अन्य निर्भरताएँ), मॉडल परिनियोजन और अनुमान पाइपलाइन निर्माण को स्वयं पूरा करने की आवश्यकता है। प्रारंभिक तैनाती लागत लगभग 2-5 मानव-दिन है, जो डीएल ऑप्स क्षमताओं वाली टीमों के लिए उपयुक्त है।

उद्यम लागत: वाणिज्यिक सिमुलेटर (NVIDIA आइजैक सिम एंटरप्राइज संस्करण $10K+/वर्ष, अमेज़ॅन रोबोमेकर द्वारा घंटे के हिसाब से बिल) की तुलना में, एचएमए के पास एक महत्वपूर्ण टीसीओ लाभ है - शून्य सॉफ्टवेयर लाइसेंस, लेकिन मॉडल परिनियोजन और ट्यूनिंग क्षमताओं वाली एक टीम की आवश्यकता होती है। छिपी हुई लागत मुख्य रूप से परिलक्षित होती है: डेटा तैयारी (रोबोट प्रक्षेपवक्र डेटा को आरएलडीएस प्रारूप में परिवर्तित करने की आवश्यकता है), मॉडल पोस्ट-प्रशिक्षण अनुकूलन (एक विशिष्ट रोबोट ऑन्कोलॉजी के लिए फाइन-ट्यूनिंग प्रयोग), और वाणिज्यिक समर्थन की कमी।

मुक्त सत्य: एचएमए पूरी तरह से स्वतंत्र और खुला स्रोत है, लेकिन "मुक्त" का आधार यह है कि उपयोगकर्ता के पास पायथन गहन शिक्षण विकास वातावरण बनाने की क्षमता और रोबोट ऑपरेशन डेटा प्राप्त करने की क्षमता है। रोबोट डेटा संचय के बिना टीमों के लिए, स्क्रैच से प्रक्षेप पथ एकत्र करने की लागत वाणिज्यिक उपकरणों के लिए वार्षिक शुल्क से अधिक हो सकती है।

मुख्य कार्य

  • विषम नकाबपोश ऑटोरेग्रेसिव वीडियो भविष्यवाणी: एक प्रारंभिक फ्रेम और एक्शन अनुक्रम को देखते हुए, एचएमए ऑटोरेग्रेसिव रूप से बाद के वीडियो फ्रेम उत्पन्न करता है। प्रसार मॉडल के विपरीत, जो फ्रेम दर फ्रेम स्वतंत्र रूप से उत्पन्न होता है, नकाबपोश ऑटोरेग्रेसिव तंत्र टोकन स्तर पर समय निर्भरता को मॉडल करता है और एक ही चरण में कई भविष्य के टोकन की भविष्यवाणी कर सकता है, जिससे अनुमान दक्षता में काफी सुधार होता है। लागू कार्य: रोबोट रणनीतियों का त्वरित वीडियो रोलबैक मूल्यांकन और योजना परिणामों का दृश्य।

  • क्रॉस-ऑन्टोलॉजी, क्रॉस-डोमेन विषम पूर्व-प्रशिक्षण: एचएमए को संयुक्त रूप से 40+ डेटा सेट पर प्रशिक्षित किया जाता है, और डेटा स्रोतों में वास्तविक रोबोट टेलीऑपरेशन (ब्रिज, डॉब-ई, काइस्ट), मानव ऑपरेशन वीडियो (एपिककिचेन्स), सिमुलेशन डेटा (आरएलबेंच, मेटावर्ल्ड) आदि शामिल हैं। प्रपत्र. उपयोग मूल्य: नए रोबोट परिदृश्यों में मॉडल परिनियोजन के लिए सीमा कम करें, सप्ताहों से डेटा संग्रह को प्रशिक्षण और घंटों के बाद अनुकूलन तक संपीड़ित करें।

  • दोहरी-मोडल पीढ़ी - अलग टोकन और निरंतर टोकन: HMA-MagVit सटीक नियंत्रण और संरचित मूल्यांकन के लिए उपयुक्त, अलग वीडियो टोकन अनुक्रम उत्पन्न करने के लिए VQ-VAE विवेकीकरण (362M पैरामीटर) का उपयोग करता है; एचएमए-एमएआर सॉफ्ट टोकन उत्पन्न करने के लिए मास्क्ड ऑटोरेग्रेसिव निरंतर प्रतिनिधित्व (1बी पैरामीटर) का उपयोग करता है, जो दृश्य गुणवत्ता में बेहतर है। दोनों एक ही प्रशिक्षण ढांचे को साझा करते हैं और कार्य आवश्यकताओं के अनुसार इन्हें बदला जा सकता है। मूल्य का उपयोग करें: सटीकता-संवेदनशील परिदृश्यों (रणनीति मूल्यांकन) के लिए अलग मॉडल चुनें, और दृश्य गुणवत्ता-प्राथमिकता वाले परिदृश्यों (डेमो जेनरेशन) के लिए निरंतर मॉडल चुनें।

  • इंटरएक्टिव रीयल-टाइम वीडियो सिमुलेशन डेमो: प्रोजेक्ट पायगेम (पायथन -एम सिम.एप) पर आधारित एक इंटरैक्टिव डेमो प्रदान करता है। उपयोगकर्ता गैलरी से प्रारंभिक छवि का चयन कर सकते हैं, रोबोट की गतिविधियों को नियंत्रित करने के लिए कीबोर्ड तीर कुंजियों का उपयोग कर सकते हैं, और वास्तविक समय में वीडियो निर्माण परिणामों का निरीक्षण कर सकते हैं। मूल्य का उपयोग करें: मॉडल व्यवहार को सहजता से समझें और कार्यों और दृश्य प्रतिक्रिया के बीच कारण पत्राचार को तुरंत सत्यापित करें।

  • नीति मूल्यांकन और सिंथेटिक डेटा जेनरेशन पाइपलाइन: एचएमए में एक अंतर्निहित पूर्ण मूल्यांकन पाइपलाइन है जो एफवीडी, पीएसएनआर, एसएसआईएम और उत्पन्न वीडियो और वास्तविक वीडियो के अन्य संकेतकों की गणना कर सकती है; यह डेटा वृद्धि या नीति पूर्व-प्रशिक्षण के लिए प्रशिक्षित मॉडल नमूने से बड़ी संख्या में सिंथेटिक प्रक्षेप पथ की पीढ़ी का भी समर्थन करता है। मूल्य का उपयोग करें: वास्तविक रोबोट हार्डवेयर और मैन्युअल एनोटेशन पर निर्भरता को कम करते हुए, नीति पुनरावृत्ति चक्र को "वास्तविक वातावरण रोलआउट → डेटा एकत्र करें → पुनः प्रशिक्षित करें" से "सिमुलेशन रोलआउट → सिंथेटिक डेटा → नीति अद्यतन" तक संपीड़ित करें।

  • प्रशिक्षणोत्तर तंत्र: एचएमए विशिष्ट डेटा सेट पर पूर्व-प्रशिक्षित मॉडलों के प्रशिक्षण के बाद फाइन-ट्यूनिंग का समर्थन करता है, और भाषा तालिका डेटा सेट के लिए एक फाइन-ट्यूनिंग स्क्रिप्ट (run_langtable_finetuning.sh) प्रदान की गई है। उपयोग मूल्य: शुरुआत से प्रशिक्षण के बिना विशिष्ट रोबोट प्लेटफार्मों और विशिष्ट कार्यों (जैसे ब्लॉकों को धकेलना और पकड़ना) के लिए त्वरित रूप से अनुकूलित करें।

मॉडल और संस्करण विकास

एचएमए का संस्करण संदर्भ पेपर प्रीप्रिंट और कोड रिलीज पर आधारित है:

संस्करण दिनांक मुख्य परिवर्तन
arXiv प्रीप्रिंट 2025-02-06 ओपन सोर्स GitHub कोड रिपॉजिटरी और हगिंगफेस मॉडल वेट को सिंक्रनाइज़ करते हुए, पेपर पहली बार सार्वजनिक रूप से जारी किया गया है
प्रारंभिक कोड सबमिशन 2025-02 (लगभग) इसमें 40+ डेटा सेट का समर्थन करते हुए संपूर्ण प्रशिक्षण, निर्माण, मूल्यांकन और विज़ुअलाइज़ेशन पाइपलाइन शामिल हैं
एचएमए-मैगविट (362एम) प्रारंभिक कोड के समान असतत टोकन मॉडल, VQ-VAE + नकाबपोश ऑटोरिग्रेशन पर आधारित
एचएमए-मार्च (1बी) प्रारंभिक कोड के समान निरंतर टोकन मॉडल, मास्क्ड ऑटोरिग्रेशन पर आधारित, बड़ी संख्या में पैरामीटर के साथ

संस्करण विकास विवरण: एचएमए वर्तमान में "पेपर ओपन सोर्स" चरण में है। कोड रिपॉजिटरी एक बार की प्रारंभिक सबमिशन (पहली प्रतिबद्धता) है, और अभी तक कोई संस्करण लेबल या आधिकारिक रिलीज नहीं है। लेखक ने README में "कोड गुणवत्ता: थके हुए स्नातक छात्र" का उल्लेख किया है, जो दर्शाता है कि कोड पुनरुत्पादन को अपने प्राथमिक लक्ष्य के रूप में लेता है और इंजीनियरिंग पैकेजिंग नहीं करता है। इसके बाद के विकास निर्देशों में शामिल होने की उम्मीद है: अधिक डेटा सेट अनुकूलन, मॉडल परिमाणीकरण त्वरण, और अधिक अनुकूल पैकेजिंग इंटरफेस (जैसे आरओएस एकीकरण, जिम पर्यावरण पैकेजिंग)।

तकनीकी लाभ

तंत्र → प्रभाव → परिदृश्य की कारण श्रृंखला का निराकरण:

  1. नकाबपोश ऑटोरिग्रेशन प्रसार मॉडल को प्रतिस्थापित करता है: पारंपरिक रोबोट वीडियो पीढ़ी के तरीके (जैसे यूनीपीआई) फ्रेम दर फ्रेम उत्पन्न करने के लिए प्रसार मॉडल का उपयोग करते हैं। प्रत्येक फ़्रेम को मल्टी-स्टेप डीनोइज़िंग की आवश्यकता होती है, और अनुमान में देरी अधिक होती है। एचएमए एक नकाबपोश ऑटोरेग्रेसिव रणनीति अपनाता है - प्रशिक्षण के दौरान वीडियो टोकन के एक हिस्से को बेतरतीब ढंग से छुपाता है, जिससे मॉडल को नकाबपोश सामग्री की भविष्यवाणी करने की अनुमति मिलती है; अनुमान के दौरान एक ही बार में सभी नकाबपोश टोकन की भविष्यवाणी करना, और फिर पुनरावृत्त रूप से स्वत: प्रतिगामी रूप से परिष्कृत करना। प्रभाव: प्रसार मॉडल में अनुमान चरणों की संख्या को 50-1000 चरणों से घटाकर 8-16 चरणों तक करें, जिससे 15 गुना अंत-से-अंत त्वरण प्राप्त हो सके। लागू परिदृश्य: इंटरैक्टिव सिमुलेशन और ऑनलाइन रणनीति मूल्यांकन जिसके लिए वास्तविक समय प्रतिक्रिया की आवश्यकता होती है।

  2. विषम प्रशिक्षण डेटा की कमी को दूर करता है: रोबोटिक्स क्षेत्र ने लंबे समय से बिखरे हुए डेटा स्रोतों, विभिन्न ऑन्कोलॉजी और विविध कार्यों की समस्याओं का सामना किया है। एचएमए एक एकीकृत टोकननाइजेशन इंटरफ़ेस (विभिन्न रिज़ॉल्यूशन के वीडियो और विभिन्न आवृत्तियों के एक्शन अनुक्रमों को निश्चित-लंबाई टोकन अनुक्रमों में एकीकृत एन्कोडिंग) के माध्यम से 40+ विषम डेटा सेट पर संयुक्त रूप से पूर्व-प्रशिक्षित करने की अनुमति देता है। प्रभाव: पूर्व-प्रशिक्षित मॉडल अदृश्य रोबोट निकायों और कार्यों पर शून्य-नमूना शेड्यूलिंग क्षमताओं को प्रदर्शित करता है, और प्रशिक्षण के बाद केवल 200 प्रक्षेप पथों के साथ नए दृश्यों पर प्रभावी डेटा के 100 से अधिक फ्रेम उत्पन्न कर सकता है। लागू परिदृश्य: नए रोबोट प्लेटफार्मों की तेजी से तैनाती और क्रॉस-ऑन्टोलॉजी ज्ञान प्रवासन।

  3. एक्शन कंडीशनिंग सटीक नियंत्रणीयता प्राप्त करती है: एचएमए न केवल इनपुट में एक्शन टोकन को जोड़ता है, बल्कि एक्शन सिग्नल को केवल इनपुट अंत में इंजेक्ट करने के बजाय ट्रांसफार्मर की प्रत्येक परत के मध्यवर्ती प्रतिनिधित्व को प्रभावित करने की अनुमति देने के लिए एक मॉड्यूलेशन तंत्र का भी उपयोग करता है। प्रभाव: उत्पन्न वीडियो सख्ती से इनपुट कार्रवाई अनुक्रम का पालन करता है - पुश ब्लॉक की दिशा और ताकत, रोबोटिक बांह का प्रक्षेपवक्र, आदि उत्पन्न परिणामों में सटीक रूप से प्रतिबिंबित होते हैं। बिना शर्त वीडियो जेनरेशन मॉडल की तुलना में, एचएमए की नियंत्रणीयता में काफी सुधार हुआ है। लागू परिदृश्य: रणनीति सत्यापन जिसके लिए सटीक गति बाधाओं की आवश्यकता होती है (जैसे कि "यदि x दिशा में कोई बल लगाया जाता है, तो वस्तु कैसे चलेगी?")।

  4. VQ-VAE + MAR दोहरी पाइपलाइन सटीकता और गुणवत्ता को ध्यान में रखती है: असतत शाखा (मैगविट) वीडियो फ्रेम को असतत टोकन में संपीड़ित करने के लिए VQ-VAE का उपयोग करती है, जिससे पीढ़ी प्रक्रिया की नियंत्रणीयता और मूल्यांकन की पुनरावृत्ति सुनिश्चित होती है; सतत शाखा (MAR) अधिक विस्तृत जानकारी को बनाए रखने के लिए निरंतर अव्यक्त स्थान को सीधे संचालित करती है। दोनों में एक ही ट्रांसफार्मर की रीढ़ है और स्विचिंग लागत कम है। प्रभाव: असतत मॉडल एफवीडी जैसे मात्रात्मक संकेतकों में बेहतर है और बेंचमार्क तुलना के लिए उपयुक्त है; सतत मॉडल मानव दृश्य मूल्यांकन में अधिक स्वाभाविक है और प्रदर्शन और दृश्य के लिए उपयुक्त है। लागू परिदृश्य: अकादमिक पेपर मूल्यांकन के लिए असतत चुनें, और उत्पाद प्रोटोटाइप प्रदर्शन के लिए निरंतर चुनें।

कैसे उपयोग करें

पर्यावरण सेटअप

HMA को Python 3.10+ और CUDA वातावरण की आवश्यकता है। निर्भरताएँ प्रबंधित करने के लिए Conda या venv का उपयोग करने की अनुशंसा की जाती है:

# क्लोन रिपोजिटरी
गिट क्लोन https://github.com/liruiw/HMA.git
सीडी एचएमए

#निर्भरताएं स्थापित करें और डेटा डाउनलोड करें (वेनव स्वचालित रूप से बनाया जाएगा)
./बिल्ड.श

# पायथन वातावरण सक्रिय करें
स्रोत वेनवी/बिन/सक्रिय करें

इंटरएक्टिव डेमो

# इंटरैक्टिव जीयूआई डेमो प्रारंभ करें
पायथन -एम सिम.एप

स्टार्टअप के बाद, गैलरी से प्रारंभिक छवि का चयन करें, क्रियाओं को नियंत्रित करने के लिए कीबोर्ड तीर कुंजियों का उपयोग करें, और वास्तविक समय में एचएमए द्वारा उत्पन्न वीडियो फ्रेम का निरीक्षण करें। मॉडल को पूर्व-प्रशिक्षित किए बिना एचएमए क्षमताओं का अनुभव करने का यह सबसे तेज़ तरीका है।

पूर्व-प्रशिक्षित मॉडल अनुमान

# पूर्व-प्रशिक्षित मॉडल डाउनलोड करें (हगिंगफेस से मैन्युअल रूप से प्राप्त करने की आवश्यकता है)
#वीडियो उत्पन्न करने के लिए एकल डेटा सेट अनुमान
पायथन hma/generate.py \
  --चेकपॉइंट_डीआईआर डेटा/मॉडल/स्टेप_100/ \
  --val_data_dir डेटा/kaist_nonprecise_converted_exinterally_to_rlds_magvit_max1000000_val

मॉडल मूल्यांकन

# असतत मॉडल मूल्यांकन
प्रक्षेपण में तेजी लाएं hma/evaluate.py \
  --checkpoint_dir "डेटा/${RUN_NAME}/final_checkpt" \
  --val_data_dir "डेटा/${डेटासेट}_magvit_traj1000000_val" \
  --wandb_run_name "${RUN_NAME}"

# सतत मॉडल मूल्यांकन
प्रक्षेपण में तेजी लाएं hma/evaluate_feature.py \
  --checkpoint_dir "डेटा/${RUN_NAME}/final_checkpt" \
  --val_data_dir "डेटा/${डेटासेट}_magvit_traj1000000_val"

पूर्व-प्रशिक्षण (एकाधिक डेटा सेट)

# VQ टोकन मॉडल (अलग)
बैश प्रयोग/स्क्रिप्ट/discrete_model/run_40datasets_waction.sh

# सॉफ्ट टोकन मॉडल (निरंतर)
बैश प्रयोग/स्क्रिप्ट/कंटीन्युअस_मॉडल/रन_30डेटासेट_मार_वेक्शन.श

प्रवेश सारांश

प्रवेश उद्देश्य तकनीकी आवश्यकताएँ
GitHub रिपोजिटरी स्रोत कोड, प्रशिक्षण स्क्रिप्ट, मूल्यांकन पाइपलाइन पायथन 3.10+, CUDA, PyTorch
हगिंगफेस मॉडल लाइब्रेरी पूर्व-प्रशिक्षण वजन डाउनलोड कोई नहीं (अनुमान के लिए डाउनलोड का उपयोग किया जा सकता है)
प्रोजेक्ट होमपेज (डेमो) ऑनलाइन इंटरैक्टिव प्रदर्शन ब्राउज़र पहुंच, किसी स्थानीय परिवेश की आवश्यकता नहीं
आर्क्सिव पेपर तकनीकी सिद्धांत और प्रयोगात्मक विवरण कोई नहीं
इंटरैक्टिव डेमो (स्थानीय) स्थानीय वास्तविक समय सिमुलेशन अनुभव पायथन 3.10+, पायगेम, जीपीयू अनुशंसित

उत्पाद का मूल्य निर्धारण

एचएमए एक पूरी तरह से खुला स्रोत परियोजना है और मूल्य निर्धारण संरचना बेहद सरल है:

  • मॉडल वजन: नि:शुल्क, एमआईटी लाइसेंस के तहत अपाचे-2.0 लाइसेंस
  • स्रोत कोड: नि:शुल्क, अपाचे-2.0 लाइसेंस
  • पेपर्स: arXiv पर मुफ़्त, खुली पहुंच
  • ऑनलाइन डेमो: नि:शुल्क, प्रोजेक्ट होमपेज हगिंगफेस स्पेसेस ऑनलाइन अनुभव प्रदान करता है

वर्तमान में कोई भुगतान स्तर नहीं है। वाणिज्यिक लाइसेंसिंग के संदर्भ में, Apache-2.0 मुफ्त उपयोग, संशोधन और पुनर्वितरण की अनुमति देता है। हालाँकि, क्या मॉडल भार में तृतीय-पक्ष डेटा सेट पर अतिरिक्त उपयोग प्रतिबंध शामिल हैं, इसके लिए प्रत्येक डेटा सेट के मूल लाइसेंस समझौते (जैसे ब्रिज डेटा सेट के उपयोग की शर्तें) के सत्यापन की आवश्यकता होती है।

प्रतिस्पर्धी उत्पादों के साथ मूल्य निर्धारण की तुलना:

प्रोजेक्ट्स एचएमए एनवीडिया आइजैक सिम गूगल जिन्न भौतिक बुद्धि π0
सॉफ्टवेयर मूल्य निर्धारण मुफ़्त सामुदायिक संस्करण मुफ़्त है, एंटरप्राइज़ संस्करण $10K+/वर्ष है अज्ञात अज्ञात
अनुमान लागत स्व-होस्टेड, एकल जीपीयू मांग पर क्लाउड जीपीयू क्लाउड एपीआई सट्टा बिलिंग अज्ञात
डेटा आवश्यकताएँ स्व-तैयार रोबोट प्रक्षेपवक्र अंतर्निहित सिमुलेशन वातावरण किसी बाहरी डेटा की आवश्यकता नहीं व्यापारिक सहयोग आवश्यक
अनुकूलनशीलता पूरी तरह से खुला मॉड्यूलर, आंशिक रूप से बंद स्रोत ब्लैक बॉक्स एपीआई सहकारी ग्राहकों तक सीमित

अनुप्रयोग परिदृश्य

  • रैपिड रोबोट रणनीति मूल्यांकन और पुनरावृत्ति: पारंपरिक रणनीति मूल्यांकन के लिए वास्तविक रोबोट पर बार-बार रोलआउट की आवश्यकता होती है, जिसमें समय लगता है और हार्डवेयर खराब होने का जोखिम शामिल होता है। एचएमए का उपयोग रणनीति द्वारा कार्रवाई अनुक्रम आउटपुट प्राप्त करने, संबंधित वीडियो भविष्यवाणी परिणाम उत्पन्न करने और रणनीति के गुणात्मक प्रदर्शन को तुरंत सत्यापित करने के लिए "वीडियो वर्ल्ड मॉडल" के रूप में किया जा सकता है (चाहे लक्ष्य प्राप्त हो गया हो, चाहे कार्रवाई सुचारू हो, और क्या बातचीत शारीरिक रूप से उचित हो)। कटौती लाभ: "प्रत्येक मूल्यांकन के लिए वास्तविक रोबोट के 30 मिनट के रोलआउट की आवश्यकता होती है" से "एचएमए सिमुलेशन मूल्यांकन को पूरा करने के लिए 2 मिनट" तक, एकल पुनरावृत्ति चक्र को 90% से अधिक छोटा कर दिया जाता है, जो रणनीति के प्रारंभिक प्रारंभिक स्क्रीनिंग चरण के लिए विशेष रूप से उपयुक्त है।

  • नीति पूर्व-प्रशिक्षण के लिए सिंथेटिक डेटा उत्पादन: जब वास्तविक डेटा सीमित होता है, तो एचएमए का उपयोग कम संख्या में वास्तविक प्रक्षेप पथों से शुरू करने, प्रशिक्षण के बाद लक्ष्य दृश्य के अनुकूल होने और फिर बड़े पैमाने पर नमूने के माध्यम से सिंथेटिक वीडियो-एक्शन जोड़े उत्पन्न करने के लिए किया जाता है। इन सिंथेटिक डेटा का उपयोग नीति मॉडल के बैकएंड विज़ुअल एनकोडर को प्रीट्रेन करने या डेटा संवर्द्धन के साधन के रूप में किया जा सकता है। कार्यान्वयन युक्ति: एचएमए पेपर से पता चलता है कि प्रशिक्षण के बाद केवल 200 वास्तविक प्रक्षेप पथों का उपयोग करके प्रभावी सिंथेटिक डेटा के 100 से अधिक फ्रेम उत्पन्न किए जा सकते हैं, जिसमें उन किनारे के मामलों को शामिल किया गया है जो मूल डेटा वितरण में पूरी तरह से नमूना नहीं हैं (जैसे कि विभिन्न रोड़ा मोड, प्रकाश परिवर्तन)।

  • इंटरएक्टिव रोबोट व्यवहार विश्लेषण और शिक्षण: वैज्ञानिक अनुसंधान या शिक्षण में, शोधकर्ता रोबोट-पर्यावरण इंटरैक्शन के भौतिक नियमों को समझने के लिए विभिन्न क्रिया इनपुट (जैसे पुश, पुल और रोटेशन) के अनुरूप दृश्य प्रतिक्रिया को सहजता से प्रदर्शित करने के लिए एचएमए के इंटरैक्टिव डेमो का उपयोग कर सकते हैं। किसी वास्तविक रोबोटिक्स हार्डवेयर की आवश्यकता नहीं है, बस GPU वाला एक लैपटॉप है। कटौती लाभ: रोबोट के लिए प्रवेश बाधा को कम करें - "हार्डवेयर प्लेटफ़ॉर्म खरीदने और बनाए रखने की आवश्यकता" से "केवल एक सॉफ़्टवेयर वातावरण" तक, विश्वविद्यालय के पाठ्यक्रमों में रोबोट शिक्षण की लागत और परिमाण के क्रम में दूरस्थ सहयोग को कम करना।

  • क्रॉस-ऑन्टोलॉजी नॉलेज ट्रांसफर प्री-रिसर्च: जब टीम को मौजूदा रोबोट प्लेटफ़ॉर्म (जैसे फ़्रैंका) से एक नए प्लेटफ़ॉर्म (जैसे UR5) पर स्विच करने की आवश्यकता होती है, तो वे नए प्लेटफ़ॉर्म से थोड़ी मात्रा में प्रक्षेपवक्र डेटा के साथ पोस्ट-ट्रेनिंग करने के लिए HMA की विषम पूर्व-प्रशिक्षण क्षमताओं का उपयोग कर सकते हैं ताकि त्वरित मूल्यांकन किया जा सके कि संपूर्ण हार्डवेयर परिनियोजन लागतों में निवेश किए बिना माइग्रेशन समाधान संभव है या नहीं। कटौती लाभ: हार्डवेयर + डेटा तैयारी के हफ्तों से लेकर सिमुलेशन प्रयोगों के कई दिनों तक नए प्लेटफ़ॉर्म पर प्रारंभिक व्यवहार्यता सत्यापन को संपीड़ित करें।

  • मल्टी-रोबोट सहयोगात्मक सिमुलेशन: चूंकि एचएमए का एक्शन कंडीशनल डिज़ाइन बहु-इकाई इंटरैक्शन परिदृश्यों का समर्थन करता है (जैसे कि कई रोबोट हथियार बक्से को पुश करने के लिए सहयोग करते हैं), इसका उपयोग दृष्टि की रेखा से परे मल्टी-रोबोट सहयोगी रणनीति सत्यापन के लिए किया जा सकता है। वर्तमान डेमो ने एक ही समय में कई वस्तुओं को नियंत्रित करने की इंटरैक्टिव सिमुलेशन क्षमता का प्रदर्शन किया है।

लागू लोग

  • रोबोट एल्गोरिथम शोधकर्ता: एचएमए का मुख्य उपयोगकर्ता समूह। जिन टीमों को नई रणनीतियों का मूल्यांकन करने, तुलनात्मक प्रयोगों के विज़ुअलाइज़ेशन उत्पन्न करने, या एब्लेशन अध्ययन आयोजित करने की आवश्यकता होती है। एचएमए "वास्तविक रोलआउट के हिस्से को सिमुलेशन वीडियो के साथ बदलने" का एक मार्ग प्रदान करता है, जो सीधे प्रयोगात्मक लागत को कम करता है। आवश्यकताएँ: PyTorch और गहन शिक्षण प्रशिक्षण प्रक्रिया से परिचित; रोबोट प्रक्षेपवक्र डेटा (आरएलडीएस प्रारूप) को पढ़ने और संसाधित करने की क्षमता है।

  • एम्बोडिड इंटेलिजेंस/रोबोटिक्स में स्नातक छात्र: पेपर रिप्रोडक्शन, कोर्स प्रोजेक्ट्स, या ओपन सोर्स योगदान में, एचएमए उपयोग के लिए तैयार पूर्व-प्रशिक्षित मॉडल और पूर्ण प्रशिक्षण पाइपलाइन प्रदान करता है जिनका उपयोग अनुसंधान बेसलाइन या तुलना विधियों के रूप में किया जा सकता है। इंटरएक्टिव डेमो शिक्षण प्रदर्शन उपकरण के रूप में भी उपयुक्त हैं। आवश्यकताएँ: बुनियादी पायथन और बुनियादी CUDA पर्यावरण कॉन्फ़िगरेशन क्षमताएँ हों।

  • रोबोटिक्स स्टार्टअप कंपनी की एल्गोरिदम टीम: प्रारंभिक उत्पाद विकास चरण में, एचएमए को भौतिक रोबोट हार्डवेयर पर निर्भरता को कम करने, रणनीतियों के तेजी से प्रोटोटाइप के लिए "मुक्त विश्व मॉडल" के रूप में उपयोग किया जा सकता है। अनुशंसित उपयोग: पहले पूर्व-प्रशिक्षित मॉडल को लोड करने और डेमो के माध्यम से चलाने के लिए सार्वजनिक डेटा सेट का उपयोग करें, और फिर प्रशिक्षण के बाद अनुकूलन के लिए अपना स्वयं का रोबोट डेटा एकत्र करें।

  • एआई सिमुलेशन प्लेटफॉर्म बिल्डर: एक तकनीकी टीम जिसे रोबोटों के लिए विविध दृश्य सिमुलेशन वातावरण प्रदान करने की आवश्यकता है। एचएमए की विविध पूर्व-प्रशिक्षण विशेषताएं और अपाचे-2.0 लाइसेंस इसे उच्च-स्तरीय वर्कफ़्लो प्लेटफार्मों में एकीकरण के लिए उपयुक्त बनाते हैं।

  • भीड़ के लिए उपयुक्त नहीं:

    • शुद्ध व्यावसायिक उपयोगकर्ता (कोई प्रोग्रामिंग पृष्ठभूमि नहीं): एचएमए में कोई जीयूआई एप्लिकेशन या नो-कोड इंटरफ़ेस नहीं है, सभी ऑपरेशन कमांड लाइन और पायथन स्क्रिप्ट पर आधारित हैं।
    • औद्योगिक उपयोगकर्ता जिन्हें स्थिर वाणिज्यिक समर्थन की आवश्यकता होती है: एचएमए के पास कोई एसएलए नहीं है, कोई तकनीकी सहायता नहीं है, कोई उद्यम-स्तरीय दस्तावेज़ीकरण नहीं है, और उत्पादन वातावरण में महत्वपूर्ण पथों के लिए उपयुक्त नहीं है।
    • गैर-रोबोटिक क्षेत्रों में सामान्य डेवलपर्स और डिज़ाइनर: एचएमए रोबोट एक्शन-वीडियो मॉडलिंग पर केंद्रित है और इसका उपयोग सामान्य वीडियो निर्माण, सामग्री निर्माण और अन्य परिदृश्यों के लिए नहीं किया जा सकता है।

सारांश और आउटलुक

मुख्य दक्षताएँ: एचएमए का मुख्य योगदान "पहली बार रोबोट वीडियो डायनेमिक मॉडलिंग में नकाबपोश ऑटोरेग्रेसिव प्रतिमान को पेश करना, और विषम डेटा पूर्व-प्रशिक्षण और वास्तविक समय अनुमान गति के पैमाने में सफलता हासिल करना है।" 15x त्वरण इसे "ऑफ़लाइन जेनरेशन टूल" से "इंटरैक्टिव रीयल-टाइम सिमुलेशन" श्रेणी में आगे बढ़ाता है, जो पिछले प्रसार मॉडल समाधानों से एक आवश्यक अंतर है। पूरी तरह से खुला स्रोत (अपाचे-2.0) लाइसेंसिंग मॉडल इसे अकादमिक समुदाय में स्वाभाविक प्रसार का लाभ देता है।

वर्तमान सीमाएँ: (1) कोड इंजीनियरिंग की निम्न डिग्री - लेखक ने स्व-मूल्यांकन किया "कोड गुणवत्ता: थका हुआ स्नातक छात्र", कोई रिलीज़ संस्करण नहीं, कोई सीआई/सीडी नहीं, कोई डॉकर छवि नहीं, तैनाती के लिए कुछ तकनीकी अनुभव की आवश्यकता होती है; (2) जटिल डेटा सेट तैयारी - आरएलडीएस प्रारूप में वीडियो-एक्शन डेटा सेट के लिए विशिष्ट टोकननाइजेशन पाइपलाइनों की आवश्यकता होती है; (3) मॉडल पैमाने की सीमाएँ - 1बी पैरामीटर उपभोक्ता-ग्रेड जीपीयू पर चलाए जा सकते हैं, लेकिन 40+ डेटा सेट के पूर्ण पूर्व-प्रशिक्षण के लिए कई जीपीयू क्लस्टर की आवश्यकता होती है; (4) सामुदायिक पारिस्थितिकी अभी तक नहीं बनी है - दस्तावेज़ मुख्य रूप से कागजात + README हैं, कोई मंच नहीं है, और कोई ज्ञात तृतीय-पक्ष एकीकरण नहीं है।

अनुवर्ती अवलोकन बिंदु: (1) क्या वेयरहाउस एक आधिकारिक रिलीज़ संस्करण जारी करेगा और संस्करणित चेकपॉइंट अपडेट की आवृत्ति; (2) क्या आरओएस/जिम जैसे रोबोट मानक इंटरफेस के लिए एकीकृत समर्थन है; (3) क्या लेखक टीम विशिष्ट परिदृश्यों (जैसे कुशल संचालन) के लिए एक बड़ा मॉडल संस्करण या फ़ाइन-ट्यूनिंग वज़न जारी करेगी; (4) क्या तीसरे पक्ष के पैकेज (जैसे डॉकर इमेज, हगिंगफेस अनुमान एपीआई, कोलाब नोटबुक) उपयोग की सीमा को कम करने के लिए समुदाय में दिखाई देंगे।

खरीद/गोद लेने का जोखिम मूल्यांकन: एचएमए एक "प्रौद्योगिकी पूर्व-अनुसंधान और मूल्यांकन त्वरण उपकरण" के रूप में उपयुक्त है और इस स्तर पर उत्पादन वातावरण के लिए एकमात्र सिमुलेशन निर्भरता के रूप में अनुशंसित नहीं है। रणनीतियों को अपनाने की सिफारिश की जाती है: (1) पहले अपने स्वयं के परिदृश्य में मॉडल की वास्तविक निष्ठा का मूल्यांकन करने के लिए इंटरैक्टिव डेमो और प्रीसेट डेटा सेट के साथ पूरी प्रक्रिया को चलाएं; (2) डेटा फ्लाईव्हील प्रभाव को मापने के लिए प्रशिक्षण के बाद प्रयोग करने के लिए 200 स्वयं के प्रक्षेप पथों से शुरुआत करें; (3) पूरी तरह से सत्यापित करने से पहले, वास्तविक रोबोट रोलआउट के लिए एक बैकअप चैनल बनाए रखें। व्यावसायिक-ग्रेड समर्थन की आवश्यकता वाले उद्यमों के लिए, सामुदायिक संस्करण के परिपक्व होने या व्यावसायिक विकल्पों (जैसे कि NVIDIA आइज़ैक सिम, फिजिकल इंटेलिजेंस के π0) का मूल्यांकन करने की प्रतीक्षा करने की अनुशंसा की जाती है।

संबंधित उपकरण: <एक्सलिंक प्रकार='टूल' स्लग='क्रूवाई'>, <एक्सलिंक प्रकार='टूल' स्लग='लैंगचेन'>

संस्करण जानकारी

  • एचएमए प्रारंभिक संस्करण ：इसमें दो मॉडल विनिर्देश शामिल हैं: HMA-MagVit (362M पैरामीटर) और HMA-MAR (1B पैरामीटर), असतत टोकन और निरंतर टोकन के दो पीढ़ी मोड का समर्थन करता है, और पूर्व-प्रशिक्षण, प्रशिक्षण के बाद, मूल्यांकन और विज़ुअलाइज़ेशन का पूर्ण प्रक्रिया कोड प्रदान करता है।
  • arXiv प्रीप्रिंट ：पेपर को पहली बार arXiv (2502.04296) पर प्रकाशित किया गया था, जो ओपन सोर्स कोड और मॉडल वेट को सिंक्रनाइज़ करता था।

उपयोगकर्ता समीक्षाएं

  • समीक्षाएं लोड हो रही हैं...