ड्रीमजेन NVIDIA रिसर्च द्वारा लॉन्च किया गया एक रोबोट लर्निंग रिसर्च फ्रेमवर्क है। यह वीडियो वर्ल्ड मॉडल को फाइन-ट्यून करके सिंथेटिक रोबोट वीडियो तैयार करता है, उनसे छद्म क्रियाएं निकालता है और डाउनस्ट्रीम रणनीतियों को प्रशिक्षित करता है, जिससे रोबोट को बहुत कम मात्रा में वास्तविक-व्यक्ति टेलीऑपरेशन डेटा के साथ व्यवहारिक और प्रासंगिक सामान्यीकरण प्राप्त करने की अनुमति मिलती है।

DreamGen की पूर्ण समीक्षा

मुख्य पैरामीटर और आँकड़े

प्रोजेक्ट	विशेष विवरण
उत्पाद स्थिति	रोबोट लर्निंग सिंथेटिक डेटा जेनरेशन फ्रेमवर्क
विकास एजेंसी	एनवीडिया रिसर्च गियर लैब
ओपन सोर्स लाइसेंस	अपाचे-2.0
कोर टेक्नोलॉजी	वीडियो वर्ल्ड मॉडल फ़ाइन-ट्यूनिंग + छद्म-क्रिया निष्कर्षण + रणनीति प्रशिक्षण
रोबोट समर्थित	GR00T N1, फ्रेंका, SO-100, रोबोकासा
डेटा प्रारंभिक बिंदु	सिंगल पिक-एंड-प्लेस टेलीऑपरेशन डेटा सेट
सामान्यीकरण क्षमता	22 नए व्यवहार शून्य-शॉट सामान्यीकरण + नया प्रासंगिक सामान्यीकरण

उपयोगकर्ता और बाज़ार की पहचान

ड्रीमजेन रोबोट सीखने के क्षेत्र में NVIDIA रिसर्च का महत्वपूर्ण ओपन सोर्स योगदान है। इसके द्वारा हल की जाने वाली मुख्य समस्या यह है: रोबोट सीखने के लिए बड़ी मात्रा में विविध प्रशिक्षण डेटा की आवश्यकता होती है, लेकिन मानव टेलीऑपरेशन के माध्यम से डेटा एकत्र करने की लागत बहुत अधिक है। ड्रीमजेन का विचार वीडियो की दुनिया को "सपने देखने" देना है, बड़ी संख्या में सिंथेटिक रोबोट वीडियो तैयार करना है, और फिर रोबोट रणनीतियों को प्रशिक्षित करने के लिए उनसे क्रियाएं निकालना है।

प्रचार सत्यापन: "22 नए व्यवहारों के लिए शून्य-नमूना सामान्यीकरण" - यह परिणाम एक नियंत्रित प्रयोगशाला वातावरण में प्राप्त किया गया था, और प्रत्येक "नए व्यवहार" की परिभाषा में वास्तविक दुनिया से विचलन की अलग-अलग डिग्री होती है। प्रयोगशाला में 22 व्यवहारों और उत्पादन संदर्भों में वास्तविक सामान्यीकरण के बीच एक वास्तविक-से-वास्तविक अंतर है।

लागत लाभ

ओपन सोर्स रिसर्च प्रोजेक्ट (अपाचे-2.0), कोड और मॉडल निःशुल्क हैं। वास्तविक लागत मुख्य रूप से जीपीयू कंप्यूटिंग शक्ति में है - वीडियो वर्ल्ड मॉडल को ठीक करने और बड़े पैमाने पर सिंथेटिक डेटा उत्पन्न करने के लिए मल्टी-कार्ड जीपीयू क्लस्टर की आवश्यकता होती है। अनुसंधान टीम के लिए, यह लागत समान पैमाने के वास्तविक डेटा एकत्र करने के लिए मानव टेलीऑपरेशन का उपयोग करने की तुलना में बहुत कम है।

मुफ़्त सच: Apache-2.0 ओपन सोर्स लाइसेंस मुफ़्त उपयोग और संशोधन की अनुमति देता है, लेकिन एक पेपर प्रयोग को पूरी तरह से पुन: पेश करने के लिए GPU की लागत लगभग $5,000-20,000 है (मॉडल आकार और नमूना मात्रा के आधार पर)। "मुफ़्त" चीज़ कोड है, और "महंगी" चीज़ कंप्यूटिंग शक्ति है।

मुख्य कार्य

• 4-स्टेज डेटा जेनरेशन पाइपलाइन: वीडियो वर्ल्ड मॉडल को ठीक करें → सिंथेटिक रोबोट वीडियो बनाएं → छद्म क्रियाओं को निकालने के लिए LAPA/IDM का उपयोग करें → डाउनस्ट्रीम विज़ुओमोटर नीति को प्रशिक्षित करें। यह पाइपलाइन वास्तविक डेटा की एक छोटी मात्रा से शुरू होती है और एक सामान्यीकृत रोबोट रणनीति को प्रशिक्षित करने के लिए सिंथेटिक डेटा के माध्यम से इसे बढ़ाती है।
• शून्य-शॉट व्यवहार सामान्यीकरण: एकल पिक-एंड-प्लेस कार्रवाई से शुरू होकर, मॉडल 22 अनदेखे व्यवहारों (संपर्क-गहन कार्य जैसे फोल्डिंग, टैपिंग, स्टैकिंग, वाइपिंग इत्यादि) को सामान्यीकृत कर सकता है।
• शून्य-नमूना प्रासंगिक सामान्यीकरण: प्रत्येक नए संदर्भ के लिए डेटा के पुन: अधिग्रहण पर भरोसा किए बिना अनदेखे संदर्भों में सीखे गए कार्यों को निष्पादित करें।
• ड्रीमजेन बेंच: संलग्न मूल्यांकन बेंचमार्क का उपयोग रोबोट अवतार के लिए वीडियो वर्ल्ड मॉडल की अनुकूलनशीलता और भौतिकी संरेखण को मापने के लिए किया जाता है।

मॉडल और संस्करण विकास

मेनलाइन रिलीज़

• ~2025-06: ड्रीमजेन को पहली बार सार्वजनिक किया गया है, जिसमें संपूर्ण 4-चरण पाइपलाइन कोड बेंचमार्क और पूर्व-प्रशिक्षित मॉडल जारी किया गया है।

तकनीकी लाभ

• एल्गोरिदम अनुकूलन: प्रतिक्रिया गति और परिणाम गुणवत्ता के बीच संतुलन प्राप्त करने के लिए संबंधित परिदृश्य के लिए मॉडल या एल्गोरिदम स्तर पर विशेष अनुकूलन किया गया है।
• कम-विलंबता आर्किटेक्चर: उपयोगकर्ता के प्रतीक्षा समय को कम करने के लिए स्ट्रीमिंग या एसिंक्रोनस प्रोसेसिंग आर्किटेक्चर को अपनाता है और उच्च-आवृत्ति इंटरैक्शन परिदृश्यों के लिए उपयुक्त है।

कैसे उपयोग करें

1. कोड डाउनलोड करने के लिए GitHub रिपॉजिटरी (https://github.com/NVIDIA/DreamGen) पर जाएं
2. README के अनुसार संदर्भ और निर्भरता कॉन्फ़िगर करें
3. शुरुआती बिंदु के रूप में थोड़ी मात्रा में लाइव टेलीऑपरेशन प्रदर्शन डेटा तैयार करें
4. 4-चरण पाइपलाइन के अनुसार अनुक्रम में चलाएं: विश्व मॉडल फाइन-ट्यूनिंग → डेटा जेनरेशन → छद्म-क्रिया निष्कर्षण → रणनीति प्रशिक्षण
5. प्रशिक्षण परिणामों का मूल्यांकन करने के लिए ड्रीमजेन बेंच का उपयोग करें
6. प्रशिक्षित रणनीति को रोबोट प्लेटफ़ॉर्म पर तैनात करें

उत्पाद का मूल्य निर्धारण

प्रोजेक्ट	विवरण
कोड लाइसेंस	अपाचे-2.0 खुला स्रोत और मुफ़्त
पूर्व-प्रशिक्षित मॉडल	सार्वजनिक डाउनलोड
एपीआई सेवा	प्रदान नहीं किया गया
उद्यम सहायता	NVIDIA एंटरप्राइज सपोर्ट से संपर्क करें

मानव-मशीन सहयोग सीमा: 100% स्वचालन: 4-चरण डेटा उत्पादन पाइपलाइन, सिंथेटिक डेटा एनोटेशन, नीति प्रशिक्षण और बेंचमार्क मूल्यांकन का निष्पादन। मैन्युअल हस्तक्षेप की आवश्यकता है: डेटा गुणवत्ता नमूनाकरण, वास्तविक मशीनों पर रणनीति की सुरक्षा परीक्षण सीमा निर्धारित करना, और प्रशिक्षण लक्ष्यों को समायोजित करना। सिंथेटिक डेटा और वास्तविक डेटा के पूर्वाग्रह विश्लेषण के लिए भी शोधकर्ताओं द्वारा निरंतर निगरानी की आवश्यकता होती है।

अनुप्रयोग परिदृश्य

• नया रोबोट कौशल सीखना: नए कौशल को प्रशिक्षित करने के लिए ड्रीमजेन के माध्यम से बड़ी संख्या में सिंथेटिक वेरिएंट उत्पन्न करने के लिए वास्तविक-व्यक्ति प्रदर्शन डेटा की थोड़ी मात्रा का उपयोग करें। परंपरागत रूप से, एक कौशल के लिए सैकड़ों लाइव प्रदर्शनों की आवश्यकता होती है, लेकिन ड्रीमजेन शुरुआती बिंदु को दर्जनों तक कम कर सकता है।
• सिम-टू-रियल डेटा ऑग्मेंटेशन: वास्तविक दुनिया में रणनीति की मजबूती में सुधार के लिए सिम-टू-रियल माइग्रेशन के लिए विविध प्रासंगिक संस्करण और प्रकाश स्थिति डेटा उत्पन्न करें।
• रोबोट बेसिक मॉडल प्री-ट्रेनिंग: GR00T N1 जैसे बेसिक रोबोट मॉडल के प्रशिक्षण में, ड्रीमजेन द्वारा उत्पन्न बड़े पैमाने पर सिंथेटिक डेटा का उपयोग प्री-ट्रेनिंग या डेटा प्रवर्धन के लिए किया जाता है।

लागू लोग

• रोबोटिक लर्निंग रिसर्चर: अकादमिक और औद्योगिक शोधकर्ता जो डेटा दक्षता, व्यवहारिक सामान्यीकरण और प्रासंगिक सामान्यीकरण का अध्ययन करते हैं।
• एम्बोडिड इंटेलिजेंस एल्गोरिथम इंजीनियर: इंजीनियरिंग टीम जो रोबोटिक प्लेटफॉर्म पर लर्निंग एल्गोरिदम को लागू और तैनात करती है।
• NVIDIA इकोसिस्टम डेवलपर: डेवलपर्स जो GR00T और Isaac Sim जैसे NVIDIA रोबोट टूल का उपयोग करते हैं।

सारांश और आउटलुक

ड्रीमजेन रोबोट सीखने के क्षेत्र में एक महत्वपूर्ण प्रवृत्ति का प्रतिनिधित्व करता है: प्रशिक्षण डेटा की कमी की समस्या को हल करने के लिए जेनरेटर मॉडल का उपयोग करना। सिंथेटिक डेटा एक वीडियो वर्ल्ड मॉडल का "सपना" देखकर उत्पन्न होता है, जिससे रोबोटों को वास्तविक दुनिया के प्रदर्शनों की एक छोटी संख्या से व्यवहार और प्रासंगिक अनुकूलन की एक विस्तृत श्रृंखला सीखने की अनुमति मिलती है। एक शोध परियोजना के रूप में, इसका मूल्य एक पूर्ण और प्रतिलिपि प्रस्तुत करने योग्य डेटा उत्पादन-प्रशिक्षण-मूल्यांकन पाइपलाइन प्रदान करने में निहित है। औद्योगिक अनुप्रयोगों को सिंथेटिक डेटा की गुणवत्ता और सिमुलेशन से वास्तविकता में स्थानांतरण की लागत की ऊपरी सीमा का मूल्यांकन करने की आवश्यकता है।

वर्तमान सीमाएँ: NVIDIA अनुसंधान परियोजना, कोई स्वतंत्र उत्पाद टीम और सहायता चैनल नहीं; README स्पष्ट रूप से इंगित करता है कि कोड का उपयोग मुख्य रूप से अनुसंधान पुनरुत्पादन के लिए किया जाता है, न कि उत्पादन-स्तरीय उपकरण के लिए; सिंथेटिक डेटा की गुणवत्ता की ऊपरी सीमा वीडियो वर्ल्ड मॉडल की क्षमताओं से ही सीमित है।

निराश परिदृश्य: यदि आपका लक्ष्य उत्पादन लाइन में रोबोट रणनीति को शीघ्रता से तैनात करना है, तो ड्रीमजेन की कार्यप्रणाली अभी भी अनुसंधान और सत्यापन चरण में है और अभी भी औद्योगिक-ग्रेड विश्वसनीयता से दूर है। डेटा उत्पादन और रणनीति प्रशिक्षण की व्यवहार्यता को सत्यापित करने के लिए पहले सिमुलेशन का उपयोग करने की सिफारिश की जाती है, और फिर मूल्यांकन करें कि वास्तविक मशीनों पर माइग्रेट करना है या नहीं।

छिपे हुए लाभ: रोबोटिक्स प्रयोगशालाओं के लिए, ड्रीमजेन एक पूर्ण और प्रतिलिपि प्रस्तुत करने योग्य बेसलाइन प्रणाली प्रदान करता है, जिससे टीम को शुरुआत से बुनियादी ढांचे के निर्माण की आवश्यकता के बिना कुछ ही हफ्तों में सिंथेटिक डेटा उत्पादन → रणनीति प्रशिक्षण → मूल्यांकन की एक प्रयोगात्मक प्रक्रिया स्थापित करने की अनुमति मिलती है।

संबंधित टूल: <एक्सलिंक टाइप='टूल' स्लग='हगिंग-फेस'>, <एक्सलिंक टाइप='टूल' स्लग='रेप्लिकेट'>

संस्करण जानकारी

• ड्रीमजेन ：पहला सार्वजनिक अनुसंधान कार्यान्वयन, संपूर्ण 4-चरण पाइपलाइन कोड, मूल्यांकन बेंचमार्क और पूर्व-प्रशिक्षण मॉडल प्रदान करता है। अभी तक कोई आधिकारिक सटीक तारीख नहीं है। （~2025-06）
• ड्रीमजेन ：पहली बार सार्वजनिक रूप से उपलब्ध, इसमें 4-चरण पाइपलाइन बेंचमार्क और पूर्व-प्रशिक्षित मॉडल शामिल है। अभी तक कोई आधिकारिक सटीक तारीख नहीं है। （~2025-06）