3DIS-FLUX DiT (डिफ्यूजन ट्रांसफार्मर) पर आधारित एक बहु-आवृत्ति छवि निर्माण विधि है। यह 3DIS फ्रेमवर्क को FLUX मॉडल के साथ जोड़ता है, गहराई मानचित्र नियंत्रण और ध्यान मास्क संचालन के माध्यम से अतिरिक्त प्रशिक्षण के बिना बढ़िया रेंडरिंग प्राप्त करता है, और इंस्टेंस-स्तरीय विशेषता नियंत्रण और छवि गुणवत्ता में मौजूदा एडाप्टर समाधानों को पार करता है।

3DIS-FLUX: DiT रेंडरिंग के आधार पर कुशल मल्टी-इंस्टेंस छवि निर्माण विधि का गहन विश्लेषण

मुख्य पैरामीटर और आँकड़े

प्रोजेक्ट	विशेष विवरण
उत्पाद का नाम	3डीआईएस-फ्लक्स
श्रेणी	एआई छवि और डिज़ाइन
डिलिवरी फॉर्म	अनुसंधान कोड (GitHub खुला स्रोत)
समर्थित प्लेटफार्म	वेब (डेमो पेज) / स्थानीय (अनुमान कोड)
समर्थित भाषाएँ	अंग्रेजी (पेपर/कोड)
लक्षित उपयोगकर्ता	कंप्यूटर विज़न शोधकर्ता, एआई छवि पीढ़ी डेवलपर्स
उपयोगकर्ता पैमाना	शैक्षणिक उद्धरण + GitHub सितारे (परियोजना पृष्ठ के अधीन)
मूल्य निर्धारण मॉडल	मुफ़्त (ओपन सोर्स रिसर्च प्रोजेक्ट)

3DIS-FLUX एक व्यावसायिक उत्पाद नहीं है, बल्कि एक अकादमिक पेपर + ओपन सोर्स कोड कार्यान्वयन का संयोजन है - अतिरिक्त प्रशिक्षण (प्रशिक्षण-मुक्त) के बिना बढ़िया मल्टी-इंस्टेंस छवि प्रतिपादन प्राप्त करने के लिए, गहराई मानचित्र नियंत्रण (गहराई नियंत्रण) और ध्यान मास्क ऑपरेशन (अटेंशन मास्क) के माध्यम से, 3DIS (मल्टी-इंस्टेंस जेनरेशन फ्रेमवर्क) को FLUX (DiT आर्किटेक्चर टेक्स्ट-टू-इमेज जेनरेशन मॉडल) के साथ संयोजित करने की एक विधि प्रस्तावित है। इस आवश्यक स्थिति को समझना इसके मूल्य का सही आकलन करने के लिए पूर्व शर्त है - इसके "उपयोगकर्ता" वैज्ञानिक शोधकर्ता और एआई इंजीनियर हैं, अंतिम उपभोक्ता नहीं; इसके "डिलीवरेबल्स" कागजात और कोड हैं, न कि SaaS उत्पाद।

उपयोगकर्ता और बाज़ार की पहचान

जनवरी 2025 (arXiv:2501.05131) में प्रकाशित एक अकादमिक पेपर के रूप में, 3डीआईएस-फ्लक्स की बाजार मान्यता अकादमिक उद्धरणों और ओपन सोर्स सामुदायिक संकेतकों में परिलक्षित होती है:

शैक्षणिक प्रभाव: पेपर का प्रस्ताव झेजियांग विश्वविद्यालय के डेवेई झोउ, जी झी, ज़ोंगक्सिन यांग और यी यांग जैसे शोधकर्ताओं द्वारा किया गया था। "मल्टी-इंस्टेंस इमेज जेनरेशन" की उपखंड दिशा में, 3DIS-FLUX का योगदान U-नेट आर्किटेक्चर (SD1.5/SD2/SDXL का उपयोग करके) पर आधारित पिछले 3DIS फ्रेमवर्क को DiT आर्किटेक्चर के FLUX मॉडल तक विस्तारित करने में निहित है। इस विस्तार पथ का अपने आप में स्पष्ट शैक्षणिक मूल्य है - यह "3DIS ढांचे का अटेंशन मास्क ऑपरेशन अभी भी DiT आर्किटेक्चर पर मान्य है या नहीं" की मूल परिकल्पना की पुष्टि करता है।

ओपन सोर्स सामुदायिक प्रतिक्रिया: परियोजना ने गिटहब पर अनुमान कोड और प्रदर्शन डेमो को सार्वजनिक कर दिया है, और सामुदायिक चर्चाओं ने निम्नलिखित तीन दिशाओं पर ध्यान केंद्रित किया है: (1) अन्य मल्टी-इंस्टेंस पीढ़ी के तरीकों (जैसे इंस्टेंस डिफ्यूजन, मल्टीडिफ्यूजन) के साथ तुलना; (2) 3डीआईएस-फ्लक्स को अन्य फ्लक्स वेरिएंट (फ्लक्स.1-डेप्थ-डेव, फ्लक्स.1-फिल-डेव) के साथ संयोजित करने की संभावना; (3) वीडियो जेनरेशन या जेनरेशन की 3डी व्यवहार्यता तक विधि का विस्तार करना।

उद्योग का ध्यान: कंप्यूटर विज़न कॉन्फ्रेंस (सीवीपीआर/आईसीसीवी/ईसीसीवी) के लिए सबमिशन रुझानों के बीच, "DiT आर्किटेक्चर के तहत नियंत्रणीय पीढ़ी" 2025-2026 में एक लोकप्रिय दिशा है। इस दिशा में शुरुआती कार्यों में से एक के रूप में, 3DIS-FLUX के "प्रशिक्षण-मुक्त + ध्यान मास्क" तकनीकी मार्ग का एक निश्चित प्रभाव है। हालाँकि, यह ध्यान दिया जाना चाहिए कि अकादमिक प्रभाव उद्योग में लागू करने की क्षमता के बराबर नहीं है - इस पद्धति को अभी तक वाणिज्यिक उत्पादों में सत्यापित नहीं किया गया है।

लागत लाभ (लागत में कमी और दक्षता में सुधार की मात्रात्मक कटौती सहित)

लागत आयाम	पारंपरिक विधि (प्रशिक्षण एडाप्टर समाधान)	3DIS-FLUX (प्रशिक्षण-मुक्त समाधान)
मॉडल प्रशिक्षण लागत	GPU क्लस्टर (4-8×A100) की आवश्यकता है, प्रशिक्षण 1-3 दिन	$0 (कोई प्रशिक्षण सत्र नहीं)
डेटा एनोटेशन लागत	इंस्टेंस मास्क और विशेषता लेबल का मैन्युअल एनोटेशन आवश्यक है	$0 (कोई डेटा आवश्यक नहीं)
एकल अनुमान लागत	लगभग 5-15 सेकंड (रिज़ॉल्यूशन के आधार पर)	लगभग 10-30 सेकंड (प्रसारण ऑपरेशन पर ध्यान दें)
परिनियोजन लागत	प्रशिक्षण और अनुमान के लिए दो पाइपलाइन बनाए रखने की आवश्यकता है	केवल अनुमान पाइपलाइन
विधि प्रवासन लागत	मूल मॉडल को बदलने के लिए पुनः प्रशिक्षण की आवश्यकता है	मूल मॉडल को बदलने के लिए केवल ध्यान अनुकूलन परत को समायोजित करने की आवश्यकता है

मुख्य लागत लाभ: 3DIS-FLUX की "प्रशिक्षण-मुक्त" सुविधा सभी प्रशिक्षण एडाप्टर समाधानों (जैसे GLIGEN, IP-एडाप्टर, कंट्रोलनेट) की तुलना में इसका सबसे मौलिक लागत लाभ है। पारंपरिक कार्य में, FLUX मॉडल में एक नई क्षमता (जैसे इंस्टेंस-स्तरीय विशेषता नियंत्रण) जोड़ने के लिए, आपको एक डेटा सेट तैयार करना होगा → एडॉप्टर नेटवर्क डिज़ाइन करना होगा → कई दिनों तक प्रशिक्षित करना होगा → पैरामीटर समायोजित करना होगा → सत्यापित करना होगा। 3DIS-FLUX को केवल पूर्व-प्रशिक्षित FLUX भार को लोड करने और अनुमान के दौरान अटेंशन मास्क और गहराई मानचित्र नियंत्रण को इंजेक्ट करने की आवश्यकता है।

सीमा की स्थिति: यह लागत लाभ मानता है कि प्रारंभिक FLUX मॉडल पहले से ही गहराई नियंत्रण क्षमताओं के साथ आता है (यानी FLUX.1-गहराई-dev का उपयोग करके)। यदि लक्ष्य दृश्य को अन्य बुनियादी मॉडल (जैसे SD3, PixArt-Σ) के उपयोग की आवश्यकता होती है, तो 3DIS फ्रेमवर्क की पोर्टेबिलिटी को फिर से सत्यापित करने की आवश्यकता होती है - अटेंशन मास्क ऑपरेशन लॉजिक को माइग्रेट किया जा सकता है, लेकिन गहराई मानचित्र नियंत्रण की सटीकता FLUX जितनी अच्छी नहीं हो सकती है।

मुख्य कार्य

• मल्टी-इंस्टेंस छवि निर्माण: एक छवि में कई स्वतंत्र रूप से नियंत्रित इंस्टेंस ऑब्जेक्ट उत्पन्न करें, प्रत्येक उदाहरण में स्वतंत्र विशेषताएं (स्थिति, आकार, रंग, मुद्रा, बनावट) होती हैं। यह 3DIS-FLUX की मुख्य क्षमता है - पारंपरिक टेक्स्ट-टू-इमेज मॉडल (टेक्स्ट-टू-इमेज) केवल वैश्विक विवरण के आधार पर एक समग्र चित्र उत्पन्न कर सकता है, और विभिन्न उदाहरणों की सूक्ष्म विशेषताओं को नियंत्रित नहीं कर सकता है। लागू कार्य: जटिल दृश्यों के प्रूफ़-ऑफ़-कॉन्सेप्ट आरेख, मल्टी-ऑब्जेक्ट लेआउट डिज़ाइन।
• इंस्टेंस-स्तरीय विशेषता नियंत्रण: अटेंशन मास्क ऑपरेशन के माध्यम से, प्रत्येक इंस्टेंस की टोकन गणना सीमा डीआईटी की ध्यान परत में इंस्टेंस के मास्क क्षेत्र तक सीमित है ताकि यह सुनिश्चित किया जा सके कि इंस्टेंस के बीच की विशेषताएँ एक दूसरे को दूषित नहीं करेंगी। उदाहरण के लिए, यदि प्रॉम्प्ट के लिए "बाईं ओर एक लाल बिल्ली और दाईं ओर एक नीला कुत्ता" की आवश्यकता होती है, तो पारंपरिक मॉडल "लाल बिल्ली प्लस नीला कुत्ता" या "बिल्ली और कुत्ता मिश्रित" उत्पन्न कर सकता है, जबकि 3DIS-FLUX का अटेंशन मास्क यह सुनिश्चित करता है कि "लाल" विशेषता केवल बिल्ली टोकन को प्रभावित करती है, और "नीली" विशेषता केवल कुत्ते टोकन को प्रभावित करती है। उपयोग मूल्य: यह वैश्विक विवरण से स्वतंत्र उदाहरण-स्तरीय विशेषता नियंत्रण का एहसास करता है, जो कुछ ऐसा है जो अधिकांश पिछले प्रशिक्षण-मुक्त तरीके नहीं कर सकते हैं।
• प्रशिक्षण-मुक्त गहराई मानचित्र नियंत्रण: गहराई एडाप्टर के अतिरिक्त प्रशिक्षण की आवश्यकता के बिना, गहराई मानचित्र के माध्यम से प्रत्येक उदाहरण की स्थानिक स्थिति और रोड़ा संबंध को निर्दिष्ट करने के लिए FLUX.1-गहराई-डेव की पूर्व-प्रशिक्षित गहराई नियंत्रण क्षमता का उपयोग करें। अटेंशन मास्क का पूरक - गहराई मानचित्र "इंस्टेंस कहाँ है" को नियंत्रित करता है और अटेंशन मास्क "इंस्टेंस की विशेषताएँ क्या हैं" को नियंत्रित करता है।
• 3DIS फ्रेमवर्क के साथ संगतता: 3DIS-FLUX मूल 3DIS फ्रेमवर्क का विस्तार है और इसकी मूल डिजाइन अवधारणा विरासत में मिली है - छवि निर्माण को तीन चरणों में विभाजित करना: "लेआउट प्लानिंग → इंस्टेंस जेनरेशन → स्पेस सिंथेसिस"। मूल 3DIS ने इस प्रक्रिया को U-नेट आर्किटेक्चर पर लागू किया, और 3DIS-FLUX ने इसे DiT आर्किटेक्चर में ट्रांसप्लांट किया और लक्षित अटेंशन लेयर अनुकूलन बनाया।

मॉडल और संस्करण विकास

संस्करण	दिनांक	मुख्य परिवर्तन
3DIS-FLUX (यह आलेख)	2025-01-09	FLUX.1-डेप्थ-डेव के आधार पर, 3DIS फ्रेमवर्क को DiT आर्किटेक्चर तक विस्तारित किया गया है और अटेंशन मास्क ऑपरेशन पेश किया गया है
3DIS (बेसलाइन)	~2024	मल्टी-इंस्टेंस जेनरेशन फ्रेमवर्क की व्यवहार्यता को सत्यापित करने के लिए यू-नेट आर्किटेक्चर (एसडी1.5/एसडी2/एसडीएक्सएल) का उपयोग करते हुए मूल विधि

3DIS से 3DIS-FLUX तक का विकास मूलतः "मल्टी-इंस्टेंस जेनरेशन फ्रेमवर्क को U-Net से DiT में स्थानांतरित करने" की प्रक्रिया है। यू-नेट युग में 3DIS ने SD1.5 और SDXL पर अटेंशन मास्क + डेप्थ मैप नियंत्रण की प्रभावशीलता को सत्यापित किया है। 3DIS-FLUX ने साबित कर दिया है कि यह विधि DiT आर्किटेक्चर पर भी प्रभावी है, और FLUX की मजबूत पीढ़ी क्षमताओं के कारण छवि गुणवत्ता में सुधार हुआ है।

तकनीकी मार्ग निर्णय: प्रौद्योगिकी रुझानों के परिप्रेक्ष्य से, डीआईटी धीरे-धीरे छवि निर्माण मॉडल (फ्लक्स, एसडी3, और पिक्सआर्ट-Σ सभी डीआईटी का उपयोग करते हैं) की मुख्यधारा वास्तुकला के रूप में यू-नेट की जगह ले रहा है। 3DIS-FLUX का "DiT पर प्रशिक्षण-मुक्त मल्टी-इंस्टेंस नियंत्रण" तकनीकी मार्ग दूरंदेशी है - यदि DiT अगले 2-3 वर्षों में मुख्यधारा की वास्तुकला बन जाती है, तो 3DIS-FLUX द्वारा प्रस्तावित अटेंशन मास्क अनुकूलन योजना मल्टी-इंस्टेंस नियंत्रण का एक मानक घटक बन सकती है।

तकनीकी लाभ

• प्रशिक्षण-मुक्त: यह 3DIS-FLUX का मुख्य तकनीकी लाभ है। सभी उदाहरण-स्तरीय विशेषता नियंत्रण को FLUX मॉडल के किसी भी फाइन-ट्यूनिंग या एडाप्टर प्रशिक्षण के बिना, अनुमान के दौरान ध्यान मास्क और गहराई मानचित्र नियंत्रण के माध्यम से कार्यान्वित किया जाता है। इसका मतलब है: (1) फ्लक्स मॉडल (पाठ संरेखण, छवि गुणवत्ता, शैली विविधता) की क्षमताएं पूरी तरह से बरकरार हैं और फाइन-ट्यूनिंग द्वारा नष्ट नहीं की जाएंगी; (2) विधियों और मॉडलों को अलग कर दिया गया है - FLUX के अपग्रेड होने के बाद (जैसे FLUX 2.0), 3DIS-FLUX को केवल नए संस्करण पर अटेंशन मास्क की अनुकूलता को सत्यापित करने की आवश्यकता है।
• अटेंशन मास्क ऑपरेटिंग मैकेनिज्म: DiT की अटेंशन गणना में, मानक सेल्फ-अटेंशन सभी पैच टोकन के बीच पूर्ण कनेक्शन गणना करता है। 3DIS-FLUX द्वारा प्रस्तुत अटेंशन मास्क, इंस्टेंस के ध्यान गणना से इंस्टेंस के बाहर के टोकन को बाहर करता है - विशेष रूप से, उदाहरण के लिए, केवल इंस्टेंस के डेप्थ मैप मास्क क्षेत्र के भीतर आने वाले क्वेरी टोकन और इंस्टेंस के अनुरूप कुंजी/मूल्य टोकन को ध्यान गणना में शामिल किया जाता है। इस ऑपरेशन का भौतिक अर्थ यह है: प्रत्येक उदाहरण पीढ़ी प्रक्रिया के दौरान "केवल अपने क्षेत्र को देखता है", और अन्य उदाहरणों के क्षेत्रों को नहीं देखता है, जिससे विशेषता भ्रम को रोका जा सकता है।
• गहराई मानचित्र नियंत्रण और अटेंशन मास्क के बीच दोहरे चैनल सहयोग: दो नियंत्रण तंत्र एक पूरक संबंध बनाते हैं - गहराई मानचित्र नियंत्रण "स्थानिक स्थिति" (उदाहरण की स्थिति, आकार और रोड़ा संबंध) के लिए जिम्मेदार है, और अटेंशन मास्क "विशेषता अलगाव" (प्रत्येक उदाहरण का रंग, बनावट और मुद्रा) के लिए जिम्मेदार है। एब्लेशन अध्ययन में दोनों के सहक्रियात्मक प्रभाव को सत्यापित किया गया है: जब गहराई मानचित्र नियंत्रण हटा दिया जाता है, तो उदाहरण की स्थिति बदल जाती है; जब अटेंशन मास्क हटा दिया जाता है, तो इंस्टेंस विशेषताएँ भ्रमित हो जाती हैं।
• DiT आर्किटेक्चर के साथ प्राकृतिक अनुकूलता: यू-नेट की तुलना में, DiT के ट्रांसफार्मर आर्किटेक्चर में ध्यान गणना में बेहतर प्रोग्रामयोग्यता है - मॉडल संरचना को संशोधित किए बिना अटेंशन मास्क को DiT के मल्टी-हेड सेल्फ-अटेंशन लेयर में अधिक स्वाभाविक रूप से एकीकृत किया जा सकता है। यह एक कारण है कि 3DIS-FLUX मूल 3DIS (U-Net संस्करण) कार्यान्वयन की तुलना में अधिक स्वच्छ है।

मानव-मशीन सहयोग सीमा

लिंक	स्वचालन की डिग्री	मैन्युअल पुष्टिकरण बिंदु
गहराई मानचित्र निर्माण (उदाहरण लेआउट)	अर्ध-स्वचालित (उपकरण निर्माण या मैन्युअल ड्राइंग)	पुष्टि करें कि उदाहरण की स्थिति और रोड़ा संबंध अपेक्षा के अनुरूप हैं
शीघ्र लेखन	मैनुअल	सुनिश्चित करें कि प्रत्येक उदाहरण के विवरण में विरोध न हो
छवि निर्माण (अनुमान)	पूर्णतः स्वचालित	—
आउटपुट गुणवत्ता स्वीकृति	मैनुअल	उदाहरण विशेषता सटीकता, छवि कलाकृतियों, किनारे सम्मिश्रण की जाँच करें

मुख्य सिद्धांत: 3DIS-FLUX का "प्रशिक्षण-मुक्त" उपयोग की सीमा को कम करता है, लेकिन मैन्युअल हस्तक्षेप के लिए मुख्य लिंक "इंस्टेंस लेआउट डिज़ाइन" है - गहराई मानचित्र की सटीकता सीधे आउटपुट की स्थानिक गुणवत्ता निर्धारित करती है। पहले हैंड-ड्राइंग सॉफ़्टवेयर या 3डी टूल के साथ गहन रेखाचित्र तैयार करने और फिर लेआउट की पुष्टि करने के बाद अनुमान चलाने की अनुशंसा की जाती है। विशेषता नियंत्रण के लिए, आपको प्रत्येक उदाहरण के विवरण को स्पष्ट रूप से अलग करने के लिए एक संरचित संकेत लिखना होगा।

कैसे उपयोग करें

प्रवेश	कैसे उपयोग करें
गिटहब कोड	गिट क्लोन → निर्भरताएँ स्थापित करें → गहराई मानचित्र तैयार करें → अनुमान स्क्रिप्ट चलाएँ
प्रोजेक्ट डेमो पेज	https://limuloo.github.io/3DIS/ ऑनलाइन उदाहरण और प्रभाव प्रदर्शन देखें (गैर-ऑनलाइन सेवा)
कागज़	arXiv:2501.05131, संपूर्ण तकनीकी विवरण और प्रयोगात्मक परिणाम प्राप्त करें

सामान्य चरण:

1. इंस्टेंस लेआउट तैयार करें: प्रत्येक इंस्टेंस के लिए एक स्वतंत्र गहराई मानचित्र तैयार करें (या तो MiDaS/गहराई-कुछ भी जैसे गहराई अनुमान उपकरण का उपयोग करके, या इसे मैन्युअल रूप से चित्रित करें)।
2. एक संरचित संकेत लिखें: प्रारूप "ए [विशेषता 1] [ऑब्जेक्ट 1] और एक [विशेषता 2] [ऑब्जेक्ट 2] [परिदृश्य विवरण] के साथ" है ताकि यह सुनिश्चित किया जा सके कि प्रत्येक उदाहरण का विवरण शब्दार्थ रूप से स्वतंत्र है।
3. रन अनुमान: गहराई मानचित्र पथ और प्रत्येक उदाहरण के संबंधित विवरण निर्दिष्ट करें, और 3DIS-FLUX स्वचालित रूप से गहराई मानचित्र नियंत्रण + ध्यान मास्क पीढ़ी निष्पादित करता है।
4. आउटपुट का मैन्युअल निरीक्षण: विशेषता सटीकता, एज ब्लेंडिंग गुणवत्ता और प्रत्येक उदाहरण की समग्र संरचना को सत्यापित करें।

उदाहरण (पायथन स्यूडोकोड):

# वैचारिक कॉल, वास्तविक ओपन सोर्स कोड के अधीन
threedis_flux से MultiInstanceGenerator आयात करें

जेन = मल्टीइंस्टेंसजेनरेटर (मॉडल_नाम = "FLUX.1-गहराई-देव")

परिणाम = gen.generate(
    प्रॉम्प्ट = "लकड़ी की मेज पर एक लाल चीनी मिट्टी का कप और एक नीली नोटबुक",
    उदाहरण=[
        {"गहराई_मानचित्र": "cup_depth.png", "विवरण": "लाल सिरेमिक कप"},
        {"गहराई_मैप": "नोटबुक_डेप्थ.पीएनजी", "विवरण": "ब्लू नोटबुक"}
    ],
    num_inference_steps=50,
    मार्गदर्शन_स्केल=7.5
)
परिणाम.सहेजें("आउटपुट.पीएनजी")

उत्पाद मूल्य निर्धारण (ओपन सोर्स रिसर्च प्रोजेक्ट)

टियर	कीमत	क्या शामिल है
ओपन सोर्स कोड	$0	GitHub पूर्ण अनुमान कोड + पूर्व-प्रशिक्षण भार लोडिंग स्क्रिप्ट
कागज़	$0	arXiv ओपन एक्सेस
वाणिज्यिक समर्थन	एन/ए	शैक्षणिक अनुसंधान परियोजना, कोई व्यावसायिक सहायता चैनल नहीं

3DIS-FLUX एक पूरी तरह से निःशुल्क शैक्षणिक अनुसंधान परियोजना है। उपयोगकर्ताओं को GPU अनुमान की लागत वहन करनी होगी (यह RTX 4090 या A10 जैसे 16GB+ VRAM GPU का उपयोग करने की अनुशंसा की जाती है)।

अनुप्रयोग परिदृश्य

• परिदृश्य 1: अकादमिक अनुसंधान में नियंत्रित पीढ़ी प्रयोग - शोधकर्ताओं को "DiT आर्किटेक्चर पर इंस्टेंस-स्तरीय विशेषता नियंत्रण लागू करने" की परिकल्पना को सत्यापित करने की आवश्यकता है। 3DIS-FLUX सीधे चलाने योग्य बेसलाइन कोड और एब्लेशन प्रयोग कॉन्फ़िगरेशन प्रदान करता है, जिसके आधार पर शोधकर्ता अटेंशन मास्क रणनीति को संशोधित कर सकते हैं, नए स्थानिक नियंत्रण सिग्नल पेश कर सकते हैं, या विधि को अन्य DiT मॉडल तक विस्तारित कर सकते हैं। सत्यापन विधि: किसी ज्ञात परीक्षण सेट (जैसे कि COCO का उपसमूह) पर 3DIS-FLUX चलाएं, GLIGEN और इंस्टेंस डिफ्यूजन के साथ मात्रात्मक तुलना करें, और FID और इंस्टेंस विशेषताओं की सटीकता की गणना करें।
• परिदृश्य 2: वैचारिक डिजाइन में लेआउट अन्वेषण - ग्राफिक डिजाइनरों को चित्र में विभिन्न वस्तुओं के लेआउट प्रभावों को तुरंत सत्यापित करने की आवश्यकता है (जैसे कि "सामने बाईं ओर एक लाल मूर्तिकला और पीछे दाईं ओर एक नीला फूलदान रखें")। पारंपरिक तरीकों के लिए फ़ोटोशॉप के साथ मैन्युअल स्केचिंग या सिलाई की आवश्यकता होती है, जिसमें समय लगता है और इसका प्रभाव सीमित होता है। 3DIS-FLUX गहराई मानचित्र + प्रॉम्प्ट के संयोजन का उपयोग करके शीघ्रता से अवधारणा मानचित्र तैयार कर सकता है। सीमाएँ: उत्पन्न सटीकता और शैली नियंत्रणीयता पेशेवर डिजाइनरों द्वारा मैन्युअल ड्राइंग जितनी अच्छी नहीं है, इसलिए यह प्रस्ताव चरण में अवधारणा अन्वेषण के लिए उपयुक्त है।
• परिदृश्य 3: मल्टी-ऑब्जेक्ट डिटेक्शन डेटा एन्हांसमेंट - सिंथेटिक प्रशिक्षण डेटा के निर्माण में, ऐसी छवियां उत्पन्न करना आवश्यक है जिनमें एकाधिक डिटेक्शन लक्ष्य हों और जिनमें नियंत्रणीय विशेषताएं हों। 3DIS-FLUX का इंस्टेंस-स्तरीय विशेषता नियंत्रण वास्तविक डेटा की कमियों को पूरा करते हुए, निर्दिष्ट स्थितियों और दिखावे के साथ बहु-ऑब्जेक्ट छवियां उत्पन्न कर सकता है। सत्यापन विधि: उत्पन्न सिंथेटिक छवियों को डिटेक्शन मॉडल के प्रशिक्षण सेट में जोड़ें, और वास्तविक परीक्षण सेट पर एमएपी में परिवर्तनों का मूल्यांकन करें।

लागू लोग

• कंप्यूटर विज़न शोधकर्ता: अकादमिक शोधकर्ता जो नियंत्रणीय छवि निर्माण, मल्टी-इंस्टेंस संश्लेषण और डीआईटी आर्किटेक्चर पर ध्यान केंद्रित करते हैं। 3DIS-FLUX एक आधार रेखा प्रदान करता है जिसे सीधे पुन: प्रस्तुत और विस्तारित किया जा सकता है।
• एआई इमेज जेनरेशन डेवलपर: एआई इंजीनियर जिन्हें मल्टी-इंस्टेंस नियंत्रण क्षमताओं को अपनी टूलचेन में एकीकृत करने की आवश्यकता होती है। कोड एमआईटी-शैली लाइसेंस के तहत खुला स्रोत है और इसे अन्य परियोजनाओं में स्वतंत्र रूप से एकीकृत किया जा सकता है।
• ग्राफ़िक डिज़ाइनर (संकल्पना चरण का प्रमाण): ऐसे डिज़ाइनर जिन्हें मल्टी-ऑब्जेक्ट लेआउट विकल्पों को शीघ्रता से तलाशने की आवश्यकता होती है। नोट: 3DIS-FLUX की उत्पादन गुणवत्ता और नियंत्रणीयता शोधन-स्तर के उपकरणों जितनी अच्छी नहीं है, और यह प्रस्ताव चरण में प्रेरणा अन्वेषण के लिए उपयुक्त है।

सीमाओं में फिट नहीं बैठता:

• उत्पादन-ग्रेड छवि डिज़ाइन के लिए उच्च-परिशुद्धता पिक्सेल-स्तरीय नियंत्रण की आवश्यकता होती है (फ़ोटोशॉप या पेशेवर डिज़ाइन टूल अनुशंसित)।
• ऑनलाइन डिज़ाइन परिदृश्यों में वास्तविक समय की बातचीत की आवश्यकता होती है (अस्वीकार्य 10-30 सेकंड अनुमान विलंबता)।
• गैर-अनुसंधान परिदृश्यों में दीर्घकालिक स्थिर उपयोग (शैक्षणिक परियोजनाओं के लिए कोई एसएलए या रखरखाव प्रतिबद्धता नहीं)।

प्रतिस्पर्धी उत्पादों की तुलना

कंट्रास्ट आयाम	3डीआईएस-फ्लक्स	ग्लिगेन	उदाहरण प्रसार	मल्टीडिफ्यूजन
विधि प्रकार	प्रशिक्षण-मुक्त अनुमान	प्रशिक्षण अनुकूलक	प्रशिक्षण अनुकूलक	प्रशिक्षण-मुक्त अनुमान
बेस मॉडल	FLUX.1-गहराई-देव (DiT)	SD1.5/SDXL (यू-नेट)	SD1.5 (यू-नेट)	SD1.5 (यू-नेट)
उदाहरण विशेषता नियंत्रण	हाँ (ध्यान मास्क)	सीमित (लेआउट बॉक्स नियंत्रण)	हाँ (उदाहरण एम्बेडिंग)	नहीं (केवल लेआउट)
प्रशिक्षण लागत	$0	प्रशिक्षण डेटा + GPU की आवश्यकता है	प्रशिक्षण डेटा + GPU की आवश्यकता है	$0
गहराई चार्ट आवश्यक	हाँ	नहीं	नहीं	नहीं
छवि गुणवत्ता (संदर्भ)	उच्च (फ्लक्स बेसिक)	मध्यम (एसडीएक्सएल)	मध्यम (एसडी1.5)	मध्यम निम्न (एसडी1.5)
कोड उपलब्धता	खुला स्रोत	खुला स्रोत	खुला स्रोत	खुला स्रोत
डीआईटी अनुकूलता	मूलनिवासी	समर्थित नहीं	समर्थित नहीं	समर्थित नहीं

3DIS-FLUX विशिष्ट रूप से "प्रशिक्षण-मुक्त + DiT मूल + उदाहरण-स्तरीय विशेषता नियंत्रण" के त्रि-आयामी चौराहे पर स्थित है। GLIGEN और इंस्टेंस डिफ्यूजन को प्रशिक्षण की आवश्यकता होती है, इसलिए लागत अधिक है, लेकिन नियंत्रण सटीकता बेहतर हो सकती है; मल्टीडिफ्यूजन के लिए भी किसी प्रशिक्षण की आवश्यकता नहीं है, लेकिन नियंत्रण ग्रैन्युलैरिटी लेआउट तक ही सीमित है। 3DIS-FLUX का ट्रेड-ऑफ प्रशिक्षण-मुक्त इंस्टेंस-स्तरीय विशेषता नियंत्रण के बदले में एक शर्त के रूप में गहराई मानचित्र का उपयोग करना है।

सारांश और आउटलुक

3DIS-FLUX नियंत्रणीय छवि निर्माण के क्षेत्र में प्रशिक्षण-मुक्त + इंस्टेंस-स्तरीय विशेषता नियंत्रण तकनीकी समाधान प्रदान करता है। यह एक वाणिज्यिक उत्पाद नहीं है, बल्कि एक शोध योगदान है - यू-नेट से डीआईटी में 3डीआईएस ढांचे को पोर्ट करना, डीआईटी आर्किटेक्चर पर अटेंशन मास्क ऑपरेशन की प्रभावशीलता को मान्य करना, और फ्लक्स मॉडल के साथ संयुक्त होने पर छवि गुणवत्ता के फायदे का प्रदर्शन करना।

वर्तमान लाभ: (1) प्रशिक्षण-मुक्त डिज़ाइन डेटा तैयारी और जीपीयू प्रशिक्षण की लागत सीमा को समाप्त करता है; (2) अटेंशन मास्क + डेप्थ मैप कंट्रोल का दोहरे चैनल सहयोगी तंत्र एक तकनीकी रूप से उचित डिजाइन है; (3) डीआईटी आर्किटेक्चर के साथ मूल अनुकूलता का मतलब है कि भविष्य में जब डीआईटी मुख्यधारा बन जाएगा तो इसका तकनीकी मूल्य लंबा हो जाएगा।

ज्ञात सीमाएँ: (1) प्राथमिक इनपुट के रूप में गहराई मानचित्र पर निर्भरता - गहराई मानचित्र तैयार करने के लिए अतिरिक्त टूल (MiDaS/गहराई-कुछ भी) की आवश्यकता होती है, जिससे लिंक का उपयोग बढ़ जाता है; (2) अनुमान की गति मानक फ्लक्स अनुमान (अतिरिक्त ध्यान मास्क गणना और प्रसारण संचालन) की तुलना में धीमी है; (3) जब उदाहरणों की संख्या बढ़ती है, तो अटेंशन मास्क की कम्प्यूटेशनल जटिलता रैखिक रूप से बढ़ जाती है, और बहुत अधिक उदाहरण होने पर प्रदर्शन में बाधा उत्पन्न हो सकती है (>10); (4) शैक्षणिक परियोजना, कोई व्यावसायिक समर्थन या रखरखाव प्रतिबद्धता नहीं - FLUX मॉडल संस्करण अपडेट के साथ कोड उपलब्धता और संगतता बदल सकती है।

ध्यान देने के निम्नलिखित निर्देश: (1) क्या 3डीआईएस-फ्लक्स को साथियों द्वारा उद्धृत और विस्तारित किया जाएगा - यह इसके शैक्षणिक मूल्य को मापने के लिए मुख्य संकेतक है; (2) क्या डाउनस्ट्रीम एप्लिकेशन (जैसे डेटा सेट जेनरेशन, डिज़ाइन टूल इंटीग्रेशन) दिखाई देंगे; (3) क्या डीआईटी आर्किटेक्चर की एकीकृत प्रवृत्ति अटेंशन मास्क ऑपरेशन को नियंत्रणीय पीढ़ी के लिए एक मानक तकनीकी घटक बना देगी।

यह अनुशंसा की जाती है कि शोधकर्ता और डेवलपर्स परियोजना के GitHub रिपॉजिटरी अपडेट और Google विद्वान उद्धरणों पर ध्यान दें, और गहन एकीकरण में निवेश करना है या नहीं, यह तय करने से पहले इसके तकनीकी मार्ग और सामुदायिक गतिविधि की जीवन शक्ति का मूल्यांकन करें।

संबंधित उपकरण: <एक्सलिंक प्रकार='टूल' स्लग='मिडजर्नी'>, <एक्सलिंक प्रकार='टूल' स्लग='स्थिर-प्रसार'>

3डिस फ्लक्स का लागत लाभ

• सी-साइड/व्यक्तिगत: आमतौर पर मुख्य कार्यों का अनुभव करने के लिए एक मुफ्त संस्करण प्रदान किया जाता है, और उच्च आवृत्ति उपयोग के लिए सशुल्क पैकेज सदस्यता की आवश्यकता होती है।
• एपीआई/डेवलपर: कॉल वॉल्यूम के आधार पर बिल, विकास टीमों के लिए उपयुक्त जिन्हें लचीले ढंग से अपने सिस्टम में एकीकृत किया जा सकता है।
• उद्यम/निजीकरण: अनुकूलित कोटेशन और तैनाती योजना प्राप्त करने के लिए व्यवसाय स्वामी से संपर्क करें। विशिष्ट कीमत आधिकारिक वास्तविक समय मूल्य निर्धारण पृष्ठ के अधीन है।

3dis फ्लक्स के लिए उत्पाद मूल्य निर्धारण

मूल्य निर्धारण मॉडल आधिकारिक वास्तविक समय पृष्ठ के अधीन है। आमतौर पर फ्रीमियम या सदस्यता प्रणाली अपनाई जाती है। बुनियादी कार्यों का उपयोग निःशुल्क किया जा सकता है, जबकि उन्नत कार्यों या उच्च-आवृत्ति उपयोग के लिए सशुल्क सदस्यता की आवश्यकता होती है। यह अनुशंसा की जाती है कि उपयोगकर्ता वास्तविक उपयोग के आधार पर इष्टतम समाधान का मूल्यांकन करें।

संस्करण जानकारी

• 3डीआईएस-फ्लक्स ：पहली बार जारी किया गया, यह FLUX.1-डेप्थ-डेव मॉडल के आधार पर प्रशिक्षण-मुक्त मल्टी-इंस्टेंस रेंडरिंग को लागू करता है, और प्रत्येक इंस्टेंस की बारीक विशेषताओं को सटीक रूप से नियंत्रित करने के लिए अटेंशन मास्क ऑपरेशन की शुरुआत करता है। （2025-01-09）
• 3डीआईएस (बेसलाइन) ：मूल 3DIS दृष्टिकोण यू-नेट आर्किटेक्चर (SD1.5/SD2/SDXL) का उपयोग करता है, जिसे यह पेपर DiT आर्किटेक्चर के FLUX मॉडल तक विस्तारित करता है। （~2024）