गॉसियनसिटी
मुफ्त
गॉसियनसिटी नानयांग टेक्नोलॉजिकल यूनिवर्सिटी के एस-लैब द्वारा प्रस्तावित एक कुशल सीमा रहित 3डी सिटी जेनरेशन फ्रेमवर्क है। यह 3डी गॉसियन स्प्लैटरिंग (3डी-जीएस) और कॉम्पैक्ट बीईवी-प्वाइंट प्रतिनिधित्व पर आधारित है। सिटीड्रीमर की तुलना में, यह 60 गुना तेज है, इसमें निरंतर मेमोरी खपत होती है, और ड्रोन और सड़क दृश्य परिप्रेक्ष्य से शहरी दृश्य निर्माण का समर्थन करता है।
गॉसियनसिटी का 3डी सिटी जेनरेशन फ्रेमवर्क
मुख्य पैरामीटर और आँकड़े
| प्रोजेक्ट | विवरण |
|---|---|
| उत्पाद का नाम | गॉसियनसिटी |
| उत्पाद प्रकार | 3डी जेनरेटिव फ्रेमवर्क (शैक्षणिक अनुसंधान) |
| डिलिवरी फॉर्म | ओपन सोर्स कोड (पायथन + सीयूडीए) |
| कोर टेक्नोलॉजी | 3डी गॉसियन स्प्लैटिंग, बीईवी-प्वाइंट |
| पेपर सम्मेलन | सीवीपीआर 2025 |
| गिटहब स्टार्स | 336 (2025 के मध्य तक) |
| विकास दल | नानयांग टेक्नोलॉजिकल यूनिवर्सिटी एस-लैब |
| ओपन सोर्स लाइसेंस | एनटीयू एस-लैब लाइसेंस 1.0 |
| समर्थित प्लेटफार्म | लिनक्स (NVIDIA GPU + CUDA की आवश्यकता है) |
गॉसियनसिटी की मुख्य सफलता 3डी-जीएस को सीमित पैमाने की वस्तु/मानव शरीर पीढ़ी से अनंत पैमाने की 3डी शहर पीढ़ी तक विस्तारित करना है। सिटीड्रीमर जैसे पारंपरिक दृष्टिकोण बड़े पैमाने के परिदृश्यों में मेमोरी विस्फोट के मुद्दों का सामना करते हैं - 10 किमी² शहर के लिए सैकड़ों जीबी वीआरएएम की आवश्यकता होती है। गॉसियनसिटी बीईवी-प्वाइंट कॉम्पैक्ट प्रतिनिधित्व के माध्यम से ग्राफिक्स मेमोरी खपत को स्थिर स्तर पर बनाए रखकर इस बाधा को पूरी तरह से तोड़ देता है। अनुमान गति के संदर्भ में, गॉसियनसिटी 10.72 एफपीएस तक पहुंचती है, जो सिटीड्रीमर (0.18 एफपीएस) से 60 गुना है, जो एक गुणात्मक छलांग है।
उपयोगकर्ता और बाज़ार की पहचान
गॉसियनसिटी को सीवीपीआर 2025 में शामिल किया गया था और यह 3डी पीढ़ी के क्षेत्र में एक अत्याधुनिक शोध परिणाम है। इसके हगिंग फेस ऑनलाइन प्रदर्शन को 2025 के 11वें सप्ताह में शीर्ष 8 स्थानों के रूप में दर्जा दिया गया था, और बाद में शीर्ष 1 स्थान पर पहुंच गया, यह दर्शाता है कि इसे शिक्षा और उद्योग दोनों में व्यापक ध्यान मिला है। GitHub रिपॉजिटरी को 336 स्टार और 19 फोर्क्स प्राप्त हुए, और इसकी सामुदायिक गतिविधि समान CVPR पेपर कार्यान्वयन के बीच उत्कृष्ट है।
यह कार्य सिटीड्रीमर (एनटीयू एस-लैब) की उसी टीम द्वारा जारी रखा गया था, और अनुवर्ती कार्य सिटीड्रीमर4डी का एक सार्वजनिक पृष्ठ है, जो दर्शाता है कि इस तकनीकी मार्ग ने अनुसंधान जीवन शक्ति जारी रखी है।
लागत लाभ
गॉसियनसिटी एक पूरी तरह से खुला स्रोत शैक्षणिक अनुसंधान परियोजना है जिसमें कोई भुगतान सीमा नहीं है:
| लागत आयाम | विवरण | |
|---|---|---|
| ओपन सोर्स कोड | GitHub रिपॉजिटरी पूरी तरह से सार्वजनिक है, जो NTU S-Lab लाइसेंस 1.0 | पर आधारित है |
| पूर्व-प्रशिक्षित मॉडल | बैकग्राउंड जेनरेटर और बिल्डिंग जेनरेटर के लिए पूर्व-प्रशिक्षित वजन प्रदान करता है | |
| ऑनलाइन अनुभव | हगिंग फेस स्पेस मुफ्त ऑनलाइन डेमो प्रदान करता है | |
| हार्डवेयर लागत | आपको अपना स्वयं का NVIDIA GPU (CUDA 11.8+) लाना होगा, प्रशिक्षण के लिए 8×GPU मल्टी-कार्ड कॉन्फ़िगरेशन की अनुशंसा की जाती है |
शोधकर्ताओं और डेवलपर्स के लिए, वास्तविक लागत हार्डवेयर निवेश में निहित है। ट्रेनिंग बैकग्राउंड जेनरेटर मल्टी-कार्ड कॉन्फ़िगरेशन के लिए torchrun --nnodes=1 --nproc_per_node=8 की अनुशंसा करता है। एकल-कार्ड अनुमान के लिए कम से कम 8GB VRAM वाले GPU की आवश्यकता होती है। यह बड़े मॉडल/एआईजीसी अनुसंधान के क्षेत्र में एक पारंपरिक विन्यास है, लेकिन व्यक्तिगत उत्साही लोगों के लिए सीमा अधिक है।
मुख्य कार्य
- बॉर्डरलेस 3डी सिटी जेनरेशन: ड्रोन के विहंगम दृश्य से लेकर सड़क दृश्य तक विविध शहरी दृश्य निर्माण का समर्थन करता है। दृश्य का पैमाना वीडियो मेमोरी द्वारा सीमित नहीं है और सैद्धांतिक रूप से किसी भी शहर के आकार तक पहुंच सकता है।
- बीईवी-प्वाइंट कॉम्पैक्ट प्रतिनिधित्व: 3डी दृश्य में बिंदुओं को स्थिति विशेषताओं और शैली विशेषताओं में विघटित करें, और बर्ड्स आई व्यू और स्टाइल लुकअप तालिकाओं के माध्यम से संपीड़न लागू करें, ताकि दृश्य आकार के साथ वीआरएएम खपत में वृद्धि न हो।
- स्थानिक-जागरूक बीईवी-प्वाइंट डिकोडर: प्वाइंट सीरियलाइज़र और प्वाइंट ट्रांसफार्मर के आधार पर, यह बीईवी बिंदुओं के बीच संरचनात्मक और प्रासंगिक संबंधों को पकड़ता है और उच्च गुणवत्ता वाली 3डी गॉसियन विशेषताओं को उत्पन्न करता है।
- डुअल जेनरेटर आर्किटेक्चर: बैकग्राउंड जेनरेटर आकाश और जमीन जैसे पृष्ठभूमि तत्वों के लिए जिम्मेदार है, और बिल्डिंग जेनरेटर इमारतों के निर्माण पर ध्यान केंद्रित करता है। संपूर्ण शहरी दृश्य को पूरा करने के लिए दोनों मिलकर काम करते हैं।
- वास्तविक समय प्रतिपादन और इंटरैक्शन: 3डी-जीएस पर आधारित एक कुशल रास्टराइजेशन पाइपलाइन वास्तविक समय प्रतिपादन का समर्थन करती है; हगिंग फेस डेमो एक ऑनलाइन इंटरैक्टिव अनुभव प्रदान करता है।
मॉडल और संस्करण विकास
| संस्करण | दिनांक | विवरण |
|---|---|---|
| गोदाम निर्माण | 2024-05-24 | प्रारंभिक गोदाम निर्माण, कोड अभी तक सार्वजनिक नहीं किया गया है |
| प्रशिक्षण/परीक्षण कोड जारी | 2025-02-27 | पूर्ण प्रशिक्षण और अनुमान कोड, पूर्व-प्रशिक्षण भार जारी |
| हगिंग फेस डेमो | 2025-03-02 | ऑनलाइन डेमो लॉन्च किया गया, शीर्ष 8 स्थान जीते (सप्ताह 11), और बाद में शीर्ष 1 पर पहुंच गया |
| सीवीपीआर 2025 शामिल | 2025-06 | पेपर को सीवीपीआर 2025 द्वारा स्वीकार किया गया और आधिकारिक तौर पर प्रकाशित किया गया |
गॉसियनसिटी का संस्करण इतिहास स्पष्ट है: मई 2024 में वेयरहाउस के आरंभीकरण से लेकर फरवरी 2025 में पूर्ण ओपन सोर्स कोड तक, मार्च में हगिंग फेस डेमो के लॉन्च तक और समुदाय से उच्च लोकप्रियता प्राप्त करने तक, समग्र लय कॉम्पैक्ट है। सीवीपीआर 2025 में पेपर के शामिल होने का मतलब है कि काम शीर्ष सम्मेलन में सहकर्मी समीक्षा से गुजर चुका है। कोड अभी भी रखरखाव के अधीन है, और भविष्य में उसी तकनीकी मार्ग के आधार पर एक उन्नत संस्करण लॉन्च किया जा सकता है (उसी टीम के CityDreamer4D को देखें)।
तकनीकी लाभ
गॉसियनसिटी का तकनीकी नेतृत्व तीन स्तरों पर परिलक्षित होता है:
- बीईवी-प्वाइंट कॉम्पैक्ट प्रतिनिधित्व: मुख्य नवाचार 3डी दृश्य बिंदुओं को स्थिति विशेषताओं और शैली विशेषताओं में विघटित करने और बीईवी स्पेस क्वांटाइजेशन + स्टाइल लुकअप टेबल के माध्यम से निरंतर ग्राफिक्स मेमोरी खपत प्राप्त करने में निहित है। सिटीड्रीमर के वोक्सेल/ग्रिड प्रतिनिधित्व की तुलना में, बीईवी-प्वाइंट दृश्य पैमाने का विस्तार होने पर ग्राफिक्स मेमोरी की तेजी से वृद्धि से बचाता है, जिससे 10 किमी² स्तर का शहर उत्पन्न करना संभव हो जाता है।
- 60x गति में सुधार: उसी परिदृश्य में, गॉसियनसिटी की अनुमान गति 10.72 एफपीएस तक पहुंच जाती है, जबकि सिटीड्रीमर की केवल 0.18 एफपीएस है। गति का लाभ 3डी-जीएस की जीपीयू-कुशल रैस्टराइजेशन पाइपलाइन + बीईवी-प्वाइंट की कॉम्पैक्ट डेटा संरचना से मिलता है। दोनों के संयोजन से प्रत्येक फ्रेम की रेंडरिंग लागत काफी कम हो जाती है।
- स्थानिक जागरूक डिकोडर: प्वाइंट सीरियलाइज़र + प्वाइंट ट्रांसफार्मर का वास्तुशिल्प डिजाइन बीईवी बिंदुओं के बीच स्थानिक संदर्भ को प्रभावी ढंग से कैप्चर करने में सक्षम बनाता है, स्वतंत्र बिंदु पीढ़ी के कारण होने वाली ज्यामितीय विसंगतियों से बचता है, जिससे आउटपुट सिटी लेआउट उचित और वास्तुशिल्प विवरणों से समृद्ध होता है।
कैसे उपयोग करें
गॉसियनसिटी इसका उपयोग करने के तीन तरीके प्रदान करता है:
| प्रवेश | प्रकार | विवरण |
|---|---|---|
| GitHub स्रोत कोड | स्व-तैनाती | क्लोन रिपॉजिटरी → निर्भरताएँ स्थापित करें → पूर्व-प्रशिक्षित मॉडल डाउनलोड करें → अनुमान चलाएँ |
| हगिंग फेस डेमो | ऑनलाइन अनुभव | ब्राउज़र खोलें और बिना किसी इंस्टॉलेशन कॉन्फ़िगरेशन के सीधे इसका उपयोग करें |
| पेपर/प्रोजेक्ट पेज | सन्दर्भ | arXiv कागजात, परियोजना परिचय, उद्धरण, आदि |
स्थानीय परिनियोजन के साथ शीघ्रता से आरंभ करें
# 1. रिपॉजिटरी को क्लोन करें
गिट क्लोन https://github.com/hzxie/GaussianCity
सीडी गॉसियनसिटी
# 2. PyTorch स्थापित करें (CUDA 11.8 उदाहरण)
पिप इंस्टाल टॉर्च==2.4.1 टॉर्चविज़न==0.19.1 --index-url https://download.pytorch.org/whl/cu118
# 3. पायथन निर्भरता स्थापित करें
पिप इंस्टॉल -आर आवश्यकताएँ.txt
#4. CUDA एक्सटेंशन संकलित करें
GCITY_HOME=`pwd`
सीडी $GCITY_HOME/एक्सटेंशन
`ls -d */` में ई के लिए
करो
सीडी $GCITY_HOME/एक्सटेंशन/$e
पिप स्थापित करें.
किया
# 5. पूर्व-प्रशिक्षित मॉडल को आउटपुट/निर्देशिका में डाउनलोड करें और अनुमान चलाएँ
Python3 स्क्रिप्ट/inference.pyनोट: अनुमान की गति सीपीयू-साइड
footprint_extruderद्वाराinference.pyमें सीमित है। यदि आपको सबसे तेज़ प्रदर्शन की आवश्यकता है, तो कृपया हगिंग फेस डेमो के जीपीयू कार्यान्वयन का उपयोग करें।
चेहरे को गले लगाने का ऑनलाइन अनुभव
बिना किसी कॉन्फ़िगरेशन के सीधे इसका अनुभव करने के लिए https://huggingface.co/spaces/hzxie/gaussian-city पर जाएं।
उत्पाद का मूल्य निर्धारण
गॉसियनसिटी एक पूरी तरह से खुला स्रोत अकादमिक प्रोजेक्ट है, जो बिना किसी चार्जिंग योजना के एनटीयू एस-लैब लाइसेंस 1.0 समझौते के आधार पर जारी किया गया है:
- ओपन सोर्स कोड: GitHub रिपोजिटरी पूरी तरह से खुला है और उपयोग के लिए मुफ़्त है।
- पूर्व-प्रशिक्षित मॉडल: बैकग्राउंड जेनरेटर और बिल्डिंग जेनरेटर वेट मुफ्त डाउनलोड।
- ऑनलाइन डेमो: हगिंग फेस स्पेस का निःशुल्क परीक्षण।
- वाणिज्यिक लाइसेंस: एनटीयू एस-लैब लाइसेंस 1.0 के आधार पर, व्यावसायिक उपयोग को समझौते की शर्तों का पालन करना होगा। एनटीयू टीम से परामर्श करने की अनुशंसा की जाती है।
वास्तविक लागत मुख्यतः हार्डवेयर से आती है:
- एकल कार्ड अनुमान: न्यूनतम 8GB VRAM GPU (16GB+ अनुशंसित)
- पूर्ण प्रशिक्षण: 8×GPU मल्टी-कार्ड क्लस्टर अनुशंसित (A100 या समकक्ष)
अनुप्रयोग परिदृश्य
- गेम और आभासी वास्तविकता: ओपन-वर्ल्ड गेम वीआर रोमिंग और अन्य परिदृश्यों में उपयोग के लिए यथार्थवादी और सीमाहीन 3डी शहर संदर्भों को तुरंत उत्पन्न करें, जिससे मैन्युअल मॉडलिंग लागत में काफी कमी आती है।
- फ़िल्म और टीवी एनिमेशन प्रोडक्शन: पृष्ठभूमि या विशेष प्रभाव सामग्री के रूप में जटिल शहरी दृश्यों को कुशलतापूर्वक उत्पन्न करें, शैलीगत प्रतिपादन का समर्थन करें, और उत्पादन पाइपलाइन की दक्षता में सुधार करें।
- शहरी योजना और वास्तुकला डिजाइन: शहरी लेआउट योजना, बिल्डिंग ब्लॉक विस्तार और डिजाइन योजना प्रदर्शन में सहायता के लिए जीआईएस डेटा को 3डी विज़ुअलाइज़ेशन दृश्यों में त्वरित रूप से परिवर्तित करें।
- स्वायत्त ड्राइविंग सिमुलेशन: स्वायत्त ड्राइविंग एल्गोरिदम की धारणा और योजना परीक्षण के लिए विविध यथार्थवादी शहरी यातायात दृश्य उत्पन्न करें, लंबी-पूंछ वाली स्थितियों को पूरक करें जिन्हें पारंपरिक सिमुलेशन डेटा सेट के साथ कवर करना मुश्किल है।
- भौगोलिक सूचना प्रणाली (जीआईएस): डिजिटल ट्विन्स और स्मार्ट शहरों जैसे अनुप्रयोगों के प्रारंभिक दृश्य सत्यापन का समर्थन करते हुए, 2डी भौगोलिक डेटा को 3डी शहर मॉडल में स्वचालित रूप से अपग्रेड करें।
लागू लोग
- कंप्यूटर विजन/एआईजीसी शोधकर्ता: गॉसियनसिटी शहरी पैमाने पर 3डी-जीएस पीढ़ी की अत्याधुनिक आधार रेखा प्रदान करती है, जो तरीकों की तुलना या आगे के सुधार के लिए शुरुआती बिंदु के रूप में उपयोग के लिए उपयुक्त है।
- गेम और फिल्म और टेलीविजन डेवलपर्स: तकनीकी कलाकार और डेवलपर्स जिन्हें बैचों में शहरी पृष्ठभूमि की संपत्ति जल्दी से उत्पन्न करने की आवश्यकता होती है, वे संपत्ति पाइपलाइन में तेजी लाने के लिए ओपन सोर्स कोड और पूर्व-प्रशिक्षित मॉडल का उपयोग कर सकते हैं।
- स्वायत्त ड्राइविंग सिमुलेशन इंजीनियर: जिन इंजीनियरों को एल्गोरिदम सत्यापन के लिए विविध शहरी दृश्य डेटा की आवश्यकता होती है, वे गॉसियनसिटी के आधार पर पूरक प्रशिक्षण डेटा उत्पन्न कर सकते हैं।
- लोगों पर लागू नहीं:
- जिन व्यक्तिगत उपयोगकर्ताओं के पास GPU कंप्यूटिंग शक्ति की कमी है (कोई NVIDIA GPU या VRAM <8GB नहीं है) उन्हें स्थानीय परिनियोजन का प्रयास करने की अनुशंसा नहीं की जाती है।
- उन परिदृश्यों के लिए उपयुक्त नहीं है जिनके लिए तत्काल वाणिज्यिक-ग्रेड SaaS उत्पादों (एक-क्लिक पीढ़ी, कोई कोडिंग आवश्यक नहीं) की आवश्यकता होती है - गॉसियनसिटी एक शोध ढांचा है, और इसके उपयोग के लिए पायथन/सीयूडीए फाउंडेशन की आवश्यकता होती है।
- संरचित शहर डेटा (इमारतें, सड़कें, सिमेंटिक टैग के साथ यातायात प्रवाह) के आउटपुट की अपेक्षा - गॉसियनसिटी जीआईएस संरचित डेटा नहीं, बल्कि दृश्य रेंडरिंग उत्पन्न करता है।
सारांश और आउटलुक
गॉसियनसिटी 3डी शहर निर्माण में एक महत्वपूर्ण सफलता है। यह 3डी-जीएस की क्षमताओं को सीमित पैमाने की वस्तुओं/मानव निकायों से लेकर अनंत पैमाने के शहर-स्तरीय दृश्यों तक विस्तारित करता है, और बीईवी-प्वाइंट कॉम्पैक्ट प्रतिनिधित्व के माध्यम से लंबे समय से क्षेत्र को परेशान करने वाली मेमोरी बाधा समस्या को हल करता है। 60 गुना गति वृद्धि और सीवीपीआर 2025 का समर्थन इसे इस दिशा में एक अपरिहार्य आधारभूत विधि बनाता है।
हालाँकि, गॉसियनसिटी को बड़े पैमाने पर उत्पादन उपकरण के बजाय एक अनुसंधान ढांचे के रूप में तैनात किया गया है: इसके लिए GPU-सक्षम पायथन प्रोग्रामिंग फाउंडेशन और 3D-GS प्रौद्योगिकी स्टैक की समझ की आवश्यकता होती है। वर्तमान संस्करण मुख्य रूप से तकनीकी क्षमताओं वाले शोधकर्ताओं और डेवलपर्स के लिए है, और वर्तमान में कोई प्रत्यक्ष वाणिज्यिक SaaS संस्करण नहीं है।
खरीद/गोद लेने का जोखिम मूल्यांकन: व्यक्तिगत उत्साही लोगों के लिए, हार्डवेयर सीमा (NVIDIA GPU + CUDA + कम से कम 8GB VRAM) सबसे बड़ा छिपा हुआ निवेश है। एंटरप्राइज़ उपयोगकर्ताओं के लिए, एनटीयू एस-लैब लाइसेंस 1.0 की व्यावसायिक शर्तों की सावधानीपूर्वक समीक्षा करने की आवश्यकता है। व्यावसायिक उपयोग से पहले एनटीयू टीम के साथ प्राधिकरण के दायरे की पुष्टि करने की सिफारिश की जाती है। परियोजना का रखरखाव वर्तमान में एक व्यक्तिगत शोधकर्ता (हाओज़े झी) द्वारा किया जाता है। दीर्घकालिक पुनरावृत्ति लय अकादमिक टीम के निरंतर निवेश पर निर्भर करती है, और कुछ हद तक अनिश्चितता होती है। गॉसियनसिटी को एक शोध सत्यापन या रैपिड प्रोटोटाइप टूल के रूप में उपयोग करने की अनुशंसा की जाती है। तुलनात्मक मूल्यांकन के लिए उत्पादन-स्तर के परिदृश्यों को अभी भी सिटीड्रीमर श्रृंखला या अन्य व्यावसायिक समाधानों के साथ जोड़ने की आवश्यकता है।
संबंधित उपकरण: <एक्सलिंक टाइप='टूल' स्लग='मिडजर्नी'>, <एक्सलिंक टाइप='टूल' स्लग='स्थिर-प्रसार'>
संस्करण जानकारी
- सीवीपीआर 2025 आधिकारिक संस्करण ：प्रशिक्षण और परीक्षण कोड पूरी तरह से जारी किया गया है, जो OSM और GoogleEarth डेटा सेट का समर्थन करता है; हगिंग फेस डेमो ऑनलाइन है (2025/03/02)।
- गोदाम निर्माण ：प्रारंभिक रिपॉजिटरी बनाई गई है, कोड अभी तक सार्वजनिक नहीं है।
उपयोगकर्ता समीक्षाएं