फ्रेमपेंटर ICCV 2025 में शामिल एक ओपन सोर्स इमेज एडिटिंग टूल है। यह स्केच-आधारित इंटरैक्टिव इमेज एडिटिंग को लागू करने के लिए वीडियो डिफ्यूजन पूर्व (स्टेबल वीडियो डिफ्यूजन) का उपयोग करता है। उपयोगकर्ताओं को केवल छवि पर रेखाचित्र बनाने की आवश्यकता है, और एआई संपादन के इरादे को समझ सकता है और पेशेवर स्तर के प्रभाव उत्पन्न कर सकता है, जो सामान्य संपादन परिदृश्यों और आउट-ऑफ-डोमेन सामान्यीकरण परिदृश्यों दोनों में अच्छा प्रदर्शन करता है।

फ़्रेमपेंटर

मुख्य पैरामीटर और आँकड़े

प्रोजेक्ट	विशेष विवरण
उत्पाद का नाम	फ़्रेमपेंटर
श्रेणी	एआई विजुअल डिजाइन/इमेज एडिटिंग
डिलिवरी फॉर्म	डेस्कटॉप टूल (पायथन/पाइटोरच)
समर्थन मंच	डेस्कटॉप
समर्थित भाषाएँ	zh-CN, एन-यूएस
लक्षित उपयोगकर्ता	एआई शोधकर्ता, डिजाइनर, रचनात्मक कार्यकर्ता
उपयोगकर्ता पैमाना	GitHub 406 सितारे (शैक्षणिक परियोजना)
मूल्य निर्धारण मॉडल	मुफ़्त (एमआईटी ओपन सोर्स)

प्लेटफ़ॉर्म कवरेज और उपयोगकर्ता स्केल डेटा आधिकारिक वास्तविक समय पृष्ठ और तृतीय-पक्ष आंकड़ों पर आधारित हैं।

उपयोगकर्ता और बाज़ार की पहचान

फ़्रेमपेंटर पेपर को ICCV 2025 द्वारा स्वीकार किया गया और इंटरैक्टिव छवि संपादन की दिशा में अग्रणी SOTA परिणाम प्राप्त हुए। पिछले तरीकों की तुलना में, फ़्रेमपेंटर काफी कम प्रशिक्षण डेटा के साथ बेहतर संपादन गुणवत्ता और सामान्यीकरण क्षमताएं प्राप्त करता है। GitHub पर 406 सितारे, HuggingFace पूर्ण पूर्व-प्रशिक्षित वजन प्रदान करता है। यह आर्ट वीकली और केडीजिंगपाई जैसी कई एआई टूल एकत्रीकरण साइटों में शामिल है। "छवि-से-वीडियो पीढ़ी में छवि संपादन का पुनर्निर्माण" का प्रस्तावित तकनीकी विचार बाद के इंटरैक्टिव संपादन अनुसंधान के लिए एक नया प्रतिमान संदर्भ प्रदान करता है।

लागत लाभ

लागत आयाम	विवरण
सॉफ्टवेयर लाइसेंसिंग	एमआईटी खुला स्रोत, पूरी तरह से मुफ़्त
पूर्व-प्रशिक्षित वजन	हगिंगफेस से मुफ्त डाउनलोड
व्यावसायिक उपयोग	एमआईटी लाइसेंस, व्यावसायिक उपयोग की अनुमति
हार्डवेयर लागत	अपना स्वयं का NVIDIA GPU (अनुशंसित ≥8GB वीडियो मेमोरी) लाने की आवश्यकता है

पेपर बताता है कि पहले स्थिर वीडियो डिफ्यूजन के वीडियो प्रसार के उपयोग के कारण, प्रशिक्षण डेटा की मात्रा और कम्प्यूटेशनल लागत टेक्स्ट-टू-इमेज प्रसार मॉडल के आधार पर पिछले तरीकों की तुलना में बहुत कम है।

मुख्य कार्य

• स्केच-आधारित संपादन: उपयोगकर्ता संपादन के इरादे को निर्दिष्ट करने के लिए छवि पर एक स्केच बनाता है, और एआई स्वचालित रूप से स्केच के शब्दार्थ को समझता है और एक छवि उत्पन्न करता है जो निर्देशों के अनुरूप होती है। स्केच की मोटाई, स्थिति और आकार सटीक मास्किंग की आवश्यकता के बिना सीधे संपादन परिणामों को प्रभावित करते हैं।
• क्लिक-आधारित संपादन: क्लिक संचालन के माध्यम से संपादन क्षेत्र और लक्ष्य निर्दिष्ट करें, जो छवि की स्थानीय सामग्री को शीघ्रता से समायोजित करने के लिए उपयुक्त है।
• खींचें-आधारित संपादन: वस्तु की मुद्रा, आकार या स्थिति में परिवर्तन को नियंत्रित करने के लिए छवि में मुख्य बिंदुओं को खींचें। वीडियो प्रसार के माध्यम से, आप आंदोलन के नियमों को प्राथमिकता से समझ सकते हैं और विरूपण को अधिक प्राकृतिक बना सकते हैं।
• डोमेन से बाहर सामान्यीकृत संपादन: मुख्य हाइलाइट - पहले वीडियो प्रसार का उपयोग करके, प्रशिक्षण डेटा द्वारा कवर नहीं किए गए संपादन परिदृश्यों में अभी भी उचित परिणाम उत्पन्न किए जा सकते हैं (जैसे कि जोकर मछली को शार्क के आकार में बदलना)।
• ध्यान मिलान तंत्र: ग्रहणशील क्षेत्र का विस्तार करें और संपादित छवि और स्रोत छवि टोकन के बीच घने पत्राचार को बढ़ाएं, पर्याप्त संपादन के बाद सामग्री सुसंगतता सुनिश्चित करें।

मॉडल और संस्करण विकास

संस्करण	दिनांक	मुख्य परिवर्तन
v1.0 (आईसीसीवी 2025)	~2025-01	पूर्ण अनुमान डेमो, हगिंगफेस वेट, सभी संपादन मोड का समर्थन करता है
arXiv v1	2025-01-14	पेपर पहली बार जारी किया गया (2501.08225), और तकनीकी समाधान सार्वजनिक किया गया

तकनीकी लाभ

• समस्या पुनर्निर्माण प्रतिमान: इंटरैक्टिव छवि संपादन को "छवि-से-वीडियो पीढ़ी" समस्या के रूप में फिर से परिभाषित करें। स्थिर वीडियो प्रसार से पहले वीडियो प्रसार को विरासत में लेकर, आप स्वाभाविक रूप से वस्तु गति के बदलते नियमों को समझ सकते हैं और प्रशिक्षण लागत को काफी कम कर सकते हैं।
• हल्के विरल नियंत्रण एनकोडर: संपादन संकेतों को इंजेक्ट करने के लिए केवल एक हल्का एनकोडर पेश किया जाता है, नए मापदंडों की मात्रा न्यूनतम होती है, और प्रशिक्षण और अनुमान अत्यधिक कुशल होते हैं।
• ध्यान का मिलान: क्रॉस-अटेंशन सर्च रेंज का विस्तार करें, गहन बिंदु-दर-बिंदु पत्राचार स्थापित करें, और मुद्रा या आकार में बहुत अधिक बदलाव होने पर भी सामग्री सुसंगतता बनाए रखें।
• मल्टी-मोडल एडिटिंग सिग्नल एकीकरण: एक ही आर्किटेक्चर विभिन्न मॉडलों को अलग से प्रशिक्षित करने की आवश्यकता के बिना, स्केचिंग, क्लिकिंग, ड्रैगिंग इत्यादि जैसी कई इंटरैक्शन विधियों का समर्थन करता है।

कैसे उपयोग करें

प्रवेश	स्थापना/उपयोग
GitHub स्रोत कोड	गिट क्लोन → कोंडा क्रिएट → पिप इंस्टाल → डाउनलोड वेट → पायथन ऐप.पी

HuggingFace (Yabo/FramePainter) से पूर्व-प्रशिक्षित वज़न को चेकपॉइंट/निर्देशिका में डाउनलोड करें। अनुमान के दौरान, स्टेबिलिटीएआई/स्टेबल-वीडियो-डिफ्यूजन-आईएमजी2वीआईडी-एक्सटी-1-1 स्वचालित रूप से बेस मॉडल के रूप में डाउनलोड हो जाता है।

उत्पाद का मूल्य निर्धारण

प्रोजेक्ट	लागत
सॉफ्टवेयर लाइसेंसिंग	मुफ़्त (एमआईटी लाइसेंस)
पूर्व-प्रशिक्षित वजन	निःशुल्क (हगिंगफेस)
व्यावसायिक उपयोग	अनुमति प्राप्त (एमआईटी लाइसेंस)
क्लाउड सेवा	कोई आधिकारिक क्लाउड सेवा नहीं, आपको इसे स्थानीय रूप से तैनात करने की आवश्यकता है

अनुप्रयोग परिदृश्य

• इंटरएक्टिव इमेज डिजाइन और क्रिएटिव एडिटिंग: डिजाइनर पारंपरिक सॉफ्टवेयर में जटिल मास्किंग और लेयर ऑपरेशंस को खत्म करते हुए, छवि संरचना को जल्दी से समायोजित करने, वस्तुओं को बदलने और शैलियों को बदलने के लिए स्केच का उपयोग करते हैं।
• विज्ञापन और विपणन दृश्य सामग्री उत्पादन: मार्केटिंग टीम ड्रैग एंड ड्रॉप और स्केच के माध्यम से विज्ञापन सामग्री के कई संस्करण तेजी से तैयार करती है, जिससे आवश्यकता से लेकर ड्राइंग तक की प्रक्रिया को मिनटों में छोटा कर दिया जाता है।
• फिल्म और टीवी पोस्ट-प्रोडक्शन और कॉन्सेप्ट डिजाइन: डोमेन के बाहर सामान्यीकरण करने की क्षमता इसे प्रशिक्षण डेटा द्वारा कवर नहीं किए गए रचनात्मक परिदृश्यों में भूमिका निभाने की अनुमति देती है, जो इसे मूवी स्टोरीबोर्ड और गेम कॉन्सेप्ट डिजाइन के लिए उपयुक्त बनाती है।

लागू लोग

• व्यक्तिगत उपयोगकर्ता: एआई शोधकर्ता और डेवलपर्स, संपूर्ण प्रशिक्षण और अनुमान कोड प्रदान करते हैं, जो इंटरैक्टिव छवि संपादन अनुसंधान के लिए आधारभूत प्रणाली के रूप में उपयुक्त है।
• एसएमई टीम: डिजाइनरों और रचनात्मक श्रमिकों को दृश्य समाधानों पर शीघ्रता से विचार करने की आवश्यकता है।
• बड़े उद्यम: उपयुक्त नहीं - व्यावसायिक-ग्रेड यूआई/यूएक्स पॉलिशिंग और ग्राहक सेवा समर्थन के बिना, पूरी तरह से अकादमिक परियोजनाएं।
• अनुपयुक्त सीमा: उत्पादन वातावरण जिसके लिए पिक्सेल-स्तरीय सटीक नियंत्रण की आवश्यकता होती है (जैसे प्रिंट फिनिशिंग); बैच प्रसंस्करण परिदृश्य जिनमें उच्च वास्तविक समय प्रदर्शन की आवश्यकता होती है; NVIDIA GPU के बिना उपयोगकर्ता।

प्रतिस्पर्धी उत्पादों की तुलना

आयामों की तुलना करें	फ़्रेमपेंटर	कंट्रोलनेट	ड्रैगगैन
मुख्य अंतर	वीडियो प्रसार पूर्व, डोमेन से बाहर सामान्यीकरण	सशर्त नियंत्रण पीढ़ी	संपादन खींचें और छोड़ें
कीमत	मुफ़्त (एमआईटी ओपन सोर्स)	मुफ़्त (खुला स्रोत)	मुफ़्त (खुला स्रोत)
कवर सीन	इंटरैक्टिव संपादन, रचनात्मक डिज़ाइन	सशर्त पीढ़ी	आसन संपादन
उपयोगकर्ता मूल्यांकन	मजबूत सामान्यीकरण क्षमता	सटीक नियंत्रण	सहज बातचीत
तकनीकी सीमा	मध्यम (जीपीयू + इंस्टॉलेशन की आवश्यकता है)	मध्यम (जीपीयू की आवश्यकता है)	मध्यम (जीपीयू की आवश्यकता है)

सारांश और आउटलुक

फ़्रेमपेंटर "छवि-से-वीडियो पीढ़ी में छवि संपादन का पुनर्निर्माण" के प्रतिमान नवाचार को अपने मूल के रूप में लेता है, और इंटरैक्टिव छवि संपादन की प्रशिक्षण लागत को महत्वपूर्ण रूप से कम करने के लिए वीडियो प्रसार पूर्व का उपयोग करता है। डोमेन के बाहर सामान्यीकरण करने की क्षमता इसका मुख्य आकर्षण है।

खरीद/गोद लेने का जोखिम मूल्यांकन: फ़्रेमपेंटर एक विशुद्ध रूप से अकादमिक अनुसंधान परियोजना है जिसमें कोई व्यावसायीकरण टीम या उद्यम-स्तर का समर्थन नहीं है। कोड अपडेट और रखरखाव मूल लेखक के व्यक्तिगत समय पर निर्भर करते हैं, और कोई SLA प्रतिबद्धता नहीं है। उत्पादन परियोजनाओं में उपयोग के जोखिमों का मूल्यांकन करने, या किसी तीसरे पक्ष द्वारा इसे व्यावसायिक उत्पाद/सेवा में पैकेज करने की प्रतीक्षा करने की अनुशंसा की जाती है। |---|---| | उत्पाद प्रकार | स्केच-आधारित इंटरैक्टिव छवि संपादन उपकरण (अकादमिक ओपन सोर्स प्रोजेक्ट) | | प्लेटफार्म समर्थन | डेस्कटॉप (पायथन/पाइटोरच) | | पेपर प्रकाशन का समय | जनवरी 2025 (arXiv), ICCV 2025 में शामिल | | वर्तमान संस्करण | 1.0 (आईसीसीवी 2025 संगत संस्करण) | | मूल मॉडल | स्थिर वीडियो प्रसार (एसवीडी) | | कोर आर्किटेक्चर | विरल नियंत्रण एनकोडर + मिलान ध्यान | | इनपुट विधि | छवि + स्केच | | संकेत संपादित करें | ड्रा, क्लिक, ड्रैग और अन्य विज़ुअल इंटरैक्टिव ऑपरेशन | | लाइसेंस | एमआईटी लाइसेंस | | गिटहब स्टार्स | 406 (जुलाई 2026 तक) | | आलिंगनचेहरे का वजन | याबो/फ़्रेमपेंटर |

फ़्रेमपेंटर हार्बिन इंस्टीट्यूट ऑफ टेक्नोलॉजी (HIT) और हुआवेई के नूह के आर्क प्रयोगशाला द्वारा संयुक्त रूप से प्रस्तावित ICCV 2025 में शामिल कागजात का आधिकारिक कार्यान्वयन है। यह एक वाणिज्यिक SaaS उत्पाद नहीं है, बल्कि एक खुला स्रोत अकादमिक अनुसंधान परियोजना है - इंटरैक्टिव छवि संपादन को "छवि से वीडियो पीढ़ी" समस्या के रूप में फिर से परिभाषित करना, जिससे वीडियो प्रसार मॉडल की शक्तिशाली अस्थायी पूर्व क्षमताओं को विरासत में मिला है। मुख्य अंतर्दृष्टि यह है कि वीडियो डेटा में स्वाभाविक रूप से भौतिक संपर्क के तहत वस्तुओं की बदलती प्रक्रिया शामिल होती है। दो फ़्रेमों के बीच छवि संपादन को "छद्म वीडियो पीढ़ी" के रूप में मॉडलिंग करने से प्रशिक्षण लागत में काफी कमी आ सकती है और समय की स्थिरता सुनिश्चित हो सकती है।

उपयोगकर्ता और बाज़ार की पहचान

फ़्रेमपेंटर ने अकादमिक समुदाय और एआई छवि संपादन के क्षेत्र में व्यापक ध्यान आकर्षित किया है:

• शैक्षणिक मान्यता: पेपर को ICCV 2025 द्वारा स्वीकार किया गया और इंटरैक्टिव छवि संपादन की दिशा में अग्रणी SOTA परिणाम प्राप्त हुए। पिछले तरीकों की तुलना में, फ़्रेमपेंटर काफी कम प्रशिक्षण डेटा के साथ बेहतर संपादन गुणवत्ता और सामान्यीकरण क्षमताएं प्राप्त करता है।
• ओपन सोर्स कम्युनिटी: गिटहब को 406 स्टार प्राप्त हुए (जुलाई 2026 तक), हगिंगफेस पर पूर्ण पूर्व-प्रशिक्षित वेट प्रदान किए जाते हैं, और सामुदायिक डेवलपर्स स्वतंत्र रूप से डाउनलोड और तैनात कर सकते हैं।
• मीडिया कवरेज: आर्ट वीकली और केडीजिंगपाई जैसी कई एआई टूल एकत्रीकरण साइटों द्वारा शामिल और रिपोर्ट किया गया।
• तकनीकी प्रभाव: "छवि-से-वीडियो पीढ़ी में छवि संपादन का पुनर्निर्माण" का प्रस्तावित तकनीकी विचार बाद के इंटरैक्टिव संपादन अनुसंधान के लिए एक नया प्रतिमान संदर्भ प्रदान करता है।

लागत लाभ

फ़्रेमपेंटर एक पूरी तरह से ओपन सोर्स प्रोजेक्ट (एमआईटी लाइसेंस) है जिसका उपयोग करने की लागत शून्य है।

• सॉफ्टवेयर लागत: कोई सदस्यता या लाइसेंस शुल्क की आवश्यकता नहीं है। कोड को GitHub से स्वतंत्र रूप से क्लोन किया गया है और पूर्व-प्रशिक्षित वज़न HuggingFace से स्वतंत्र रूप से डाउनलोड किया गया है।
• हार्डवेयर लागत: अनुमान को चलाने के लिए NVIDIA GPU (अनुशंसित वीडियो मेमोरी ≥ 8GB) वाला कंप्यूटर आवश्यक है। क्लाउड सेवा भुगतान-प्रति-उपयोग वाणिज्यिक छवि संपादन टूल की तुलना में, भारी उपयोग किए जाने पर स्थानीय तैनाती की सीमांत लागत शून्य तक पहुंच जाती है।
• प्रशिक्षण लागत: पेपर बताता है कि पहले स्थिर वीडियो डिफ्यूजन के वीडियो प्रसार के उपयोग के कारण, फ़्रेमपेंटर की प्रशिक्षण डेटा मात्रा और कम्प्यूटेशनल लागत टेक्स्ट-टू-इमेज प्रसार मॉडल के आधार पर पिछले तरीकों की तुलना में बहुत कम है - यह इसके मुख्य लागत लाभ का स्रोत है।

मुख्य कार्य

• स्केच-आधारित संपादन: उपयोगकर्ता संपादन के इरादे को निर्दिष्ट करने के लिए छवि पर एक स्केच बनाता है (जैसे कि ऑब्जेक्ट का आकार बदलना, मुद्रा को समायोजित करना, स्थानीय सामग्री को बदलना), और फ़्रेमपेंटर स्वचालित रूप से स्केच के शब्दार्थ को समझता है और एक छवि बनाता है जो संपादन निर्देशों के अनुरूप होती है। स्केच की मोटाई, स्थिति और आकार सीधे संपादन परिणामों को प्रभावित करते हैं, और बातचीत सहज होती है और इसके लिए सटीक मास्किंग की आवश्यकता नहीं होती है।
• क्लिक-आधारित संपादन: क्लिक संचालन के माध्यम से संपादन क्षेत्र और लक्ष्य निर्दिष्ट करने का समर्थन करता है, जो छवि की स्थानीय सामग्री को शीघ्रता से समायोजित करने के लिए उपयुक्त है। पॉइंट-एंड-क्लिक ऑपरेशन स्केचिंग की तुलना में तेज़ हैं और सरल प्रतिस्थापन और मरम्मत कार्यों के लिए उपयुक्त हैं।
• खींचें-आधारित संपादन: उपयोगकर्ता वस्तु की मुद्रा, आकार या स्थिति में परिवर्तन को नियंत्रित करने के लिए छवि में मुख्य बिंदुओं को खींचते हैं। ऑप्टिकल प्रवाह पर आधारित ड्रैग-एंड-ड्रॉप संपादन से अलग, फ़्रेमपेंटर वीडियो प्रसार के माध्यम से वस्तुओं के आंदोलन पैटर्न को प्राथमिक रूप से समझता है, और उत्पन्न विरूपण अधिक प्राकृतिक है।
• डोमेन से बाहर सामान्यीकरण: यह फ़्रेमपेंटर का मुख्य आकर्षण है - पहले वीडियो प्रसार का उपयोग करके, मॉडल अभी भी उन संपादन परिदृश्यों में उचित परिणाम उत्पन्न कर सकता है जो प्रशिक्षण डेटा में दिखाई नहीं दिए हैं। उदाहरण के लिए, क्लाउनफ़िश को शार्क के आकार में बदलना, परावर्तक प्रकाश प्रभाव जोड़ना जो मूल रूप से एक कप में मौजूद नहीं था, आदि पारंपरिक संपादन की सीमाओं से परे रचनात्मकता को प्रदर्शित करते हैं।
• मिलान ध्यान: बड़े आंदोलनों को संसाधित करने में अस्थायी ध्यान की सीमाओं को ध्यान में रखते हुए, ग्रहणशील क्षेत्र का विस्तार करने और संपादित छवि और स्रोत छवि टोकन के बीच घने पत्राचार को बढ़ाने के लिए एक मिलान ध्यान परत का प्रस्ताव किया गया है, जिससे सामग्री और संरचना में संपादन परिणामों की सुसंगतता सुनिश्चित हो सके।

मॉडल और संस्करण विकास

संस्करण	समय	मुख्य परिवर्तन
arXiv v1	2025-01-14	पेपर पहली बार (2501.08225) जारी किया गया, जिससे तकनीकी योजना, प्रयोगात्मक परिणाम और कोड का हिस्सा सार्वजनिक हो गया
v1.0 (आईसीसीवी 2025)	~2025-01	संपूर्ण अनुमान डेमो जारी किया गया, पूर्व-प्रशिक्षित वजन हगिंगफेस पर अपलोड किया गया, संपूर्ण संपादन प्रक्रिया का समर्थन किया गया

जनवरी 2025 में पेपर पहली बार सार्वजनिक होने के बाद, पूरा अनुमान कोड और प्री-ट्रेनिंग वेट उसी महीने में जारी किया गया था। ICCV 2025 की आधिकारिक स्वीकृति के बाद कोई नया कोड संस्करण जारी नहीं किया जाएगा। वर्तमान वेयरहाउस आधिकारिक तौर पर पेपर द्वारा लागू किया गया स्थिर संस्करण है।

तकनीकी लाभ

• समस्या पुनर्निर्माण प्रतिमान: फ़्रेमपेंटर का मुख्य तकनीकी नवाचार इंटरैक्टिव छवि संपादन को "छवि-से-वीडियो पीढ़ी" समस्या के रूप में फिर से परिभाषित करना है। पारंपरिक विधियाँ संपादन को एक सशर्त छवि निर्माण कार्य के रूप में मानती हैं, जिसमें भौतिक गतिशीलता सीखने के लिए बड़ी मात्रा में युग्मित प्रशिक्षण डेटा और अतिरिक्त संदर्भ एनकोडर की आवश्यकता होती है; फ्रेमपेंटर, स्थिर वीडियो डिफ्यूजन से पहले मौजूदा वीडियो डिफ्यूजन को इनहेरिट करके, स्वाभाविक रूप से गति में वस्तुओं के बदलते पैटर्न को समझता है, जिससे प्रशिक्षण लागत और युग्मित डेटा की मात्रा पर निर्भरता काफी कम हो जाती है।
• हल्के विरल नियंत्रण एनकोडर: कंट्रोलनेट जैसे संपूर्ण यू-नेट एनकोडर को डुप्लिकेट करने के बजाय संपादन संकेतों (स्केच, क्लिक, ड्रैग इत्यादि) को इंजेक्ट करने के लिए केवल हल्के विरल नियंत्रण एनकोडर का परिचय दें। यह मॉडल को न्यूनतम नए पैरामीटर जोड़ते हुए और प्रशिक्षण और अनुमान को अधिक कुशल बनाते हुए एसवीडी की बुनियादी क्षमताओं को बनाए रखने की अनुमति देता है।
• मिलान ध्यान: मानक अस्थायी ध्यान तंत्र में दो फ़्रेमों के बीच बड़े आंदोलनों से निपटने के दौरान एक सीमित ग्रहणशील क्षेत्र होता है, जिससे आसानी से असंगत संपादन हो सकता है। ध्यान का मिलान क्रॉस-अटेंशन में खोज के दायरे का विस्तार करके संपादित छवियों और स्रोत छवि टोकन के बीच सघन बिंदु-दर-बिंदु पत्राचार स्थापित करता है, जब ऑब्जेक्ट पोज़ या आकार में भारी बदलाव होता है तब भी सामग्री सुसंगतता बनाए रखता है।
• मल्टी-मोडल एडिटिंग सिग्नल का एकीकरण: एक ही आर्किटेक्चर एक ही समय में स्केचिंग, क्लिकिंग और ड्रैगिंग जैसे कई इंटरैक्शन तरीकों का समर्थन करता है, जिससे अलग-अलग इंटरैक्शन सिग्नल के लिए अलग-अलग मॉडल को प्रशिक्षित करने की आवश्यकता समाप्त हो जाती है। यह एकीकृत ढाँचा विभिन्न संपादन विधियों को संयोजित करना संभव बनाता है (जैसे कि पहले रूपरेखा को स्केच करना और फिर स्थिति को समायोजित करने के लिए खींचना)।
• डोमेन से बाहर सामान्यीकरण क्षमता: पूर्व वीडियो प्रसार में निहित समृद्ध भौतिक विश्व ज्ञान के लिए धन्यवाद, फ्रेमपेंटर अभी भी प्रशिक्षण डेटा (जैसे मछली को शार्क आकार में बदलना) द्वारा कवर नहीं किए गए संपादन परिदृश्यों में दृश्यमान रूप से उचित परिणाम उत्पन्न कर सकता है, जो पहले शुद्ध छवि प्रसार मॉडल के साथ हासिल करना मुश्किल था।

का उपयोग कैसे करें

फ़्रेमपेंटर एक ओपन सोर्स प्रोजेक्ट है जो स्थानीय रूप से चलता है और इसके लिए किसी खाता पंजीकरण या सशुल्क सदस्यता की आवश्यकता नहीं होती है।

तैयारी

# क्लोन रिपोजिटरी
गिट क्लोन https://github.com/YBYBZhang/FramePainter.git
सीडी फ़्रेमपेंटर

#कोंडा संदर्भ बनाएं
कोंडा क्रिएट -एन फ्रेमपेंटर पायथन=3.10
कोंडा फ्रेमपेंटर को सक्रिय करें

# निर्भरता स्थापित करें
पिप इंस्टॉल -आर आवश्यकताएँ.txt

वजन डाउनलोड करें

HuggingFace से पूर्व-प्रशिक्षित वज़न डाउनलोड करें और उन्हें चेकपॉइंट/ निर्देशिका में रखें। अनुमान के दौरान, app.py स्वचालित रूप से बेस मॉडल के रूप में stabilityai/stable-video-dif Fusion-img2vid-xt-1-1 डाउनलोड करेगा।

रन अनुमान

Pythonapp.py

स्टार्टअप के बाद, आप चित्र अपलोड कर सकते हैं, रेखाचित्र बना सकते हैं और इंटरैक्टिव इंटरफ़ेस में वास्तविक समय में संपादन प्रभावों का पूर्वावलोकन कर सकते हैं। विस्तृत निर्देशों के लिए, कृपया GitHub वेयरहाउस README और पेपर का मूल पाठ देखें।

उत्पाद का मूल्य निर्धारण

फ़्रेमपेंटर पूरी तरह से खुला स्रोत (एमआईटी लाइसेंस) है, बिना किसी भुगतान के।

प्रोजेक्ट	लागत
सॉफ्टवेयर लाइसेंस	मुफ़्त (एमआईटी ओपन सोर्स)
पूर्व-प्रशिक्षित वजन	निःशुल्क (हगिंगफेस डाउनलोड)
व्यावसायिक उपयोग	अनुमति प्राप्त (एमआईटी लाइसेंस)
सदस्यता/क्लाउड सेवा	कोई आधिकारिक क्लाउड सेवा नहीं, इसे स्थानीय रूप से तैनात करने की आवश्यकता है

हार्डवेयर के संदर्भ में, आपको अपना स्वयं का NVIDIA GPU लाना होगा। यदि आप इसे ऑनलाइन अनुभव करना चाहते हैं, तो आप समुदाय (अनौपचारिक रखरखाव) द्वारा तैनात तीसरे पक्ष के डेमो पर ध्यान दे सकते हैं।

अनुप्रयोग परिदृश्य

• इंटरएक्टिव इमेज डिज़ाइन और क्रिएटिव एडिटिंग: डिज़ाइनर छवि संरचना को त्वरित रूप से समायोजित करने, वस्तुओं को बदलने और शैलियों को बदलने के लिए स्केच का उपयोग करते हैं। फ़्रेमपेंटर का सहज स्केच इंटरैक्शन पारंपरिक सॉफ़्टवेयर में पाए जाने वाले जटिल मास्किंग और परत हेरफेर को समाप्त करता है, जिससे रचनात्मक पुनरावृत्ति अधिक कुशल हो जाती है। मिलान ध्यान तंत्र यह सुनिश्चित करता है कि व्यापक संपादन के बाद भी छवि सामग्री सुसंगत बनी रहे।
• विज्ञापन और विपणन दृश्य सामग्री उत्पादन: मार्केटिंग टीम ड्रैग और ड्रॉप के माध्यम से विज्ञापन सामग्री के कई संस्करण जल्दी से तैयार करती है (जैसे उत्पाद पैकेजिंग को बदलना, मॉडल मुद्राओं को समायोजित करना, पृष्ठभूमि बदलना)। चूंकि प्रशिक्षण डेटा की कोई आवश्यकता नहीं है, आप सीधे तैयार मानचित्र पर काम कर सकते हैं, और अनुरोध से मानचित्र उत्पादन तक का समय मिनटों में कम हो जाता है।
• फिल्म और टेलीविजन पोस्ट-प्रोडक्शन और कॉन्सेप्ट डिजाइन: फिल्म और टेलीविजन पोस्ट-प्रोडक्शन कर्मी वैचारिक डिजाइन चरण के दौरान लेंस प्रभावों के पूर्वावलोकन जल्दी तैयार करते हैं। फ़्रेमपेंटर की आउट-ऑफ़-डोमेन सामान्यीकरण क्षमता इसे प्रशिक्षण डेटा (जैसे ऐतिहासिक दृश्यों में गैर-यथार्थवादी तत्वों को जोड़ना) द्वारा कवर नहीं किए गए रचनात्मक परिदृश्यों में भूमिका निभाने की अनुमति देती है, जो इसे मूवी स्टोरीबोर्ड और गेम कॉन्सेप्ट डिज़ाइन के लिए उपयुक्त बनाती है।
• अकादमिक अनुसंधान और एल्गोरिथम सत्यापन: ICCV 2025 पेपर के आधिकारिक ओपन सोर्स कार्यान्वयन के रूप में, फ़्रेमपेंटर कंप्यूटर विज़न शोधकर्ताओं को सीधे चलने योग्य इंटरैक्टिव संपादन बेसलाइन प्रणाली प्रदान करता है। इसके आधार पर बाद के शोध में सुधार और तुलनात्मक प्रयोग किए जा सकते हैं।

लागू लोग

• एआई छवि संपादन शोधकर्ता और डेवलपर्स: फ़्रेमपेंटर संपूर्ण प्रशिक्षण और अनुमान कोड प्रदान करता है और इंटरैक्टिव छवि संपादन अनुसंधान के लिए आधारभूत प्रणाली के रूप में उपयुक्त है। पेपर में विधि डिज़ाइन और एब्लेशन प्रयोग बाद के सुधारों के लिए एक स्पष्ट संदर्भ प्रदान करते हैं।
• पेशेवर डिज़ाइनर और रचनात्मक कार्यकर्ता: ऐसे डिज़ाइनर जिन्हें संपादन सटीकता पर बहुत अधिक मांग किए बिना दृश्य समाधानों पर शीघ्रता से काम करने की आवश्यकता होती है। स्केचिंग और ड्रैगिंग इंटरैक्शन पारंपरिक उपकरणों के सटीक मास्किंग ऑपरेशन की तुलना में तेज़ और अधिक प्रत्यक्ष हैं, जो उन्हें रचनात्मक चरण में अवधारणा अन्वेषण के लिए उपयुक्त बनाते हैं।
• एआई पेंटिंग और प्रौद्योगिकी उत्साही: एआई उत्साही जो नवीनतम आईसीसीवी पेपर परिणामों को समझना और उनका उपयोग करना चाहते हैं। स्थानीय परिनियोजन प्रक्रिया स्पष्ट है (कोंडा + पिप + वेट डाउनलोड), और आप NVIDIA GPU के साथ SOTA इंटरैक्टिव संपादन प्रभाव का अनुभव कर सकते हैं।
• भीड़ के लिए उपयुक्त नहीं: उत्पादन स्थितियाँ जिनमें पिक्सेल-स्तरीय सटीक नियंत्रण की आवश्यकता होती है (जैसे कि प्रिंट फिनिशिंग) प्रसार मॉडल पर आधारित संपादन टूल का उपयोग करने के लिए उपयुक्त नहीं हैं; जिन परिदृश्यों में सख्त वास्तविक समय की आवश्यकताएं होती हैं (जैसे बैच स्वचालित प्रसंस्करण पाइपलाइन) उन्हें समय लेने वाले अनुमान पर विचार करने की आवश्यकता होती है; बिना NVIDIA GPU हार्डवेयर वाले उपयोगकर्ता इसे स्थानीय रूप से नहीं चला सकते। इसके अतिरिक्त, एक शोध परियोजना के रूप में, फ्रेमपेंटर व्यावसायिक स्तर के यूआई/यूएक्स पॉलिश और ग्राहक सहायता के साथ नहीं आता है।

सारांश और आउटलुक

अपने मूल के रूप में "छवि-से-वीडियो पीढ़ी में छवि संपादन का पुनर्निर्माण" के प्रतिमान नवाचार के साथ, फ्रेमपेंटर इंटरैक्टिव छवि संपादन की प्रशिक्षण लागत को काफी कम करने से पहले स्थिर वीडियो डिफ्यूजन के वीडियो प्रसार का लाभ उठाता है, और विरल नियंत्रण एनकोडर और मिलान ध्यान तंत्र के माध्यम से उच्च गुणवत्ता वाले मल्टी-मोडल संपादन प्रभाव प्राप्त करता है। इसकी आउट-ऑफ-डोमेन सामान्यीकरण क्षमता एक प्रमुख विशेषता है जो इसे पिछले तरीकों से अलग करती है - यह अभी भी प्रशिक्षण डेटा द्वारा कवर नहीं किए गए संपादन परिदृश्यों में उचित दृश्य परिणाम उत्पन्न कर सकती है।

अनुपयुक्त सीमा: उत्पादन परिदृश्य जिनमें पिक्सेल-स्तरीय सटीक नियंत्रण, उच्च वास्तविक समय आवश्यकताओं के साथ बैच प्रसंस्करण परिदृश्य और NVIDIA GPU के बिना उपयोगकर्ता समूह की आवश्यकता होती है। खरीद/गोद लेने का जोखिम: फ़्रेमपेंटर एक विशुद्ध रूप से अकादमिक अनुसंधान परियोजना है जिसमें कोई व्यावसायीकरण टीम या उद्यम-स्तर का समर्थन नहीं है; कोड अद्यतन और रखरखाव मूल लेखक के व्यक्तिगत समय पर निर्भर करते हैं, और कोई SLA प्रतिबद्धता नहीं है; यह अनुशंसा की जाती है कि उत्पादन परियोजनाओं में उपयोग के जोखिमों का मूल्यांकन किया जाए, या किसी तीसरे पक्ष द्वारा इसे व्यावसायीकरण योग्य उत्पाद/सेवा में पैकेज करने की प्रतीक्षा की जाए।

संबंधित उपकरण: <एक्सलिंक टाइप='टूल' स्लग='मिडजर्नी'>, <एक्सलिंक टाइप='टूल' स्लग='स्थिर-प्रसार'>

संस्करण जानकारी

• ICCV 2025 आधिकारिक संस्करण ：ICCV 2025 में पेपर का संबंधित संस्करण शामिल है, स्केच-आधारित इंटरैक्टिव छवि संपादन का समर्थन करता है, और स्थिर वीडियो डिफ्यूजन और हल्के विरल नियंत्रण एनकोडर पर आधारित है। अभी तक कोई आधिकारिक सटीक रिलीज़ डेट नहीं है। （~2025-01）
• arXiv प्रीप्रिंट ：तकनीकी समाधान और प्रयोगात्मक परिणामों का खुलासा करते हुए पेपर को पहली बार arXiv (2501.08225) पर प्रकाशित किया गया था। （2025-01-14）