सूखी घास का ढेर
मुफ्त
हेस्टैक डीपसेट का ओपन सोर्स एलएलएम एप्लिकेशन निर्माण ढांचा है। यह मॉड्यूलर पाइपलाइन डिज़ाइन प्रदान करता है और उत्पादन-स्तर के AI अनुप्रयोगों जैसे RAG, खोज-संवर्धित Q&A और संवाद प्रणालियों के विकास का समर्थन करता है।
भूसे का ढेर
मुख्य पैरामीटर और आँकड़े
| पैरामीटर्स | विवरण |
|---|---|
| ओपन सोर्स लाइसेंस | अपाचे 2.0 |
| गिटहब स्टार्स | 19,000+ (जून 2026) |
| समर्थित भाषाएँ | पायथन 3.9+ |
| कोर आर्किटेक्चर | घोषणात्मक पाइपलाइन + घटक नोड्स |
| प्रमुख एकीकरण | ओपनएआई, एंथ्रोपिक, कोहेयर, हगिंगफेस, इलास्टिकसर्च, वीविएट, पाइनकोन, क्रोमा, क्यूड्रेंट |
| परिनियोजन विधि | स्थानीय/क्लाउड होस्टिंग/कंटेनरीकृत |
हेस्टैक 2 पाइपलाइन परिभाषाओं को कॉन्फ़िगरेशन फ़ाइलों से शुद्ध पायथन प्रकार एनोटेशन घोषणाओं में अपग्रेड करता है, और स्वचालित रूप से टाइप सिस्टम के माध्यम से घटकों के बीच कनेक्शन सत्यापन पूरा करता है, जिससे जटिल आरएजी पाइपलाइनों की डिबगिंग सीमा काफी कम हो जाती है। प्रत्येक घटक का स्वतंत्र रूप से परीक्षण और प्रतिस्थापन किया जा सकता है, जिससे यह उन इंजीनियरिंग टीमों के लिए अनुकूल हो जाता है जिन्हें शीघ्रता से पुनरावृत्त करने की आवश्यकता होती है।
उपयोगकर्ता और बाज़ार की पहचान
हेस्टैक वर्तमान में पायथन पारिस्थितिकी तंत्र में सबसे व्यापक रूप से उपयोग किए जाने वाले आरएजी और क्यू एंड ए फ्रेमवर्क में से एक है। GitHub पर इसके 19,000 से अधिक सितारे हैं, और npm पर इसके साप्ताहिक डाउनलोड हजारों की संख्या में स्थिर हैं। लुफ्थांसा, एक्सेंचर, एनवीआईडीआईए, एडब्ल्यूएस और एयरबस जैसी बड़ी कंपनियां अपनी आधिकारिक वेबसाइटों पर सहयोग या उपयोग के मामले प्रदर्शित करती हैं। डीपसेट क्लाउड प्लेटफ़ॉर्म डीपसेट क्लाउड का एक एंटरप्राइज़ संस्करण भी प्रदान करता है, जिसने कई यूरोपीय वित्तीय और विनिर्माण ग्राहकों को सेवा प्रदान की है।
सामुदायिक पारिस्थितिकी के संदर्भ में, हेस्टैक आधिकारिक तौर पर 60 से अधिक एकीकृत घटकों (एकीकरण) का रखरखाव करता है, जिसमें मुख्यधारा के एलएलएम प्रदाता, वेक्टर डेटाबेस और दस्तावेज़ प्रसंस्करण उपकरण और 150 से अधिक तृतीय-पक्ष योगदान वाले प्लग-इन शामिल हैं।
लागत लाभ
सी-साइड/व्यक्तिगत डेवलपर्स: हेस्टैक फ्रेमवर्क स्वयं पूरी तरह से खुला स्रोत और मुफ़्त है। पायथन पिप इंस्टाल हेस्टैक-एआई को बिना लाइसेंस शुल्क के इंस्टॉल किया जा सकता है। एलएलएम को कॉल करने की लागत कनेक्टेड मॉडल प्रदाता (जैसे ओपनएआई, एंथ्रोपिक) पर निर्भर करती है, और फ्रेमवर्क के लिए कोई अतिरिक्त शुल्क नहीं है।
एपीआई / सेल्फ-होस्टिंग: हगिंगफेस मॉडल या ओपन सोर्स एलएलएम (जैसे लामा 3, मिस्ट्रल) की स्थानीय तैनाती का समर्थन करता है, और स्थानीय वेक्टर स्टोरेज (क्रोमा, एफएआईएसएस) के साथ शून्य बाहरी एपीआई शुल्क के साथ एक पूर्ण आरएजी लिंक प्राप्त कर सकता है, जो उन टीमों के लिए उपयुक्त है जो डेटा गोपनीयता के प्रति संवेदनशील हैं।
एंटरप्राइज़/डीपसेट क्लाउड: डीपसेट, डीपसेट क्लाउड का एक होस्टेड संस्करण प्रदान करता है, जिसमें एक विज़ुअल पाइपलाइन डिज़ाइनर, टीम अनुमति प्रबंधन और एंटरप्राइज़-स्तरीय एसएलए शामिल है। मूल्य निर्धारण आधिकारिक पेज पर आधारित है। व्यावसायिक कोटेशन के लिए कृपया हमसे संपर्क करें। स्व-होस्टिंग की तुलना में, बुनियादी ढांचे के संचालन और रखरखाव की लागत को बचाया जा सकता है।
मुख्य कार्य
- मॉड्यूलर आरएजी पाइपलाइन: घोषणात्मक घटक संयोजन के माध्यम से "दस्तावेज़ विभाजन → वेक्टरीकरण → पुनर्प्राप्ति → पुनर्व्यवस्था → पीढ़ी" पूर्ण लिंक को पूरा करें, और प्रत्येक नोड को स्वतंत्र रूप से बदला जा सकता है।
- मल्टी-वेक्टर स्टोरेज सपोर्ट: अतिरिक्त अनुकूलन परतों की आवश्यकता के बिना इलास्टिक्सर्च, वीविएट, क्यूड्रेंट, पाइनकोन, क्रोमा, एफएआईएसएस आदि का मूल एकीकरण।
- एकाधिक एलएलएम प्रदाता: ओपनएआई, एंथ्रोपिक क्लाउड, कोहेयर, हगिंगफेस इंफ्रेंस, स्थानीय वीएलएलएम, आदि से जुड़ने के लिए एकीकृत इंटरफ़ेस।
- दस्तावेज़ प्रसंस्करण उपकरण श्रृंखला: अंतर्निहित पीडीएफ, वर्ड, एचटीएमएल, मार्कडाउन दस्तावेज़ पार्सर, ब्लॉक रणनीति कॉन्फ़िगरेशन का समर्थन करता है (वाक्य/पैराग्राफ/टोकन की निश्चित संख्या द्वारा)।
- डायलॉग एजेंट: मल्टी-राउंड डायलॉग एजेंट बनाने के लिए फ़ंक्शन कॉलिंग और टूल उपयोग का समर्थन करता है, जिसका उपयोग आरएजी पुनर्प्राप्ति के साथ संयोजन में किया जा सकता है।
- एसिंक्रोनस घटक: हेस्टैक 2 मूल रूप से एसिंक घटकों का समर्थन करता है, जिसके परिणामस्वरूप उच्च-समवर्ती तर्क परिदृश्यों में कम विलंबता होती है।
- विज़ुअल डिबगिंग: समस्या निवारण नोड कनेक्शन तर्क की सुविधा के लिए पाइपलाइन संरचना को मरमेड आरेख के रूप में निर्यात किया जा सकता है।
मॉडल और संस्करण विकास
हेस्टैक 1.x (2020-2024)
पहली पीढ़ी का आर्किटेक्चर चार प्रकार की वस्तुओं (पाइपलाइन, डॉक्यूमेंटस्टोर, रिट्रीवर और रीडर) के आसपास बनाया गया है और यह YAML कॉन्फ़िगरेशन-संचालित है। इसे आरंभ करना आसान है लेकिन इसकी मापनीयता सीमित है। मुख्य स्टोरेज बैकएंड के रूप में इलास्टिक्स खोज, FAISS का समर्थन करें।
हेस्टैक 2 (आधिकारिक तौर पर 2024 की शुरुआत में जारी)
व्यापक रिफैक्टरिंग, वाईएएमएल कॉन्फ़िगरेशन से पायथन टाइप एनोटेशन डिक्लेरेटिव एपीआई में माइग्रेट करना, एक प्रमुख संस्करण अपग्रेड है जो बैकवर्ड संगत नहीं है। मुख्य परिवर्तन:
- घटक प्रथम श्रेणी के नागरिक बनते हैं और कस्टम इनपुट/आउटपुट प्रकारों का समर्थन करते हैं
- पाइप्स को JSON/YAML में क्रमबद्ध किया जा सकता है या शुद्ध पायथन में परिभाषित किया जा सकता है
- अतुल्यकालिक घटक अंतर्निहित हैं, किसी अतिरिक्त पैकेजिंग की आवश्यकता नहीं है
- मल्टी-मोडल इनपुट (पाठ + छवि) समर्थन
डीपसेट क्लाउड (होस्टिंग प्लेटफॉर्म)
एक एंटरप्राइज़ क्लाउड सेवा जो ओपन सोर्स संस्करण से स्वतंत्र है और एक विज़ुअल पाइपलाइन डिज़ाइनर और उत्पादन परिनियोजन क्षमताएं प्रदान करती है। संस्करण पुनरावृत्ति ओपन सोर्स बैकबोन से स्वतंत्र है।
तकनीकी लाभ
घटक-स्तरीय प्रकार की जाँच: हेस्टैक 2 पाइपलाइन कनेक्शन के दौरान स्थैतिक सत्यापन करने के लिए पायथन प्रकार के एनोटेशन का उपयोग करता है। यह चलाने से पहले इनपुट और आउटपुट प्रकार के बेमेल को पकड़ सकता है और उत्पादन वातावरण में छिपी त्रुटियों को कम कर सकता है - यह एक ऐसी क्षमता है जो अधिकांश YAML ड्राइवर फ्रेमवर्क में नहीं होती है।
समानांतर में एकाधिक पुनर्प्राप्ति रणनीतियाँ: एक ही पाइपलाइन में सघन पुनर्प्राप्ति (एएनएन) और विरल पुनर्प्राप्ति (बीएम25) को एक साथ चलाने का समर्थन करता है, और पारस्परिक रैंक फ़्यूज़न जैसे एल्गोरिदम के माध्यम से परिणामों को मर्ज करता है। स्मरण दर एकल रणनीति से बेहतर है, और लंबी-पूंछ वाले ज्ञान प्रश्नों के लिए विशेष रूप से प्रभावी है।
स्टोरेज-स्वतंत्र एब्स्ट्रैक्शन लेयर: डॉक्यूमेंटस्टोर एब्स्ट्रैक्शन लेयर ऊपरी स्तर के बिजनेस लॉजिक को बदले बिना, लॉक-इन के जोखिम को कम करते हुए, इलास्टिक्सर्च, वीविएट, क्रोमा आदि के बीच RAG कोड के समान सेट को स्विच करने में सक्षम बनाता है।
समुदाय-संचालित एकीकरण पारिस्थितिकी: आधिकारिक तौर पर बनाए रखा गया एकीकरण हब, एक एकल एकीकरण पैकेज स्वतंत्र रूप से जारी किया जाता है, और उपयोगकर्ता केवल "बड़े और व्यापक" ढांचे में निर्भरता संघर्षों से बचने के लिए आवश्यक निर्भरताएं स्थापित करते हैं।
कैसे उपयोग करें
त्वरित इंस्टालेशन (पायथन):
पाइप हेस्टैक-एआई स्थापित करेंबुनियादी आरएजी उदाहरण:
भूसे के ढेर से आयात पाइपलाइन
haystack.components.retrievers से InMemoryBM25Retriever आयात करें
haystack.components.generator से OpenAIGenerator आयात करें
पाइपलाइन = पाइपलाइन()
Pipeline.add_component("retriever", InMemoryBM25Retriever(document_store=...))
पाइपलाइन.add_component('llm', OpenAIGenerator(model='gpt-4o'))
पाइपलाइन.कनेक्ट('retriever.documents', 'llm.documents')प्रवेश विधि:
- GitHub: https://github.com/depset-ai/haystack - ओपन सोर्स कोड और इश्यू ट्रैकिंग
- आधिकारिक दस्तावेज़ीकरण: https://docs.haystack.depset.ai — एपीआई संदर्भ और ट्यूटोरियल
- डीपसेट क्लाउड: https://www.दीपसेट.एआई/डीपसेट-क्लाउड - एंटरप्राइज़ होस्टिंग प्लेटफ़ॉर्म, खाता पंजीकरण आवश्यक है
- एकीकरण हब: https://haystack.depset.ai/integrations - तृतीय-पक्ष एकीकरण निर्देशिका
उत्पाद का मूल्य निर्धारण
हेस्टैक ओपन सोर्स फ्रेमवर्क स्वयं मुफ़्त है (अपाचे 2.0) और इसके उपयोग पर कोई प्रतिबंध नहीं है। डीपसेट क्लाउड का एंटरप्राइज़ संस्करण व्यावसायिक समर्थन SLA गारंटी और विज़ुअलाइज़ेशन टूल प्रदान करता है। कीमत का खुलासा नहीं किया गया है और यह आधिकारिक वास्तविक समय पृष्ठ या व्यावसायिक पूछताछ के अधीन है।
अनुप्रयोग परिदृश्य
- एंटरप्राइज़ नॉलेज बेस प्रश्नोत्तर: आंतरिक पीडीएफ मैनुअल विकी और अनुबंध दस्तावेजों को डेटाबेस में वेक्टराइज़ करें, और आरएजी पाइपलाइन के माध्यम से सटीक प्राकृतिक भाषा पुनर्प्राप्ति और उत्तर प्राप्त करें, जो कानूनी, वित्तीय और विनिर्माण ज्ञान प्रबंधन के लिए उपयुक्त है।
- ग्राहक सेवा रोबोट: एक मल्टी-राउंड ग्राहक सेवा रोबोट बनाने के लिए संवादात्मक एजेंट और आरएजी पुनर्प्राप्ति को मिलाएं जो मतिभ्रम दर को कम करने के लिए उत्पाद दस्तावेजों को उद्धृत कर सकता है।
- शैक्षणिक साहित्य पुनर्प्राप्ति: बैच प्रक्रिया arXiv पेपर पीडीएफ, एक सिमेंटिक पुनर्प्राप्ति प्रणाली का निर्माण, और "विषय/कीवर्ड/प्रासंगिकता द्वारा" बहुआयामी प्रश्नों का समर्थन करती है।
- कोड दस्तावेज़ीकरण सहायक: नए सदस्यों की शुरुआत में तेजी लाने के लिए एक डेवलपर Q&A टूल बनाने के लिए कोड वेयरहाउस दस्तावेज़ों और README को वेक्टराइज़ करें।
- बहुभाषी सूचना निष्कर्षण: बहुभाषी एम्बेडिंग मॉडल (जैसे बहुभाषी-ई5) के साथ संयुक्त, बहुभाषी दस्तावेज़ सेट पर क्रॉस-भाषा प्रश्न और उत्तर लागू किया जाता है।
लागू लोग
- पायथन डेवलपर्स: जो डेवलपर्स पायथन से परिचित हैं, वे पिप के माध्यम से जल्दी से शुरुआत कर सकते हैं। नया DSL सीखने की कोई आवश्यकता नहीं है. घटक-आधारित डिज़ाइन अनुकूलन लागत को कम करता है।
- एआई इंजीनियर: उन टीमों के लिए पहली पसंद जिन्हें उत्पादन-स्तरीय आरएजी सिस्टम बनाने और पुनर्प्राप्ति सटीकता, पाइपलाइन रखरखाव और मल्टी-स्टोरेज समर्थन पर ध्यान केंद्रित करने की आवश्यकता है।
- एंटरप्राइज़ डेटा टीम: विज़ुअल डिज़ाइनर और परिचालन समर्थन प्राप्त करने के लिए डीपसेट क्लाउड का उपयोग करें, जो उन उद्यमों के लिए उपयुक्त है जो अपना स्वयं का बुनियादी ढांचा बनाने के इच्छुक नहीं हैं।
- सीमा के लिए उपयुक्त नहीं: जो उपयोगकर्ता पायथन से परिचित नहीं हैं, उन्हें आरंभ करने की लागत अधिक है; जिन टीमों को कम-कोड या बिना-कोड समाधान की आवश्यकता है, उन्हें डिफाई और फ़्लोवाइज जैसे विकल्पों पर विचार करना चाहिए; हेस्टैक 2, 1.x के साथ संगत नहीं है, और मौजूदा 1.x परियोजनाओं को स्थानांतरित करने की एक निश्चित लागत है।
सारांश और आउटलुक
हेस्टैक पायथन एलएलएम एप्लिकेशन इंजीनियरिंग के क्षेत्र में एक अत्यधिक परिपक्व ओपन सोर्स फ्रेमवर्क है। विशेष रूप से "उत्पादन-स्तर आरएजी पाइपलाइन रखरखाव" के आयाम में, यह अधिकांश समान समाधानों से बेहतर है - प्रकार की जांच, बहु-भंडारण अमूर्तता, अतुल्यकालिक समर्थन और एक समृद्ध एकीकरण पारिस्थितिकी तंत्र इसे उद्यम परियोजनाओं के लिए उपयुक्त बनाता है जिनके लिए दीर्घकालिक विकास की आवश्यकता होती है।
वर्तमान सीमाएँ: हेस्टैक 2 पुनर्निर्माण ने एक बेहतर इंजीनियरिंग नींव ला दी है, लेकिन दस्तावेज़ कवरेज और समुदाय प्रश्नोत्तरी घनत्व अभी भी लैंगचेन के साथ पकड़ बना रहा है; ऐसे परिदृश्यों के लिए जो सबसे सरल प्रोटोटाइप का अनुसरण करते हैं, इसका घटक डिज़ाइन वास्तव में प्रारंभिक कॉन्फ़िगरेशन की मात्रा में वृद्धि करेगा।
अनुवर्ती अवलोकन बिंदु: मल्टीमॉडल घटक परिपक्वता (छवि और पाठ हाइब्रिड आरएजी), एजेंट ढांचे के साथ गहरा एकीकरण (जैसे ओपनएआई असिस्टेंट एपीआई संगतता परत), और डीपसेट क्लाउड मूल्य निर्धारण पारदर्शिता में प्रगति।
कार्यान्वयन सुझाव: व्यक्तिगत डेवलपर्स और छोटी टीमों को ओपन सोर्स संस्करण के साथ शुरुआत करने और त्वरित सत्यापन के लिए क्रोमा या FAISS स्थानीय स्टोरेज का उपयोग करने की सलाह दी जाती है; एंटरप्राइज़ टीमों को उत्पादन परिनियोजन से पहले हेस्टैक 2 माइग्रेशन लागत (यदि 1.x से अपग्रेड किया जा रहा है) का मूल्यांकन करने और अनुबंध स्तर पर डीपसेट क्लाउड के डेटा रेजिडेंसी शर्तों और एसएलए स्तर की पुष्टि करने की आवश्यकता है।
संबंधित उपकरण: <एक्सलिंक प्रकार='टूल' स्लग='क्रूवाई'>, <एक्सलिंक प्रकार='टूल' स्लग='लैंगचेन'>
प्रतिस्पर्धी उत्पादों की तुलना
| तुलना आयाम | हेस्टैक | प्रतियोगी ए | प्रतियोगी बी |
|---|---|---|---|
| मुख्य अंतर | — | — | — |
| कीमत | — | — | — |
| लक्षित उपयोगकर्ता | — | — | — |
नोट: उपरोक्त तुलना उत्पाद की सार्वजनिक जानकारी पर आधारित है, और वास्तविक अंतर उपयोगकर्ता अनुभव पर आधारित हैं।
संस्करण जानकारी
- भूसे का ढेर 2 ：पूरी तरह से पुनर्निर्मित हेस्टैक 2, पायथन प्रकार के एनोटेशन पर आधारित एक घोषणात्मक पाइपलाइन डीएसएल पेश करता है, जो मूल रूप से अतुल्यकालिक घटकों, मल्टी-मोडल इनपुट और विज़ुअल डिबगिंग का समर्थन करता है; हेस्टैक 1.x के साथ पीछे की ओर संगत नहीं है।
- घास का ढेर 1 ：पहला आधिकारिक संस्करण चार घटकों के आसपास बनाया गया है: पाइपलाइन, डॉक्यूमेंटस्टोर, और रीडर/रिट्रीवर। यह मुख्यधारा के वेक्टर स्टोरेज बैकएंड जैसे इलास्टिक्सर्च, एफएआईएसएस और मिल्वस का समर्थन करता है, और एंटरप्राइज़ क्यूए सिस्टम में व्यापक रूप से उपयोग किया जाता है।
उपयोगकर्ता समीक्षाएं