ओपन सोर्स आरएजी नॉलेज बेस स्थानीय परिनियोजन नानी-स्तरीय ट्यूटोरियल: ओलामा + एनीथिंगएलएलएम निजीकरण प्रश्नोत्तर

🛒 गहन विकास पृष्ठभूमि के बिना संचालन और रखरखाव और व्यावसायिक कर्मियों के लिए, शून्य कोड के साथ एक निजी ज्ञान आधार बनाने पर एक संपूर्ण ट्यूटोरियल।

ट्यूटोरियल उद्देश्य

यह ट्यूटोरियल स्थानीय आरएजी ज्ञान आधार बनाने के लिए दो ओपन सोर्स घटकों का उपयोग करता है जिसका उपयोग दस्तावेजों, स्रोतों के साथ उत्तरों को अपलोड करके प्रश्नोत्तर के लिए किया जा सकता है, और ऑफ़लाइन चलाया जा सकता है:

• Ollama: स्थानीय स्तर पर बड़े मॉडल चलाने के लिए अनुमान सेवा।
• AnythingLLM: इंटरफ़ेस के साथ वन-स्टॉप नॉलेज बेस एप्लिकेशन (वेक्टर लाइब्रेरी और Q&A सहित)।

पूरी प्रक्रिया में कोड लिखने की कोई आवश्यकता नहीं है, और यह संचालन और रखरखाव, परिचालन और व्यावसायिक कर्मियों के लिए उपयुक्त है।

तैयारी चेकलिस्ट

• [ ] एक कंप्यूटर या सर्वर: 16जी मेमोरी या अधिक की अनुशंसा की जाती है; macOS/Linux/Windows स्वीकार्य हैं।
• [ ] कई परीक्षण दस्तावेज़ तैयार करें (पीडीएफ/वर्ड/टीएक्सटी/मार्कडाउन स्वीकार्य हैं)।
• [ ] नेटवर्क उपलब्ध है (मॉडल और सॉफ़्टवेयर को पहली बार डाउनलोड करने की आवश्यकता है, और उसके बाद ऑफ़लाइन उपयोग किया जा सकता है)।
• [ ] 8-20जी डिस्क स्थान आरक्षित करें (मॉडल आकार के आधार पर)।
• [ ] (वैकल्पिक) NVIDIA ग्राफ़िक्स कार्ड उत्तर देने की गति में उल्लेखनीय रूप से सुधार करता है।

संस्करण युक्ति: निम्नलिखित संस्करण संख्या, मॉडल आकार और डाउनलोड पता आधिकारिक वास्तविक समय पृष्ठ के अधीन हैं; मॉडल पुल कमांड ओलामा आधिकारिक मॉडल लाइब्रेरी के अधीन है।

चरण 1: ओलामा को स्थापित और कॉन्फ़िगर करें

संबंधित सिस्टम इंस्टॉलेशन पैकेज को डाउनलोड करने के लिए ओलामा की आधिकारिक वेबसाइट पर जाएं (मैकओएस के लिए सीधे एप्लिकेशन में खींचें; लिनक्स के लिए इंस्टॉलेशन स्क्रिप्ट का उपयोग करें; विंडोज के लिए इंस्टॉलेशन पैकेज का उपयोग करें)। स्थापना के बाद, सत्यापित करने के लिए टर्मिनल खोलें:

ओलामा--संस्करण

आम तौर पर संस्करण संख्या आउटपुट होगी, जैसे ओलामा संस्करण 0.x.x।

चरण 2: स्थानीय मॉडल खींचें

ज्ञानकोष के लिए दो मॉडलों की आवश्यकता होती है: एक उत्तर उत्पन्न करने के लिए और एक दस्तावेज़ को वेक्टराइज़ करने (एम्बेडिंग) के लिए। सबसे पहले संवाद मॉडल खींचें:

ओलामा पुल क्वेन2.5:7बी

फिर वैश्वीकरण मॉडल खींचें:

ओलामा पुल नॉमिक-एम्बेड-टेक्स्ट

सत्यापित करें कि मॉडल तैयार है:

ओलामा सूची

मॉडल आकार में बड़ा है, और नेटवर्क स्पीड के आधार पर इसे पहली बार खींचने में कुछ समय लग सकता है; मॉडल का नामकरण और उपलब्ध सूची आधिकारिक ओलामा रीयल-टाइम पेज के अधीन है।

चरण 3: कुछ भी एलएलएम स्थापित करें

AnythingLLM आधिकारिक वेबसाइट से डेस्कटॉप संस्करण इंस्टॉलेशन पैकेज डाउनलोड करें और इसे इंस्टॉल करें (macOS/Windows/Linux को सपोर्ट करता है)। पहली बार प्रारंभ करते समय, आप आरंभीकरण विज़ार्ड दर्ज करेंगे:

1. "स्थानीय वेक्टर लाइब्रेरी" प्रकार का चयन करें (अंतर्निहित LanceDB डिफ़ॉल्ट रूप से उपयोग किया जाता है, कोई अतिरिक्त स्थापना की आवश्यकता नहीं है)।
2. एलएलएम प्रदाता को ओलामा के रूप में चुनें।
3. ओलामा पता http://localhost:11434 भरें, और पिछले चरण में खींचे गए qwen2.5:7b का चयन करें।
4. एंबेडिंग प्रदाता को ओलामा और मॉडल को नोमिक-एम्बेड-टेक्स्ट के रूप में चुनें।

कॉन्फ़िगरेशन सहेजने के बाद, कनेक्शन पूरा हो गया है.

चरण 4: एक ज्ञानकोष बनाएं और दस्तावेज़ अपलोड करें

1. AnythingLLM के बाईं ओर "वर्कस्पेस" पर क्लिक करें और एक नया वर्कस्पेस बनाएं, जैसे कंपनी सिस्टम।
2. कार्यक्षेत्र दर्ज करें → "दस्तावेज़ अपलोड करें" और तैयार विभाजित दस्तावेज़ में खींचें।
3. "प्रक्रिया" पर क्लिक करें और वैश्वीकरण पूरा होने तक प्रतीक्षा करें।

वेक्टरीकरण सफल होने के बाद, प्रत्येक दस्तावेज़ एक "संसाधित" स्थिति प्रदर्शित करेगा, जो दर्शाता है कि यह खोज योग्य वेक्टर लाइब्रेरी में प्रवेश कर चुका है।

चरण 5: प्रश्नोत्तर प्रारंभ करें और पता लगाने की क्षमता सत्यापित करें

कार्यस्थान संवाद बॉक्स में एक प्रश्न दर्ज करें, जैसे "दस्तावेज़ीकरण के अनुसार, प्रतिपूर्ति प्रक्रिया में कितने चरण लगते हैं?"

अपेक्षित प्रदर्शन:

• उत्तर की सामग्री सामान्य शब्दों में बोलने के बजाय आपके द्वारा अपलोड किए गए दस्तावेज़ से आती है।
• उद्धृत स्रोत अंश उत्तर के नीचे प्रदर्शित किया गया है। आप मूल पाठ स्थान पर जाने के लिए क्लिक कर सकते हैं।

AnythingLLM की "चैट" सेटिंग खोलें और प्रत्येक उत्तर का स्रोत दिखाने के लिए "उद्धरण दिखाएं" चालू करें।

चरण 6: प्रभाव ट्यूनिंग

यदि उत्तर संतोषजनक नहीं है, तो क्रम से प्रयास करें:

1. चंकिंग को समायोजित करें: चंक आकार और ओवरलैप को AnythingLLM सेटिंग्स में कॉन्फ़िगर किया जा सकता है (चंक आकार 500-1000, ओवरलैप 50-100 होने की अनुशंसा की जाती है)।
2. एक मजबूत मॉडल में बदलें: ओलामा पुल क्वेन2.5:14बी या बड़ा मॉडल।
3. बेहतर वेक्टर मॉडल में बदलें: उच्च-आयामी एम्बेडिंग मॉडल का उपयोग करें और कॉन्फ़िगरेशन में स्विच करें।
4. अनुपूरक दस्तावेज़ीकरण: गायब ज्ञान को ज्ञानकोष में जोड़ें और इसे फिर से संसाधित करें।

चरण 7: शीघ्र शब्दों और उत्तर शैली को अनुकूलित करें

एनीथिंगएलएलएम आपको उत्तरों को टीम की टोन के लिए अधिक उपयुक्त बनाने के लिए सिस्टम प्रॉम्प्ट (सिस्टम प्रॉम्प्ट) को अनुकूलित करने की अनुमति देता है। उदाहरण के लिए, "चैट सेटिंग" में निम्नलिखित भरें:

आप कंपनी के ज्ञान सहायक हैं. केवल अपलोड किए गए दस्तावेज़ों के आधार पर उत्तर दें, मनगढ़ंत बातें न करें;
पहले निष्कर्ष और फिर आधार बताते हुए संक्षिप्त चीनी भाषा में उत्तर दें;
जब कोई सबूत नहीं मिलता है, तो यह स्पष्ट रूप से कहा जाता है कि "डेटाबेस में कोई प्रासंगिक सामग्री नहीं है।"

शीघ्र शब्दों को अनुकूलित करने से उत्तर अधिक "आपके जैसे" बन सकते हैं और यह मतिभ्रम को कम करने का एक प्रभावी साधन भी है।

चरण 8: डेटा बैकअप और अपग्रेड

• बैकअप: एनीथिंगएलएलएम (वेक्टर लाइब्रेरी और कॉन्फ़िगरेशन सहित) की डेटा निर्देशिका नियमित रूप से कॉपी की जाती है। इसे दैनिक बैकअप कार्य में शामिल करने की अनुशंसा की जाती है.
• अपग्रेड करें: अपग्रेड करने से पहले बैकअप लें, फिर सॉफ्टवेयर संस्करण को अपडेट करें और प्रश्नोत्तर को दोबारा सत्यापित करें।
• दस्तावेज़ अद्यतन: दस्तावेज़ की सामग्री बदलने के बाद, पुराने संस्करण को हटा दें और पुराने और नए संस्करणों के बीच टकराव से बचने के लिए इसे फिर से अपलोड करें।

सत्यापन विधि

• सत्यापन 1: ओलामा सूची संवाद मॉडल और वेक्टर मॉडल देख सकता है।
• सत्यापन 2: दस्तावेज़ अपलोड करने के बाद, स्थिति "संसाधित" है।
• सत्यापन 3: दस्तावेज़ में एक तथ्यात्मक प्रश्न पूछें, और उत्तर संबंधित स्रोत का हवाला दे सकता है।
• सत्यापन 4: बाहरी नेटवर्क से डिस्कनेक्ट करें, प्रश्नोत्तर अभी भी उपलब्ध है (पुष्टि करें कि यह स्थानीय अनुमान है)।
• सत्यापन 5: शीघ्र शब्दों को अनुकूलित करने के बाद, निराधार प्रश्नों को सही ढंग से अस्वीकार किया जा सकता है।

सामान्य गलतियाँ और सावधानियाँ

1. दस्तावेज़ प्रारूप भ्रामक है: पहले इसे चयन योग्य पाठ में एकीकृत करें (पहले स्कैन किए गए दस्तावेज़ को ओसीआर करें), और फिर इसे बैचों में आयात करें।
2. ब्लॉक बहुत बड़ा है: पुनर्प्राप्ति विकृति तब होती है जब एक ब्लॉक मॉडल संदर्भ से अधिक हो जाता है। अनुशंसित मान के अनुसार समायोजित करें.
3. बहु-भाषा मिश्रण: ज्ञान आधार में भाषाओं को एकजुट करने का प्रयास करें, या कार्य क्षेत्रों को भाषाओं के अनुसार विभाजित करें।
4. संदर्भ चालू करना भूल गए: कॉन्फ़िगरेशन में "संदर्भ स्रोत दिखाएं" चालू करना सुनिश्चित करें। यह स्वीकृति के लिए एक कठिन वस्तु है।

अक्सर पूछे जाने वाले प्रश्न और समस्या निवारण (एफएक्यू)

1. यदि एनीथिंगएलएलएम ओलामा से कनेक्ट नहीं हो पाता है तो मुझे क्या करना चाहिए?

पहले पुष्टि करें कि ओलामा सर्व चल रहा है (ओलामा सर्व डिफ़ॉल्ट रूप से 11434 को सुनता है), और फिर सत्यापित करने के लिए http://localhost:11434 तक पहुंचने के लिए ब्राउज़र का उपयोग करें; कॉन्फ़िगरेशन में पते में अतिरिक्त स्लैश शामिल न करें।

2. मॉडल डाउनलोड धीमा है या विफल है?

   जब नेटवर्क सीमित हो, तो मिरर एड्रेस का उपयोग करें या किसी भिन्न समय पर पुनः प्रयास करें; आप GGUF मॉडल भी डाउनलोड कर सकते हैं और इसे मैन्युअल रूप से आयात कर सकते हैं।

3. उत्तर दस्तावेज़ को बिल्कुल भी उद्धृत नहीं करता है, जैसे बकवास करना?

   जांचें कि क्या एंबेडिंग को स्थानीय ओलामा मॉडल के रूप में कॉन्फ़िगर किया गया है; यदि कॉन्फ़िगर नहीं किया गया है, तो दस्तावेज़ को सही ढंग से पुनर्प्राप्त नहीं किया जा सकता है।

4. क्या अपलोड की गई पीडीएफ विकृत है या अधूरी पहचानी गई है?

   कुछ भीएलएलएम अंतर्निर्मित पार्सर पर निर्भर करता है; स्कैन की गई पीडीएफ को पहले ओसीआर-चयन योग्य पाठ में परिवर्तित करने की आवश्यकता है।

5. अपर्याप्त मेमोरी और धीमा संचालन?

   एक छोटे परिमाणीकरण मॉडल में बदलें (जैसे qwen2.5:3b), और अन्य बड़े मेमोरी प्रोग्राम बंद करें; 7B मॉडल 16G से अधिक मेमोरी की अनुशंसा करता है।

6. एकाधिक कंप्यूटर एक ज्ञान आधार कैसे साझा कर सकते हैं?

   AnythingLLM को डॉकर सर्वर के रूप में तैनात करें और क्लाइंट के लिए LAN के माध्यम से एक्सेस करने के लिए एक साझा डेटा वॉल्यूम कॉन्फ़िगर करें।

सारांश और अगले चरण

इस बिंदु पर, आपके पास पहले से ही "स्थानीय मॉडल + स्थानीय ज्ञान आधार + पता लगाने योग्य प्रश्न और उत्तर" के आरएजी अनुप्रयोगों का एक सेट है। अगला कदम सुझाया गया: पहले उच्च-आवृत्ति समस्याओं को इकट्ठा करने और ब्लाइंड स्पॉट को पुनर्प्राप्त करने के लिए 1-2 सप्ताह के छोटे पैमाने के परीक्षण के लिए वास्तविक व्यावसायिक दस्तावेजों का उपयोग करें, और फिर तय करें कि मॉडल को अपग्रेड करना है, वेक्टर लाइब्रेरीज़ को स्विच करना है या कई उपयोगकर्ताओं के लिए तैनात करना है।

उन्नति और विस्तार

• फास्टजीपीटी/फ़्लोवाइज़ में बदलें: जब विज़ुअल वर्कफ़्लो और जटिल शाखाओं की आवश्यकता हो तो माइग्रेट करें।
• वेक्टर लाइब्रेरी अपग्रेड: दस्तावेज़ों की मात्रा बड़ी हो जाने के बाद, LanceDB को एक पेशेवर वेक्टर लाइब्रेरी जैसे Milvus से बदलें।
• हाइब्रिड खोज: लंबी-पूंछ वाले प्रश्न हिट को बेहतर बनाने के लिए एक ही समय में कीवर्ड और वेक्टर खोज सक्षम करें।
• बहु-उपयोगकर्ता अनुमतियाँ: विभाग-स्तरीय ज्ञान अलगाव प्राप्त करने के लिए सर्वर को तैनात करें और खाता प्रणाली तक पहुंचें।
• एक्सेस एजेंट: ज्ञानकोष को एजेंटों के लिए एक खोज उपकरण बनाएं, जो कार्य ऑर्डर, ग्राहक सेवा और अन्य व्यावसायिक प्रक्रियाओं को जोड़ता है।