डीपसीक ने वी2 ओपन सोर्स बड़ा मॉडल जारी किया: पहला एमएलए आर्किटेक्चर, 236बी एमओई उच्च लागत प्रदर्शन पर ध्यान केंद्रित करता है

मई 2024 में, ने ओपन सोर्स बड़े मॉडलों की श्रृंखला जारी की। ट्रैक में एक प्रतिनिधि ओपन सोर्स मॉडल के रूप में, V2 पहली बार मल्टी-लेटेंट अटेंशन (MLA) को मिक्सचर ऑफ एक्सपर्ट्स (MoE) के साथ जोड़ता है, जो डीपसीक श्रृंखला के विकास में एक महत्वपूर्ण तकनीकी मील का पत्थर बन गया है।

चित्र: डीपसीक आधिकारिक वेबसाइट मुखपृष्ठ और संवाद प्रवेश द्वार। V2 प्री-ट्रेनिंग कॉर्पस लगभग 8.1T टोकन है, संदर्भ को 4K से 128K तक विस्तारित करने के लिए YaRN का उपयोग करता है, और KV कैश को संपीड़ित करने के लिए MLA का उपयोग करता है। फाइनेंशियल टाइम्स के मुताबिक, इसकी कीमत प्रति मिलियन आउटपुट टोकन 2 युआन जितनी कम है।

संस्करण सिंहावलोकन