डीपसीक ने V3 बड़ा मॉडल जारी किया: 671B MoE बेस, प्रदर्शन बेंचमार्किंग GPT-4o और क्लाउड 3.5
26 दिसंबर, 2024 को, डीपसीक ने 671B पैरामीटर MoE बेस मॉडल डीपसीक-V3 जारी किया, जिसमें लगभग 37B का एकल टोकन सक्रियण था। इसमें मल्टी-टोकन भविष्यवाणी जोड़ी गई और एफपी8 मिश्रित सटीक प्रशिक्षण को अपनाया गया। इसके प्रदर्शन ने GPT-4o और क्लाउड 3.5 सॉनेट को बेंचमार्क किया, और बेहद कम प्रशिक्षण लागत के साथ उद्योग का ध्यान आकर्षित किया।
26 दिसंबर, 2024 को, <exlink type='tool' slug='डीपसीक' नाम='डीपसीक'> ने <exlink type='toolversion' slug='डीपसीक' नाम='डीपसीक-V3'>, एक 671B पैरामीटर MoE बेस मॉडल जारी किया, जिसने बाद की श्रृंखला की क्षमताओं की नींव रखी।
चित्र: डीपसीक आधिकारिक वेबसाइट संवाद इंटरफ़ेस। V3 को 14.8T टोकन बहुभाषी कॉर्पस पर पूर्व-प्रशिक्षित किया गया है, FP8 मिश्रित परिशुद्धता का उपयोग करके और H800 क्लस्टर पर प्रशिक्षित किया गया है। कुल प्रशिक्षण लागत का आधिकारिक खुलासा लगभग US$5.576 मिलियन (लगभग 2.788 मिलियन GPU घंटे) है।
संस्करण सिंहावलोकन
| प्रोजेक्ट | सामग्री |
|---|
समीक्षाएं