एआई वेरिफाई एक खुला स्रोत एआई गवर्नेंस टेस्टिंग फ्रेमवर्क और सॉफ्टवेयर टूलसेट है, जिसका नेतृत्व सिंगापुर में आईएमडीए के तहत एआई वेरिफाई फाउंडेशन द्वारा किया जाता है। इसमें एआई वेरिफाई टेस्टिंग फ्रेमवर्क (11 अंतरराष्ट्रीय एआई गवर्नेंस सिद्धांत मूल्यांकन ढांचा), एआई वेरिफाई टूलकिट (पारंपरिक एआई मॉडल परीक्षण उपकरण) और प्रोजेक्ट मूनशॉट (एलएलएम मूल्यांकन और रेड टीम परीक्षण टूलकिट) शामिल हैं, जो पारंपरिक एमएल से जेनरेटिव एआई तक अनुपालन परीक्षण आवश्यकताओं को कवर करते हैं।

AIVerify

मुख्य पैरामीटर और आँकड़े

एआई वेरिफाई एक खुला स्रोत एआई गवर्नेंस टेस्टिंग फ्रेमवर्क और सॉफ्टवेयर टूलसेट है, जिसका नेतृत्व सिंगापुर इन्फोकॉम मीडिया डेवलपमेंट अथॉरिटी (आईएमडीए) के तहत एआई वेरिफाई फाउंडेशन द्वारा किया जाता है। यह एक एकल उत्पाद नहीं है, बल्कि इसमें क्षमताओं की तीन परतें शामिल हैं: एआई वेरिफाई टेस्टिंग फ्रेमवर्क (गवर्नेंस फ्रेमवर्क), एआई वेरिफाई टूलकिट (पारंपरिक एआई परीक्षण सॉफ्टवेयर) और प्रोजेक्ट मूनशॉट (एलएलएम मूल्यांकन टूलकिट)।

प्रोजेक्ट्स	सार्वजनिक सूचना
आधिकारिक स्थिति	एआई गवर्नेंस टेस्टिंग फ्रेमवर्क और सॉफ्टवेयर टूलकिट
संगठन की प्रकृति	IMDA की पूर्ण स्वामित्व वाली गैर-लाभकारी सहायक कंपनी
ओपन सोर्स लाइसेंस	अपाचे 2.0
शासन सिद्धांत	11 अंतर्राष्ट्रीय एआई शासन सिद्धांत
टूलकिट नवीनतम संस्करण	2.2.1 (2026-03-23, गिटहब रिलीज़)
मूनशॉट नवीनतम संस्करण	0.7.6 (2026-02-05, गिटहब रिलीज़)
गिटहब स्टार्स (टूलकिट)	79 सितारे, 24 कांटे, 20 योगदानकर्ता
गिटहब स्टार्स (मूनशॉट)	337 सितारे, 65 कांटे, 20 योगदानकर्ता
फ्रेमवर्क पहली बार जारी किया गया	2022-05-25 (एमवीपी)
जेनएआई फ्रेमवर्क अपडेट	2025-05-29
समर्थन मंच	वेब, एपीआई, डेस्कटॉप

संगठनात्मक पृष्ठभूमि: एआई वेरिफाई फाउंडेशन सिंगापुर सरकार की एजेंसी आईएमडीए की पूर्ण स्वामित्व वाली सहायक कंपनी है, जिसका अर्थ है कि इसका शासन ढांचा स्वाभाविक रूप से सिंगापुर की एआई शासन नीति (साथ ही अमेरिकी और यूरोपीय ढांचे जो इसे बेंचमार्क करते हैं) के अनुरूप है, और सीमा पार अनुपालन आवश्यकताओं वाले बहुराष्ट्रीय उद्यमों के लिए उपयुक्त है।

दोहरी टूल रणनीति: एआई वेरिफाई टूलकिट पारंपरिक पर्यवेक्षित शिक्षण मॉडल (वर्गीकरण/प्रतिगमन, सारणीबद्ध/छवि डेटा) को कवर करता है, और प्रोजेक्ट मूनशॉट एलएलएम मूल्यांकन और रेड टीम परीक्षण को कवर करता है। दोनों पूरक हैं लेकिन ओवरलैप नहीं होते। उद्यमों को अपने स्वयं के एआई परिसंपत्ति प्रकारों के आधार पर संबंधित टूल श्रृंखला चुनने की आवश्यकता है।

सामुदायिक पैमाना: दो मुख्य गोदामों की कुल संख्या लगभग 416 स्टार है। पैमाना छोटा है लेकिन अधिकांश योगदानकर्ता IMDA की आधिकारिक टीम और सरकार से संबंधित संस्थानों से आते हैं। यह समुदाय के सहज विकास प्रकार के बजाय सरकार के नेतृत्व वाला खुला स्रोत है।

उपयोगकर्ता और बाज़ार की पहचान

एआई वेरिफाई की बाजार मान्यता मुख्य रूप से समुदाय के सहज उत्साह के बजाय अंतर-सरकारी सहयोग और बहुराष्ट्रीय उद्यमों की भागीदारी के दो स्तरों में परिलक्षित होती है।

अंतरसरकारी बेंचमार्किंग: एआई सत्यापन परीक्षण फ्रेमवर्क ने यूएस एनआईएसटी एआई आरएमएफ, ईयू एआई अधिनियम, ओईसीडी और जी7 हिरोशिमा प्रक्रिया जैसे अंतरराष्ट्रीय ढांचे के साथ क्रॉस-मैपिंग (क्रॉसवॉक) पूरा कर लिया है। मई 2025 में, NIST AI RMF जेनरेटिव AI प्रोफ़ाइल के साथ क्रॉसवॉक का एक नया संस्करण जारी किया गया था। इसका मतलब यह है कि एआई वेरिफाई का उपयोग करने वाले व्यवसाय बहु-क्षेत्राधिकार अनुपालन आवश्यकताओं से निपटने के दौरान डुप्लिकेट मूल्यांकन की लागत को कम कर सकते हैं।

एंटरप्राइज़ भागीदारी: प्रीमियर सदस्यों में AWS, Dell, Google, IBM, Microsoft, Salesforce, Red Hat, Resaro आदि शामिल हैं। सामान्य सदस्यों में एंट ग्रुप टेमस, ACCA आदि शामिल हैं, जो प्रौद्योगिकी, वित्त और ऑडिटिंग जैसे कई उद्योगों को कवर करते हैं। ये सदस्य न केवल वित्तीय सहायता प्रदान करते हैं, बल्कि उपकरण विकास और परीक्षण मानक सेटिंग में भी सीधे भाग लेते हैं।

पायलट सत्यापन: फरवरी 2025 में लॉन्च किए गए ग्लोबल एआई एश्योरेंस पायलट ने 30+ संगठनों के 100+ प्रतिभागियों को आकर्षित किया, जिसमें वित्त से लेकर चिकित्सा देखभाल तक कई उद्योगों में जेनएआई अनुप्रयोगों का वास्तविक परीक्षण शामिल था। परीक्षण पारिस्थितिकी तंत्र का विस्तार जारी रखने के लिए इसे जुलाई 2025 में ग्लोबल एआई एश्योरेंस सैंडबॉक्स में अपग्रेड किया जाएगा।

उपयोगकर्ता समीक्षाएं: X0PA (एआई भर्ती मंच) टूलकिट को "एआई सिस्टम की निष्पक्षता का आकलन और सुधार करने के लिए एक मजबूत ढांचा प्रदान करता है" के रूप में रेट करता है, डेल का कहना है कि यह "ईमानदार, निष्पक्ष और न्यायसंगत सिस्टम प्राप्त करने के लिए संगठनों के लिए एक एकीकृत ढांचा प्रदान करता है", और सिंगापुर एयरलाइंस का मानना ​​है कि यह "एआई सिस्टम के आत्म-मूल्यांकन के लिए एक उत्कृष्ट प्रारंभिक बिंदु है"।

लागत लाभ

एआई वेरिफाई की लागत संरचना सीधे इसके सरकारी संदर्भ से संबंधित है, जो इसे वाणिज्यिक एआई शासन उपकरणों से काफी अलग बनाती है।

सी-साइड/इंडिविजुअल: एआई वेरिफाई टेस्टिंग फ्रेमवर्क के पीडीएफ और एक्सेल संस्करण मुफ्त में डाउनलोड और उपयोग किए जा सकते हैं। प्रोजेक्ट मूनशॉट और एआई वेरिफाई टूलकिट दोनों अपाचे 2.0 ओपन सोर्स हैं, बिना किसी लाइसेंस शुल्क के। व्यक्तिगत डेवलपर्स या छोटी टीमें इसे सीधे GitHub से क्लोन और उपयोग कर सकती हैं।

एपीआई/डेवलपर्स: प्रोजेक्ट मूनशॉट पूरी तरह से मुफ्त में पायथन लाइब्रेरी (पिप इंस्टाल ऐवरिफाई-मूनशॉट[ऑल]), वेब एपीआई और सीएलआई प्रदान करता है। डेवलपर्स को एलएलएम एपीआई कॉल (मूल्यांकन के दौरान लक्ष्य मॉडल को जोड़ने से होने वाली अनुमानित लागत) और बुनियादी ढांचे की लागत (जैसे जीपीयू सर्वर) की लागत वहन करने की आवश्यकता है। एआई सत्यापित टूलकिट को स्थानीय स्तर पर या उद्यम के भीतर तैनात और चलाने की आवश्यकता है।

उद्यम/निजी: सभी उपकरण स्व-होस्टेड परिनियोजन का समर्थन करते हैं, कोई सॉफ़्टवेयर लाइसेंस शुल्क नहीं। उद्यमों के लिए वास्तविक लागतें केंद्रित हैं: तैनाती और संचालन और रखरखाव जनशक्ति, परीक्षण डेटा तैयारी एआई मॉडल एपीआई कॉल शुल्क, और अनुपालन टीम सीखने की रूपरेखा की आवेदन लागत। जिन कंपनियों को तृतीय-पक्ष परीक्षण और प्रमाणन की आवश्यकता होती है, उनके लिए एआई परीक्षक प्रत्यायन कार्यक्रम (मई 2026 में लॉन्च) आधिकारिक तौर पर मान्यता प्राप्त परीक्षण सेवा प्रदाताओं की एक सूची प्रदान करता है। प्रासंगिक ऑडिट शुल्क सेवा प्रदाता के कोटेशन के अधीन हैं।

मुक्त सत्य: यह सच है कि ओपन सोर्स के लिए कोई लाइसेंस शुल्क नहीं है, लेकिन एआई सत्यापन ढांचे को पूरी तरह से लागू करने में शामिल छिपी हुई लागत, जैसे कार्मिक प्रशिक्षण, परीक्षण संदर्भ निर्माण और निरंतर अनुपालन निगरानी को नजरअंदाज नहीं किया जा सकता है। वाणिज्यिक एआई गवर्नेंस प्लेटफॉर्म (जैसे आईबीएम एआई गवर्नेंस, गूगल वर्टेक्स एआई गवर्नेंस) की तुलना में, एआई वेरिफाई की स्पष्ट लागत कम है, लेकिन इसके लिए अधिक आंतरिक तकनीकी क्षमताओं और शासन परिपक्वता की आवश्यकता होती है।

मुख्य कार्य

एआई वेरिफाई की मुख्य क्षमताओं को तीन-परत संरचना में व्यवस्थित किया गया है, जिसमें प्रत्येक परत को अलग-अलग उपयोग भूमिकाओं का सामना करना पड़ता है:

• एआई सत्यापित परीक्षण ढांचा (शासन ढांचा परत): 11 अंतरराष्ट्रीय एआई शासन सिद्धांतों के लिए एक संरचित मूल्यांकन पद्धति प्रदान करता है। प्रत्येक सिद्धांत में सिद्धांत→परिणाम→प्रक्रिया→साक्ष्य की चार-परत प्रगतिशील संरचना शामिल है। फ्रेमवर्क का उपयोग पीडीएफ/एक्सेल फॉर्म डाउनलोड करके स्वतंत्र रूप से किया जा सकता है, या अनुपालन रिपोर्ट तैयार करने के लिए टूलकिट या मूनशॉट के साथ जोड़ा जा सकता है। अनुपालन टीमों और लेखा परीक्षकों के लिए आदर्श।

• एआई सत्यापित टूलकिट (पारंपरिक एआई परीक्षण परत): पर्यवेक्षित शिक्षण वर्गीकरण और प्रतिगमन मॉडल के लिए, यह निष्पक्षता (पूर्वाग्रह का पता लगाना), मजबूती (छवि भ्रष्टाचार / प्रतिकूल नमूने), व्याख्यात्मकता (एसएचएपी मूल्य), और सुरक्षा (डेटा रिसाव परीक्षण) जैसे तकनीकी परीक्षण प्रदान करता है। तालिका डेटा और छवि डेटा का समर्थन करता है, और परीक्षण पूरा होने के बाद अनुकूलित रिपोर्ट तैयार की जा सकती है। वर्तमान संस्करण 2.2.1 एमएएस की सुरक्षा आधारभूत आवश्यकताओं को पूरा करने के लिए वेरिटास वित्तीय अनुपालन परीक्षण सूट को भी एकीकृत करता है।

• प्रोजेक्ट मूनशॉट (एलएलएम मूल्यांकन परत): 100+ ओपन सोर्स बेंचमार्क डेटा सेट प्रदान करता है, जिसमें प्रदर्शन (सटीकता BLEU), विश्वसनीय सुरक्षा (पूर्वाग्रह, विषाक्तता, मतिभ्रम) आदि जैसे बहु-आयामी मूल्यांकन शामिल हैं। एक साथ कई एलएलएम समापन बिंदुओं के खिलाफ परीक्षण करने के लिए स्वचालित रेड टीम हमलों (प्रतिकूल संकेत उत्पन्न करने के लिए जेनेरिक एलएलएम के साथ संयुक्त अनुसंधान-संचालित एल्गोरिदमिक रणनीतियों के आधार पर) का समर्थन करता है। CI/CD पाइपलाइन एकीकरण का समर्थन करते हुए HTML इंटरैक्टिव रिपोर्ट और JSON कच्चा डेटा निर्यात प्रदान करता है। वर्तमान संस्करण 0.7.6.

हिडन लिंकेज: तीन परतें स्वतंत्र रूप से काम नहीं करती हैं - फ्रेमवर्क परत के मूल्यांकन परिणामों को सीधे टूलकिट/मूनशॉट के तकनीकी परीक्षण आइटम में मैप किया जा सकता है, और परीक्षण रिपोर्ट फ्रेमवर्क परत के अनुपालन कथन को रिवर्स रूप से सत्यापित कर सकती है। उदाहरण के लिए, अनुपालन टीम पहले सिद्धांत-स्तरीय स्व-परीक्षा को पूरा करने के लिए ढांचे का उपयोग करती है, और फिर विशिष्ट रेड टीम परीक्षण करने के लिए मूनशॉट का उपयोग करने के लिए इसे इंजीनियरिंग टीम को सौंप देती है। अंतिम परीक्षण डेटा स्वचालित रूप से फ्रेमवर्क रिपोर्ट को बैकफ़िल करता है, जिससे प्रबंधन से प्रौद्योगिकी तक एक लिंक बनता है।

मॉडल और संस्करण विकास

प्रासंगिक जानकारी सार्वजनिक नहीं की गई है, कृपया आधिकारिक वास्तविक समय पृष्ठ देखें।

तकनीकी लाभ

एआई वेरिफाई का तकनीकी लाभ एकल प्रदर्शन पैरामीटर के बजाय "सरकारी स्तर की रूपरेखा स्थिरता + ओपन सोर्स टूल श्रृंखला कवरेज" के संयोजन से आता है।

फ्रेमवर्क संरेखण: एआई सत्यापित परीक्षण फ्रेमवर्क को एनआईएसटी एआई आरएमएफ, आईएसओ 42001 और ईयू एआई अधिनियम के शीर्ष सिद्धांतों पर क्रॉस-मैप किया गया है। इसका मतलब यह है कि जब कोई उद्यम अनुपालन मूल्यांकन करने के लिए एआई सत्यापन का उपयोग करता है, तो इसके आउटपुट को अन्य न्यायालयों में अनुपालन समीक्षाओं को संभालने के लिए आंशिक रूप से पुन: उपयोग किया जा सकता है, जिससे बार-बार मूल्यांकन की लागत कम हो जाती है। तंत्र यह है कि क्रॉसवॉक दस्तावेज़ केवल संरेखण घोषित करने के बजाय, रूपरेखाओं के बीच वैचारिक तुल्यता को स्पष्ट रूप से चिह्नित करते हैं।

दोहरी टूल श्रृंखला सभी मोड को कवर करती है: टूलकिट पारंपरिक एमएल के टेबल/छवि मॉडल को कवर करता है, और मूनशॉट एलएलएम के टेक्स्ट/संवाद मॉडल को कवर करता है। दोनों परीक्षण पद्धति में एकीकृत हैं लेकिन प्रौद्योगिकी कार्यान्वयन में स्वतंत्र हैं। यह विभाजन एलएलएम परिदृश्यों में पारंपरिक एमएल परीक्षण विधियों को लागू करने से बचाता है और एकल उपकरण श्रृंखला को अत्यधिक विस्तारित होने से रोकता है।

मॉड्यूलर आर्किटेक्चर (2.0+): टूलकिट 2.0 को एपीआईजीडब्ल्यू (एपीआई गेटवे), पोर्टल (फ्रंट-एंड पोर्टल), टेस्ट-इंजन (टेस्ट इंजन), टेस्ट-इंजन-वर्कर (टेस्ट वर्क नोड), और शेयर्ड-लाइब्रेरी (साझा लाइब्रेरी) के पांच-घटक आर्किटेक्चर में दोबारा तैयार किया गया है। परीक्षण एल्गोरिदम स्वतंत्र पायथन मॉड्यूल के रूप में चलते हैं जिन्हें समग्र रिलीज़ चक्र को अवरुद्ध किए बिना स्वतंत्र रूप से विकसित, तैनात और अद्यतन किया जा सकता है।

स्वचालित रेड टीम क्षमताएं: मूनशॉट आंशिक रूप से रेड टीम परीक्षण को स्वचालित करता है जो परंपरागत रूप से मैन्युअल श्रम पर निर्भर करता है, और एकाधिक एलएलएम एंडपॉइंट के समानांतर हमले परीक्षण को प्राप्त करने के लिए एल्गोरिदमिक रणनीतियों (जैसे ग्रेडियंट/नियम-आधारित प्रतिकूल पीढ़ी) और जेनेरिक एलएलएम-सहायता परीक्षण केस पीढ़ी का उपयोग करता है। यह मूनशॉट की शुद्ध बेंचमार्किंग टूल से अलग करने की प्रमुख क्षमता है।

लागू परिदृश्य अनुस्मारक: ढांचे के उच्च संरेखण द्वारा लाए गए लचीलेपन का मतलब यह भी है कि यह विशेष समाधानों जितना गहरा नहीं है। विशिष्ट प्रकार के एआई पूर्वाग्रह या सुरक्षा कमजोरियों का पता लगाने के लिए एंथ्रोपिक के जेलब्रेक मूल्यांकन ढांचे मेटा के पर्पल लामा जैसे विशेष उपकरणों को पूरक करने की आवश्यकता हो सकती है।

कैसे उपयोग करें

AI Verify के उपयोग प्रवेश को विभिन्न भूमिकाओं और परीक्षण लक्ष्यों के आधार पर तीन पथों में विभाजित किया गया है:

कैसे उपयोग करें	भीड़ के लिए उपयुक्त	कोर ऑपरेशन	लागत
परीक्षण रूपरेखा दस्तावेज़ीकरण	अनुपालन दल, लेखा परीक्षक	पीडीएफ/एक्सेल डाउनलोड करें, 11 सिद्धांतों के अनुसार आत्म-परीक्षा पूरी करें, और संरेखण रिपोर्ट तैयार करें	मुफ़्त
एआई सत्यापित टूलकिट	डेटा वैज्ञानिक एमएल इंजीनियर	स्थानीय संदर्भ तैनात करें, मॉडल और डेटा सेट लोड करें, निष्पक्षता/मजबूती परीक्षण चलाएं और रिपोर्ट निर्यात करें	मुफ़्त और खुला स्रोत, अपना स्वयं का बुनियादी ढांचा तैयार करने की आवश्यकता है
प्रोजेक्ट मूनशॉट	एलएलएम डेवलपर, सुरक्षा टीम	पाइप इंस्टाल ऐवरिफाई-मूनशॉट[ऑल], एलएलएम एंडपॉइंट से कनेक्ट करें, बेंचमार्क या रेड टीम अटैक चलाएं, HTML रिपोर्ट तैयार करें	मुफ़्त और खुला स्रोत, एलएलएम एपीआई कॉल शुल्क आवश्यक है

प्रोजेक्ट मूनशॉट के साथ शीघ्र शुरुआत करें:

# मूनशॉट स्थापित करें
पिप इंस्टाल "एवेरिफाई-मूनशॉट[सभी]"

# क्लोन परीक्षण संपत्ति और वेब यूआई
पायथन -एम मूनशॉट -आई मूनशॉट-डेटा -आई मूनशॉट-यूआई

# वेब यूआई प्रारंभ करें
पायथन -एम मूनशॉट वेब
# ब्राउज़र खोलें http://localhost:3000/

# या इंटरैक्टिव सीएलआई प्रारंभ करें
पायथन -एम मूनशॉट सीएलआई इंटरैक्टिव

विशिष्ट कार्यान्वयन पथ: अनुपालन टीम पहले फ्रेमवर्क पीडीएफ डाउनलोड करती है और एक सिद्धांत-स्तरीय स्व-परीक्षा पूरी करती है → एआई सिस्टम की पहचान करती है जिसके लिए तकनीकी सत्यापन की आवश्यकता होती है → एमएल टीम पारंपरिक मॉडल की निष्पक्षता/मजबूती परीक्षण चलाने के लिए टूलकिट का उपयोग करती है → एलएलएम टीम बेंचमार्किंग और रेड टीम परीक्षण करने के लिए मूनशॉट का उपयोग करती है → परीक्षण परिणामों के साथ फ्रेमवर्क रिपोर्ट को बैकफ़िल करती है → एक पूर्ण एआई सत्यापित अनुपालन उत्पन्न करती है रिपोर्ट.

उत्पाद का मूल्य निर्धारण

एआई वेरिफाई के सभी मुख्य उपकरण अपाचे 2.0 लाइसेंस के तहत खुले स्रोत हैं, और सार्वजनिक मूल्य निर्धारण की जानकारी इस प्रकार है:

• सी-साइड/व्यक्तिगत डेवलपर्स: फ्रेमवर्क दस्तावेज़ डाउनलोड करने के लिए निःशुल्क हैं, और टूलकिट और मूनशॉट पूरी तरह से खुला स्रोत और मुफ़्त हैं। व्यक्तिगत उपयोग के लिए, वास्तविक लागत केवल एलएलएम एपीआई कॉल शुल्क (मूनशॉट समीक्षा के समय) और कंप्यूटर बुनियादी ढांचा है।
• टीम/एंटरप्राइज़ सेल्फ-होस्टिंग: सॉफ़्टवेयर के लिए शून्य लाइसेंस शुल्क है, और लागत तैनाती और संचालन (डॉकर/K8s), भंडारण और कंप्यूटिंग संसाधनों पर केंद्रित है। टूलकिट परिनियोजन के लिए कम से कम 4 कोर और 16GB RAM वाले सर्वर की आवश्यकता होती है।
• तृतीय पक्ष परीक्षण और प्रमाणन: एआई परीक्षक प्रत्यायन कार्यक्रम (मई 2026 में लॉन्च) आधिकारिक तौर पर मान्यता प्राप्त तृतीय-पक्ष परीक्षण सेवा प्रदाता प्रदान करता है। प्रासंगिक ऑडिट और प्रमाणन शुल्क सेवा प्रदाता के कोटेशन के अधीन हैं। आधिकारिक संदर्भ कीमत का खुलासा नहीं किया गया है।
• फाउंडेशन सदस्य: कंपनियां एआई वेरिफाई फाउंडेशन में शामिल होकर रणनीतिक प्रभाव और शासन समिति की सीटें प्राप्त कर सकती हैं। सदस्यता शुल्क आधिकारिक व्यावसायिक संचार के अधीन है, और मानक मूल्य का खुलासा नहीं किया गया है।

वाणिज्यिक समाधानों की तुलना: आईबीएम एआई गवर्नेंस (संपत्ति की मात्रा के आधार पर बिल) और Google वर्टेक्स एआई गवर्नेंस (मूल्यांकन की संख्या के आधार पर बिल) जैसे वाणिज्यिक प्लेटफार्मों की तुलना में, एआई वेरिफाई की सॉफ्टवेयर लागत शून्य है, लेकिन इसके लिए उद्यमों को मजबूत स्व-तैनाती और स्व-संचालन क्षमताओं की आवश्यकता होती है। स्वामित्व की कुल लागत (टीसीओ) इन-हाउस श्रम बनाम वाणिज्यिक प्लेटफ़ॉर्म सदस्यता शुल्क के बीच व्यापार-बंद पर निर्भर करती है।

अनुप्रयोग परिदृश्य

एआई सत्यापन के लिए विशिष्ट कार्यान्वयन परिदृश्य विनियमित उद्योगों में केंद्रित हैं जिन्हें एआई अनुपालन और सुरक्षा आवश्यकताओं को पूरा करने की आवश्यकता है:

• वित्तीय उद्योग में एआई अनुपालन: एमएएस द्वारा विनियमित बैंक, बीमा और अन्य वित्तीय संस्थान एमएएस के एआई शासन दिशानिर्देशों को पूरा करने के लिए क्रेडिट स्कोरिंग, धोखाधड़ी-रोधी और अन्य मॉडलों की निष्पक्षता और सुरक्षा को सत्यापित करने के लिए एआई सत्यापन टूलकिट में वेरिटास सूट का उपयोग कर सकते हैं। फ्रेमवर्क के साथ मिलकर, नियामक निरीक्षणों का जवाब देने के लिए सिद्धांतों से लेकर साक्ष्य तक पूर्ण-लिंक दस्तावेज़ीकरण को पूरा करें।

• एलएलएम सुरक्षा बेंचमार्किंग और रेड टीमिंग: जेनरेटर एआई अनुप्रयोगों को तैनात करने से पहले उद्यम बेस और फाइन-ट्यून मॉडल पर बेंचमार्किंग (पूर्वाग्रह, विषाक्तता, मतिभ्रम) और स्वचालित रेड टीमिंग हमले करने के लिए प्रोजेक्ट मूनशॉट का उपयोग करते हैं। मूनशॉट की HTML रिपोर्ट सीधे तौर पर AI सुरक्षा समिति की जोखिम समीक्षा के आधार के रूप में काम कर सकती है। वास्तविक लाभ मानव लाल टीमों को "ऑन-डिमांड निष्पादन" से "निरंतर एकीकरण" की ओर ले जाने में है।

• सीमा पार एआई शासन संरेखण: संयुक्त राज्य अमेरिका और चीन दोनों में संचालन वाली सिंगापुर की कंपनियां एनआईएसटी एआई आरएमएफ और आईएसओ 42001 के साथ एआई सत्यापन फ्रेमवर्क के क्रॉस-मैपिंग का उपयोग कर सकती हैं। मूल्यांकन आउटपुट का एक सेट एक साथ कई स्थानों में अनुपालन आवश्यकताओं को पूरा कर सकता है और समानांतर मूल्यांकन कार्य के दोहराव को कम कर सकता है। व्यवहार में, स्थानीय कानूनों और विनियमों में अंतर को दूर करने के लिए अभी भी अतिरिक्त समीक्षा की आवश्यकता है।

• सरकारी और सार्वजनिक क्षेत्र एआई खरीद स्वीकृति: जब सरकारी एजेंसियां ​​एआई सिस्टम खरीदती हैं, तो वे एआई सत्यापन अनुपालन रिपोर्ट को स्वीकृति के लिए मात्रात्मक आधार के रूप में आपूर्तिकर्ता के डिलिवरेबल्स में से एक के रूप में सूचीबद्ध कर सकते हैं। सिंगापुर सरकार पहले से ही इस प्रथा को बढ़ावा दे रही है।

लागू लोग

एआई वेरिफाई का बहुस्तरीय डिज़ाइन इसे तीन प्रकार की मुख्य भूमिकाएँ निभाने में सक्षम बनाता है, जिनमें से प्रत्येक क्षमताओं के विभिन्न स्तरों पर ध्यान केंद्रित करता है:

• अनुपालन और जोखिम नियंत्रण टीम: एक एआई शासन ढांचा बनाने और नियामक निरीक्षणों का जवाब देने की आवश्यकता है। अनुपालन रिपोर्ट तैयार करने के लिए मुख्य रूप से टेस्टिंग फ्रेमवर्क की 11-सिद्धांत स्व-परीक्षा प्रक्रिया और क्रॉसवॉक मैपिंग दस्तावेज़ों का उपयोग करें। एआई प्रशासन का बुनियादी ज्ञान होना और नियामक आवश्यकताओं (जैसे ईयू एआई अधिनियम, एमएएस दिशानिर्देश) को समझना एक शर्त है।

• एआई/एमएल इंजीनियर और डेटा वैज्ञानिक: मॉडल की तकनीकी सुरक्षा को सत्यापित करने की आवश्यकता है। पारंपरिक एमएल परिदृश्य निष्पक्षता और मजबूती परीक्षण के लिए एआई सत्यापन टूलकिट का उपयोग करते हैं; एलएलएम परिदृश्य बेंचमार्किंग और रेड टीम परीक्षण के लिए प्रोजेक्ट मूनशॉट का उपयोग करते हैं। मॉडल परिनियोजन वातावरण और पायथन/पिप टूल श्रृंखला से परिचित होना एक शर्त है।

• तृतीय-पक्ष ऑडिट और परीक्षण एजेंसी: स्वतंत्र एआई ऑडिट सेवाएं प्रदान करती है। आप आधिकारिक तौर पर मान्यता प्राप्त योग्यता प्राप्त करने के लिए एआई परीक्षक प्रत्यायन कार्यक्रम का उपयोग कर सकते हैं, और मानकीकृत परीक्षण करने और ग्राहकों के लिए प्रमाणन रिपोर्ट जारी करने के लिए एआई सत्यापन उपकरण श्रृंखला का उपयोग कर सकते हैं।

सीमाओं के लिए उपयुक्त नहीं: एआई सत्यापन उन टीमों के लिए उपयुक्त नहीं है जिन्हें गहराई से अनुकूलित मूल सुरक्षा रणनीतियों की आवश्यकता होती है (ढांचा विशेष समाधानों के बजाय सामान्य दिशानिर्देश प्रदान करता है); यह उन संगठनों के लिए उपयुक्त नहीं है जिन्हें एआई प्रशासन और आंतरिक प्रक्रियाओं के बारे में कोई जागरूकता नहीं है (टूल के कार्यान्वयन के लिए संगठनात्मक परिपक्वता के सहयोग की आवश्यकता होती है); न ही यह तेजी से पता लगाने वाले परिदृश्यों के लिए उपयुक्त है जिनके लिए केवल एक ही आयाम की आवश्यकता होती है (जैसे कि केवल एलएलएम भ्रम का परीक्षण करना, समुदाय-विशिष्ट उपकरण अधिक हल्के होते हैं)।

सारांश और आउटलुक

एआई वेरिफाई का मुख्य मूल्य यह है कि यह एक दुर्लभ एआई गवर्नेंस परीक्षण प्रणाली है जिसका नेतृत्व सरकारी एजेंसियां करती हैं और यह पूरी तरह से खुला स्रोत है। यह शीर्ष परत के रूप में 11 अंतरराष्ट्रीय स्तर पर संरेखित शासन सिद्धांतों पर आधारित है, और दो टूल श्रृंखलाओं: टूलकिट (पारंपरिक एआई) और मूनशॉट (एलएलएम) के माध्यम से सिद्धांतों से प्रौद्योगिकी तक एक संपूर्ण मूल्यांकन चक्र को कवर करता है। विनियमित कंपनियों के लिए जिन्हें सीमा पार अनुपालन आवश्यकताओं से निपटने की आवश्यकता है, यह "मूल्यांकन का एक सेट, कई स्थानों पर पुन: उपयोग" पथ प्रदान करता है।

वर्तमान सीमाएँ: टूल श्रृंखला का समुदाय आकार वाणिज्यिक प्रतिस्पर्धियों (दो मुख्य गोदामों में कुल लगभग 416 सितारे) की तुलना में बहुत छोटा है, दस्तावेज़ीकरण और तकनीकी सहायता आधिकारिक आईएमडीए टीम पर निर्भर करती है, और समस्या प्रतिक्रिया और फ़ंक्शन पुनरावृत्ति की गति तेजी से विकसित हो रहे वाणिज्यिक एआई गवर्नेंस प्लेटफ़ॉर्म जितनी तेज़ नहीं है। मूनशॉट अभी भी बीटा में है और उत्पादन परिवेश में बड़े पैमाने पर तैनाती से पहले स्थिरता को सत्यापित करने की आवश्यकता है। फ्रेमवर्क का स्व-मूल्यांकन मॉडल स्वाभाविक रूप से संगठनात्मक ईमानदारी पर निर्भर करता है और इसमें स्वतंत्र सत्यापन तंत्र का अभाव है (यह अंतर एआई परीक्षक मान्यता कार्यक्रम द्वारा भरा जा रहा है)।

कार्यान्वयन सुझाव: एआई सिस्टम की प्राथमिकताओं की पहचान करने के लिए आंतरिक रूप से (लगभग 1-2 सप्ताह) त्वरित सिद्धांत-स्तरीय स्व-परीक्षा के एक दौर को पूरा करने के लिए फ्रेमवर्क पीडीएफ का उपयोग करने की सिफारिश की जाती है, जिसके लिए वास्तव में तकनीकी सत्यापन की आवश्यकता होती है, और फिर 1-2 पायलट सिस्टम पर तकनीकी परीक्षण पूरा करने के लिए संबंधित टूल श्रृंखला (टूलकिट या मूनशॉट) का चयन करें। मूनशॉट/टूलकिट खरीदने से पहले, उद्यमों को सत्यापन पर ध्यान केंद्रित करने की आवश्यकता है: परीक्षण डेटा और उनके स्वयं के परिदृश्यों के बीच मिलान, रेड टीम मॉड्यूल की व्यवसाय-विशिष्ट जोखिमों को कवर करने की क्षमता, और लक्ष्य नियामक क्षेत्राधिकार में फ्रेमवर्क रिपोर्ट की स्वीकृति की डिग्री।

संबंधित उपकरण: ,

एआई सत्यापित का संस्करण विकास

एआई वेरिफाई का संस्करण विकास दो उत्पाद लाइनों के साथ-साथ फ्रेमवर्क के पुनरावृत्तियों का अनुसरण करता है।

एआई सत्यापित टूलकिट मेन लाइन

• 2.2.1 (2026-03-23): बग फिक्स और प्लग-इन अपडेट सहित नवीनतम स्थिर संस्करण, उत्पादन उपयोग के लिए अनुशंसित है।
• 2.0.0 (~2025): आर्किटेक्चर पुनर्निर्माण संस्करण, एक एकल एप्लिकेशन से मॉड्यूलर आर्किटेक्चर (एपीआईडब्ल्यू, पोर्टल, टेस्ट-इंजन, टेस्ट-इंजन-वर्कर, साझा-लाइब्रेरी) में विभाजित, एक स्वतंत्र परीक्षण एल्गोरिदम रनिंग तंत्र और वेरिटास वित्तीय अनुपालन एकीकरण पेश करता है।
• 1.0 (2022-05-25): एमवीपी जारी किया गया, जो पारंपरिक एमएल मॉडल की बुनियादी निष्पक्षता और मजबूती परीक्षण का समर्थन करता है।

प्रोजेक्ट मूनशॉट मेन लाइन

• 0.7.6 (2026-02-05): नवीनतम संस्करण आईएमडीए स्टार्टर किट एकीकृत वेब यूआई सुधार और रेड टीम मॉड्यूल संवर्द्धन का समर्थन करता है।
• 0.1.0 (2024-05-31): पहली सार्वजनिक रिलीज़, जिसे "दुनिया के पहले एलएलएम मूल्यांकन टूलकिट में से एक" के रूप में स्थान दिया गया है।
• परियोजना अभी भी बीटा चरण में है, प्रति माह लगभग 1-2 संस्करणों की पुनरावृत्ति आवृत्ति के साथ, और GitHub पर 26 रिलीज़ हैं।

फ्रेमवर्क मील के पत्थर

• 2022-05-25: अंतरराष्ट्रीय पायलटों के लिए एआई सत्यापित परीक्षण ढांचा एमवीपी जारी किया गया।
• 2023-06-07: फ्रेमवर्क और टूलकिट पूरी तरह से खुला स्रोत हैं, और एआई वेरिफाई फाउंडेशन स्थापित है।
• 2023-10-13: यूएस एनआईएसटी एआई आरएमएफ के साथ क्रॉस-मैपिंग रिलीज।
• 2024-05-31: प्रोजेक्ट मूनशॉट जारी, जेनएआई के लिए मॉडल एआई गवर्नेंस फ्रेमवर्क जारी।
• 2025-05-29: फ्रेमवर्क का उन्नत संस्करण जारी किया गया है, जो आधिकारिक तौर पर जेनएआई मूल्यांकन को कवर करता है, और एनआईएसटी जेनएआई प्रोफाइल, हिरोशिमा प्रोसेस सीओसी और आईएसओ 42001 के साथ क्रॉस-मैपिंग जोड़ता है।
• 2026-05-18: तृतीय-पक्ष AI परीक्षण और प्रमाणन प्रणाली स्थापित करने के लिए AI परीक्षक प्रत्यायन कार्यक्रम शुरू किया गया था।

संस्करण जानकारी

• एआई सत्यापित टूलकिट 2.2.1 ：एआई वेरिफाई टूलकिट का नवीनतम स्थिर संस्करण, एक मॉड्यूलर आर्किटेक्चर के आधार पर फिर से लिखा गया, स्वतंत्र परीक्षण एल्गोरिदम मॉड्यूल ऑपरेशन, एक पुन: डिज़ाइन किए गए बैक-एंड टेस्ट इंजन, फ्रंट-एंड वर्कफ़्लो वेरिटास वित्तीय अनुपालन एकीकरण का एक नया संस्करण और उन्नत कंप्यूटर विज़न परीक्षण समर्थन का समर्थन करता है। （2026-03-23）
• एआई सत्यापन टूलकिट 2.0.0 ：प्रमुख वास्तुकला उन्नयन, मॉड्यूलर डिजाइन को अपनाना, स्वतंत्र परीक्षण एल्गोरिदम इंजन की शुरुआत, नए फ्रंट-एंड वर्कफ़्लो और वेरिटास वित्तीय अनुपालन परीक्षण सूट को एकीकृत करना। अभी तक कोई आधिकारिक सटीक तारीख नहीं है। （~2025）
• प्रोजेक्ट मूनशॉट 0.7.6 ：प्रोजेक्ट मूनशॉट (एलएलएम मूल्यांकन टूलकिट) का नवीनतम संस्करण 100+ बेंचमार्क डेटा सेट, स्वचालित रेड टीम अटैक मॉड्यूल वेब यूआई और सीएलआई दोहरे ऑपरेशन इंटरफ़ेस सीआई/सीडी एकीकृत रिपोर्ट पीढ़ी का समर्थन करता है। （2026-02-05）
• एआई सत्यापित एमवीपी ：एआई सत्यापित परीक्षण ढांचे और सॉफ्टवेयर टूलकिट को पहली बार एमवीपी के रूप में जारी किया गया था, पायलटों और अंतरराष्ट्रीय समुदाय से प्रतिक्रिया की मांग करते हुए, और आईएमडीए और पीडीपीसी द्वारा संयुक्त रूप से लॉन्च किया गया था। （2022-05-25）