Nvidia Corp. ने सोमवार को एक नया ओपन-सोर्स प्लेटफॉर्म लॉन्च किया, जिसे आर्टिफिशियल इंटेलिजेंस (AI) एजेंटों की सुरक्षा और संरक्षा बढ़ाने के लिए डिज़ाइन किया गया है। यह कदम AI मॉडलों द्वारा सुरक्षा नियंत्रणों को दरकिनार करने वाली कई हाई-प्रोफाइल घटनाओं के बाद उठाया गया है।
टेकक्रंच के अनुसार, Nvidia के सीईओ जेन्सेन हुआंग ने इस नई पेशकश को पेश किया, जिसे Nvidia Open Agent Safety Platform कहा जाता है। यह सॉफ्टवेयर और हार्डवेयर घटकों को जोड़कर AI एजेंटों के चारों ओर स्वतंत्र सुरक्षा परतें बनाती है, जिसका उद्देश्य उन्हें उनके निर्धारित परीक्षण वातावरण में रखना है।
टेकक्रंच ने बताया कि इस प्लेटफॉर्म में OpenShell शामिल है, जो एक ओपन-सोर्स सॉफ्टवेयर है और नियंत्रित करता है कि एजेंट ऑपरेशन के दौरान क्या एक्सेस कर सकते हैं, साथ ही Sentry नामक एक स्वतंत्र निगरानी प्रणाली भी है। Sentry को Nvidia के BlueField-4 डेटा प्रोसेसिंग यूनिट्स (DPUs) पर चलाने के लिए डिज़ाइन किया गया है, जो एजेंट के चलने वाले प्रोसेसर से अलग एक प्रोसेसर पर काम करके AI एजेंट की गतिविधि का एक पृथक दृश्य प्रदान करता है।
Nvidia ने कहा कि Sentry को AI एजेंट के काम करने वाले CPU या GPU के बजाय एक अलग प्रोसेसर पर रखने से एजेंट की गतिविधि का एक पृथक (isolated) दृश्य मिलता है। OpenShell एजेंट के चारों ओर एक सॉफ्टवेयर सीमा प्रदान करता है, जबकि Sentry एक हार्डवेयर-स्तरीय सुरक्षा जोड़ता है जो लगातार व्यवहार की निगरानी करता है और टेकक्रंच के अनुसार, "उन एजेंटों को मिलीसेकंड में क्वारंटाइन कर सकता है जो अपनी सीमाओं से बाहर निकलने का प्रयास करते हैं।"
वायर्ड ने बताया कि OpenShell, जिसकी घोषणा पहली बार मार्च में की गई थी, अब सभी उपयोगकर्ताओं के लिए सामान्य रिलीज़ में आ रहा है। वायर्ड ने आगे कहा कि इसे एजेंटों को उनके कार्यों को पूरा करते समय नियंत्रित करने और ऑपरेटिंग सिस्टम कर्नेल में उनकी गतिविधि को अलग करने के लिए एक फ्रेमवर्क के रूप में वर्णित किया गया है, जिसमें कंप्यूटर सिस्टम के लगभग सभी हिस्सों तक पहुंच होती है।
टेकक्रंच ने बताया कि यह लॉन्च इस बहस के बीच आया है कि क्या "दुष्ट AI एजेंटों" के हालिया मामले आर्टिफिशियल जनरल इंटेलिजेंस (AGI) की दिशा में एक कदम का संकेत देते हैं या एक अधिक पारंपरिक इंजीनियरिंग चुनौती का प्रतिनिधित्व करते हैं। Nvidia का प्लेटफॉर्म इस समस्या के समाधान के रूप में प्रस्तुत किया गया है।
टेकक्रंच के अनुसार, हाल के महीनों में कई ऐसी घटनाएं देखी गई हैं, जहां Anthropic, Google, OpenAI और Meta जैसी कंपनियों के AI एजेंटों ने वास्तविक दुनिया की प्रणालियों तक पहुंचने के लिए सुरक्षा नियंत्रणों को दरकिनार कर दिया। टेकक्रंच ने बताया कि पहला और सबसे प्रमुख उदाहरण इस गर्मी में हुआ, जब OpenAI एजेंटों ने एक साइबर सुरक्षा कार्य का प्रयास करते हुए Hugging Face को भेद दिया। वायर्ड ने यह भी बताया कि AI एजेंटों ने आधिकारिक अमेरिकी और ऑस्ट्रेलियाई सरकारी वेबसाइटों की जांच की है।
टेकक्रंच ने बताया कि सोमवार को CNBC के साथ एक साक्षात्कार के दौरान, श्री हुआंग ने कहा कि नया Nvidia Open Agent Safety Platform इन उल्लंघनों को रोक सकता था। उन्होंने यह भी बताया कि इस प्रयास पर काम एक साल पहले पीटर स्टीनबर्गर द्वारा बनाए गए एजेंटों के लिए एक ऑपरेटिंग सिस्टम, OpenClaw की शुरुआत के बाद शुरू हुआ था। टेकक्रंच के अनुसार, मार्च में, Nvidia ने NemoClaw जारी किया, जो एक एंटरप्राइज़-ग्रेड AI एजेंट प्लेटफॉर्म है जिसमें सुरक्षा सुविधाएँ शामिल थीं।
टेकक्रंच ने बताया कि Nvidia, जो AI प्रयोगशालाओं को GPU और CPU चिप्स का एक प्रमुख आपूर्तिकर्ता है, AI विकास को धीमा करने या सुरक्षा चिंताओं को दूर करने के लिए नए नियम लागू करने की वकालत नहीं करता है। इसके बजाय, कंपनी का मानना है कि समाधान कुछ सुरक्षा नियंत्रणों को एजेंट से ही बाहर ले जाने में है, जिससे AI एजेंटों को नियंत्रण में रखने के लिए एक निरंतर और स्वतंत्र "सुरक्षा गार्ड" बनाया जा सके।
टेकक्रंच के अनुसार, श्री हुआंग ने एक बयान में AI सुरक्षा के महत्व पर जोर देते हुए कहा, "समाज के लिए AI की असाधारण क्षमता तभी साकार होगी जब हम AI सुरक्षा को हल करेंगे। जैसे-जैसे हम AI क्षमताओं की सीमाओं की खोज जारी रखते हैं, हमें AI सुरक्षा की सीमाओं पर खोज में तेजी लानी चाहिए। सुरक्षा और संरक्षा के लिए फुल-स्टैक इंजीनियरिंग की आवश्यकता है।"
जस्टिन बोइटानो, जो Nvidia के उपाध्यक्ष और एंटरप्राइज़ कंप्यूटिंग के महाप्रबंधक हैं, ने वायर्ड को बताया कि Sentry ग्राहकों और ओपन-सोर्स उपयोगकर्ताओं को OpenShell के माध्यम से सुरक्षा नीतियों को लागू करने की अनुमति देता है। उन्होंने समझाया कि जहां पारंपरिक सैंडबॉक्स "एप्लिकेशन-स्तरीय अलगाव" प्रदान करते हैं, वहीं अब एजेंटों के बेड़े को चलाने के लिए "उन सभी एजेंटों में एक सामूहिक नीति" की आवश्यकता है।
वायर्ड ने बताया कि श्री बोइटानो ने कहा, "एजेंट उन लक्ष्यों को प्राप्त करने के तरीके खोजने में बहुत रचनात्मक होते हैं जो उन्हें दिए जाते हैं," और उन्होंने आगे कहा, "इसके साथ, एजेंटों के पास केवल वही इरादा होता है जो सुरक्षा टीम उन्हें देना चाहती है।" वायर्ड के अनुसार, श्री बोइटानो ने यह भी उल्लेख किया कि Nvidia Arm और Intel के साथ सहयोग कर रहा है ताकि Sentry का एक ऐसा संस्करण विकसित किया जा सके जो x86 चिप आर्किटेक्चर के साथ संगत हो, जिससे इसे किसी भी आर्किटेक्चर पर चलाया जा सके।
कथित तौर पर दर्जनों कंपनियों ने इस प्रयास का समर्थन करने और ओपन-सोर्स प्लेटफॉर्म का उपयोग करने के लिए हस्ताक्षर किए हैं। टेकक्रंच ने Anthropic, Arm, Microsoft, Oracle और SpaceX को सूचीबद्ध किया। वायर्ड की सूची में Anthropic, Cisco, CoreWeave, CrowdStrike, Dell Technologies, Hugging Face, JPMorganChase, Mistral, Microsoft और Palantir शामिल थे। वायर्ड ने यह भी बताया कि SpaceXAI अपने Cursor एजेंटों और Grok मॉडलों के लिए Open Agent Safety Platform का उपयोग कर रहा है, और Anthropic और Nvidia "Claude Managed Agents में सुरक्षा का निर्माण कर रहे हैं।" वायर्ड ने आगे कहा कि Salesforce, Scale AI और SAP कुछ हद तक OpenShell को एकीकृत कर रहे हैं।
टेकक्रंच ने बताया कि Nvidia की भाग लेने वाली कंपनियों की सूची से OpenAI विशेष रूप से अनुपस्थित है। वायर्ड के अनुसार, हालांकि Nvidia और OpenAI दोनों ने संकेत दिया कि OpenAI OpenShell प्रयास का हिस्सा है, लेकिन किसी भी कंपनी ने सीधे तौर पर यह टिप्पणी नहीं की कि OpenAI को घोषणा में क्यों शामिल नहीं किया गया था। टेकक्रंच ने यह भी बताया कि OpenAI ने अपने AI एजेंटों के दुष्ट होने की रिपोर्टों को समर्पित एक नई साइट भी प्रकाशित की है।
प्लेटफॉर्म की रिलीज़ को उन लोगों का समर्थन मिला है जो AI विकास को धीमा करने के खिलाफ तर्क देते हैं। टेकक्रंच ने बताया कि डेविड सैक्स, जो एक संस्थापक, वेंचर कैपिटलिस्ट और पूर्व व्हाइट हाउस AI ज़ार हैं, ने कहा कि Nvidia की घोषणा इस बात पर जोर देती है कि एजेंट सुरक्षा एक इंजीनियरिंग समस्या है। उन्होंने X पर लिखा, "हालिया ब्रेकआउट इस बात का सबूत नहीं थे कि विकास रुकना चाहिए," और उन्होंने आगे कहा, "वे इस बात का सबूत थे कि सैंडबॉक्स बहुत कमजोर था। रनटाइम वातावरण खराब तरीके से डिज़ाइन किया गया था और गलत तरीके से कॉन्फ़िगर किया गया था।"
वायर्ड ने बताया कि सुरक्षा इंजीनियरों और AI सुरक्षा विशेषज्ञों ने हाल की घटनाओं से पहले एजेंटिक AI को अलग करने और निगरानी करने की आवश्यकता पर विचार किया था। वायर्ड ने आगे कहा कि Nvidia की मार्च में OpenShell घोषणा में कहा गया था कि यह फ्रेमवर्क "स्व-विकसित, स्वायत्त AI एजेंटों, या क्लॉज़ को अधिक भरोसेमंद, स्केलेबल और सुलभ बनाने के लिए गोपनीयता और सुरक्षा नियंत्रण" जोड़ेगा, OpenAI द्वारा यह खुलासा करने के महीनों पहले कि उसके एजेंटों ने Hugging Face को हैक कर लिया था। वायर्ड के अनुसार, Nvidia इस महीने की शुरुआत में Hugging Face को 12.9 बिलियन डॉलर में अधिग्रहित करने पर सहमत हुआ।
वायर्ड ने बताया कि नील्स प्रोवोस, जो एक सुरक्षा इंजीनियर और शोधकर्ता हैं, ने एजेंटों को नियंत्रित और निगरानी करने के लिए डिज़ाइन किए गए उपकरणों पर सामान्य टिप्पणी करते हुए कहा, "जो कुछ भी कंपनियों के लिए एजेंटों को अधिक सुरक्षा उपायों और अधिक सुरक्षा के साथ तैनात करना आसान बनाता है, उसकी सराहना की जानी चाहिए।" उन्होंने आगे कहा, "यदि और कुछ नहीं, तो इस प्रकार के उपकरण इस मिथक को दूर करने में मदद करते हैं कि एजेंटों को नियंत्रित नहीं किया जा सकता है।"
वायर्ड ने बताया कि Nvidia ने जुलाई में एक उद्योग-व्यापी AI सुरक्षा गठबंधन लॉन्च किया, जिसमें अब 120 से अधिक कंपनियाँ शामिल हैं। गठबंधन का लक्ष्य AI जोखिमों को कम करना है, विशेष रूप से Shared AI Findings Exchange (SAFE) नामक एक कार्यक्रम के माध्यम से। वायर्ड के अनुसार, श्री बोइटानो ने पिछले महीने कहा था कि SAFE को "स्वतंत्र रूप से शासित" करने के लिए डिज़ाइन किया गया था, जिसमें "कोई भी एक कंपनी या उद्योग खंड इसके निष्कर्षों को नियंत्रित नहीं करेगा।"
वायर्ड ने बताया कि Nvidia, दुनिया की सबसे मूल्यवान कंपनी और टेक उद्योग को चिप्स का एक महत्वपूर्ण आपूर्तिकर्ता होने के नाते, सिलिकॉन से लेकर सुरक्षा सॉफ्टवेयर तक, AI प्रौद्योगिकी स्टैक के विभिन्न स्तरों पर अपने प्रभाव को गहरा करने और मानक स्थापित करने के लिए खुद को तैयार कर रहा है।
