एआई • ग्लोबल डेस्क • 01 अक्टूबर 2026

259 एआई सुरक्षा शोध की समीक्षा एक ही हमले की दर से तुलना करने पर सवाल उठाती है

21 सितंबर के अध्ययन ने एजेंट सुरक्षा परीक्षणों की रिपोर्ट में बड़ी कमियाँ पाईं। उसका सवाल हमले की दरों की तुलना है, किसी खास रक्षा व्यवस्था के बेकार होने का प्रमाण नहीं।

VJOURNAL Editorial•पढ़ने में 4 मिनट•स्रोत: Pathade, Pawar and Patil — measurement audit (21 September 2026)

एआई ग्लोबल डेस्क आर्काइव

“259 एआई सुरक्षा शोध की समीक्षा एक ही हमले की दर से तुलना करने पर सवाल उठाती है” लेख के लिए VJOURNAL कवर

संक्षेप में जवाब

तथ्य-जाँच की तारीख़: 01 अक्टूबर 20263 स्रोत

लेखकों ने arXiv के 259 अंग्रेजी पेपर और अलग से 50 का यादृच्छिक मानवीय नमूना देखा।

हाथ से जाँच में 58% ने न विचरण बताया न दोहराव; स्वचालित अनुमान 65.3% है।

क्रम उलटने के आँकड़े गणितीय उदाहरण हैं, चालू मॉडल की देखी गई विफलताएँ नहीं।

खोज यह है कि स्कोर कैसे बनता है

Chetan Pathade, Prathamesh Pawar और Shubham Patil ने 21 सितंबर को जमा प्रीप्रिंट में एआई सुरक्षा मूल्यांकन की मापन समस्या देखी। एजेंट सुरक्षा के 259 पेपर में सवाल है कि हमले की सफलता दर का एक जैसा नाम सचमुच समान प्रयोग बताता है या नहीं। सितंबर का यह निष्कर्ष अधिक सक्षम एजेंटों की तुलना में प्रासंगिक है, क्योंकि अकेला प्रतिशत परीक्षा की शर्त और सफलता का अर्थ छिपा सकता है।

अध्ययन में प्रकाशित रिपोर्ट की समीक्षा और गणितीय विश्लेषण दोनों हैं। वह रक्षा प्रणालियाँ शुरू से अंत तक फिर नहीं चलाता और व्यावसायिक मॉडलों की नई रैंकिंग नहीं देता। मुख्य चिंता अलग पेपर के रिश्ते की है। दो प्रयोग अपने ढंग से ठीक हों, फिर भी उनके प्रतिशत एक ही पैमाने पर न रखे जा सकें। यह तुलना की सीमा है, हर मूल परिणाम गलत होने का प्रमाण नहीं।

हर में क्या गिना गया, उससे अर्थ बदलता है

हमले की सफलता दर सफल परिणाम को जाँची इकाइयों से भाग देती है। इकाई एक प्रयास, एक कार्य या पूरे कदमों की शृंखला हो सकती है। एक कार्य में चूक के कई मौके हो सकते हैं। हर मौके को गिनना और पूरे कार्य में कोई भी चूक हुई या नहीं गिनना उसी व्यवहार के अलग प्रतिशत देगा। दोनों गणना में अंकगणित की गलती होना जरूरी नहीं है।

लेखक छह आयाम बताते हैं। इनमें सफलता तय करने वाला निर्णायक, दोहराव, हमलावर का बदलाव, रक्षा के बारे में उसकी जानकारी और आंशिक सफलता का नियम हैं। पाठक के लिए सवाल है कि दो रिपोर्ट ने इन्हें समान ढंग से तय किया या नहीं। छोटा प्रतिशत तभी अर्थपूर्ण है जब हर और फैसला नियम समझ आए। दशमलव बढ़ाने से अस्पष्ट या बदलता मापन लक्ष्य ठीक नहीं हो जाता।

Pathade, Pawar और Patil, 21 सितंबर 2026 का प्रीप्रिंट: रिपोर्टिंग के अनुमान, नामित मॉडलों पर हमले के परिणाम नहीं।
रिपोर्टिंग का सवाल	नतीजा	समूह और तरीका
न विचरण न दोहराव बताया	58%; 95% अंतराल 44–71%	50 पेपर का यादृच्छिक मानवीय नमूना
न विचरण न दोहराव बताया	65.3%	259 पेपर की स्वचालित जाँच
पर्याप्त डिकोडिंग विवरण	30.9%	पूरे समूह का स्वचालित मूल्यांकन
मॉडल निर्णायक का मानव से मिलान	29.7%	LLM निर्णायक वाले 64 पुष्ट पेपर

अनिश्चितता न बताना रिपोर्ट के बारे में निष्कर्ष है

हाथ से वर्गीकृत 50 यादृच्छिक पेपर में 58 प्रतिशत ने न विचरण और न दोहराए प्रयोग बताए। गोल किया 95 प्रतिशत विश्वास अंतराल 44 से 71 प्रतिशत है। पूरे 259 पेपर की स्वचालित जाँच में 65.3 प्रतिशत मिला। दोनों अलग तरीके और अनिश्चितता वाले अनुमान हैं। ज्यादा बड़ा स्वचालित अंक मानवीय परिणाम का सटीक विकल्प समझना उचित नहीं होगा।

समीक्षा के अनुसार 30.9 प्रतिशत पेपर इतने डिकोडिंग विवरण देते हैं कि परीक्षा में यादृच्छिकता थी या नहीं तय हो सके। भाषा मॉडल को निर्णायक बनाने वाले 64 पुष्ट पेपर में 29.7 प्रतिशत ने मानव लेबल से मिलान बताया। ये आँकड़े पढ़े गए दस्तावेज में लिखी प्रक्रिया के हैं। इससे यह साबित नहीं होता कि शोधकर्ता ने कभी प्रयोग नहीं दोहराया या बिना लिखे मिलान का हर फैसला गलत था।

छोटा नमूना क्रम को अस्थिर कर सकता है

पेपर का विश्लेषण 100 स्वतंत्र मामलों का बेंचमार्क लेता है। बताई मान्यताओं में सामान्य सांख्यिकीय शक्ति पर पहचानने योग्य अंतर लगभग 18.2 प्रतिशत अंक है। दो रक्षा व्यवस्थाओं के असली अंतर में पाँच अंक हों तो सामान्य सन्निकटन एक ही मूल्यांकन में उलटा क्रम आने की संभावना करीब 21 प्रतिशत बताता है। ये गणना के उदाहरण हैं, वास्तविक सेवा की देखी गई सुरक्षा घटनाओं की दर नहीं।

स्वतंत्रता महत्वपूर्ण मान्यता है। जुड़े कार्य या साझा वातावरण प्रभावी प्रमाण को कम कर सकते हैं। इसलिए आँकड़े छोटे स्कोर अंतर के साथ अनिश्चितता बताने की जरूरत समझाते हैं, हर बेंचमार्क का सार्वभौमिक नियम नहीं बनाते। उपयोगी तुलना बार-बार मिले परिणाम और नमूने का ढाँचा दिखाएगी। पाठक तब देख सकता है कि कथित सुधार उसी प्रक्रिया के बदलाव से बड़ा है या नहीं जिसने मूल स्कोर बनाया।

सुरक्षा के साथ अधिकृत काम भी पूरा हो

प्रस्तावित दस रिपोर्टिंग नियमों में सामान्य सुरक्षित कार्यों की सफलता है। यह सुरक्षा को क्षमता से जोड़ता है। लगभग हर अनुरोध ठुकराने वाला सिस्टम कम सफल हमले दिखा सकता है, लेकिन अपना असली काम भी नहीं कर पाएगा। सुरक्षा माप के साथ वैध काम पूरा होने की दर देने से उपयोगी सीमा और अनुपयोगी सेवा अलग दिखती हैं। इसके लिए दोनों को एक अस्पष्ट संयुक्त अंक में छिपाना जरूरी नहीं है।

NIST का स्थापित एआई जोखिम ढाँचा टेस्ट समूह, विधि, उपयोग की स्थितियाँ और माप की प्रभावशीलता लिखने का संदर्भ देता है। वह पहले की मार्गदर्शिका है, सितंबर के इस पेपर का समर्थन नहीं। हमारी व्याख्या में खरीद के लिए समान स्थिति में दो परिणाम माँगें: सुरक्षित किया गया सिस्टम कितनी बार सीमाएँ मानता है और कितनी बार वह अधिकृत कार्य सफल करता है जिसके लिए उसे चुना गया था।

समीक्षा की अपनी सीमाएँ भी बची रहें

समूह केवल अंग्रेजी arXiv पेपर का है और खोज, दस्तावेज के रूपांतरण तथा स्वचालित पहचान पर निर्भर है। लेखक अनुपस्थित HTML, अंकों के खोने की संभावना और एक मानव निर्णायक का उल्लेख करते हैं। सामग्री का सार्वजनिक रिपॉजिटरी नहीं दिया गया, और नियम सूची प्रस्ताव है, प्रयोग से प्रमाणित नहीं। ये बातें पूरे शोध क्षेत्र पर रिपोर्टिंग अनुमान लागू करने के भरोसे को सीमित करती हैं।

1 अक्टूबर तक काम का योगदान अलग शोध से सुरक्षा का आसान क्रम बनाने पर ठोस सवाल है। अगला मजबूत कदम स्वतंत्र वर्गीकरण दोहराव और समान रक्षा परीक्षाएँ होंगी, जिनमें कई रन, एक जैसे सफलता नियम और वैध काम का माप हो। अभी उपयोगी संपादकीय निष्कर्ष है कि हमले का प्रतिशत उसकी प्रक्रिया के साथ पढ़ें। अकेला अंक खरीदार को विश्वसनीय ढंग से नहीं बता सकता कि कौन सा एजेंट अधिक सुरक्षित होगा।

सवाल और जवाब

क्या अध्ययन बताता है कि ज्यादातर एआई रक्षा बेकार है?

नहीं। यह माप की रिपोर्टिंग और तुलना की वैधता देखता है। विचरण या दोहराव का विवरण न होना अपने आप रक्षा की नाकामी या प्रयोग कभी दोहराया ही नहीं गया होने का प्रमाण नहीं है।

मानवीय और स्वचालित प्रतिशत अलग क्यों हैं?

मानवीय अनुमान 50 यादृच्छिक पेपर से और स्वचालित अनुमान 259 से आया। नमूने की अनिश्चितता तथा जानकारी पकड़ने की गलतियाँ दोनों असर डालती हैं। इन्हें अलग अनुमान के रूप में पढ़ना चाहिए।

क्या लगभग 21% असली एजेंट की विफलता दर है?

नहीं। यह 100 मामलों और दो व्यवस्थाओं में पाँच प्रतिशत अंक के असली अंतर पर आधारित विश्लेषण है। खास मान्यताओं में गलत क्रम बनने की संभावना बताता है, वास्तविक सेवा में सुरक्षा घटना की दर नहीं।

स्रोत और जवाबदेही

स्रोतPathade, Pawar and Patil — measurement audit (21 September 2026)स्रोतPathade, Pawar and Patil — complete methods and limitationsस्रोतNIST — AI Risk Management Framework Core (historical context)फ़ोटोVJOURNAL — एआई से बनाया गया सांकेतिक संपादकीय चित्र

संपादकीय नीति

नामित लेखक, दिखाई देने वाली तारीख़ें, कई स्रोत, सुधार और रिपोर्टिंग, विश्लेषण तथा व्यावसायिक सामग्री के बीच साफ़ अलगाव।

सत्यापित टिप्पणियाँ लोड हो रही हैं...

जर्नल पर वापस