OpenAI की नई तर्क तकनीक ने AI सुरक्षा विशेषज्ञों को चिंतित किया

OpenAI का नया Astra मॉडल एक तर्क तकनीक का उपयोग करने के लिए तैयार है जिसे “पुनरावर्ती गहराई” के रूप में जाना जाता है, जो इसे अधिकांश तर्क मॉडलों की सामान्य अनुक्रमिक सोच से बाहर कार्य करने की अनुमति देता है। The Information द्वारा मंगलवार को रिपोर्ट किए गए इस विकास ने AI सुरक्षा विशेषज्ञों के बीच चिंता बढ़ा दी है क्योंकि मॉडल की सोच की श्रृंखला की निगरानी करना कठिन हो सकता है।

इस तकनीक को “अस्पष्ट पुनरावृत्ति” के रूप में भी संदर्भित किया गया है, जिसने महत्वपूर्ण चिंताओं को जन्म दिया है। Buck Shlegeris, Redwood के CEO, ने इस समाचार के बाद एक पोस्ट में अपनी चिंताओं को व्यक्त किया:

“

"मैं इस रिपोर्टिंग से अत्यंत चिंतित हूं कि Astra अस्पष्ट पुनरावृत्ति का उपयोग करता है। मुझे नहीं पता कि क्या Astra पिछले मॉडलों की तुलना में बहुत कम CoT मॉनिटर करने योग्य है। लेकिन अगर OpenAI इस तकनीक को और आगे बढ़ाता है, तो उनके पास पुनरावृत्ति को बड़े पैमाने पर बढ़ाने और CoT मॉनिटर करने की क्षमता को पूरी तरह से नष्ट करने का विकल्प होगा।"

Zvi Mowshowitz, जो AI सुरक्षा के लिए लंबे समय से एक समर्थक हैं, ने इन चिंताओं को दोहराया, यह सुझाव देते हुए कि AI प्रयोगशालाओं के बीच “नीचे की दौड़” को रोकने के लिए कानूनों की आवश्यकता हो सकती है। उन्होंने नोट किया:

“

"यह तकनीक आग के साथ खेल रही है, एक ऐसा टैबू जोखिम में डाल रही है जिसे OpenAI और Anthropic ने स्थापित करने के लिए संघर्ष किया है कि हम Chain of Thought की विश्वासयोग्यता और मॉनिटर करने की क्षमता को बनाए रखने के लिए कड़ी मेहनत करते हैं। ऐसी तकनीकों का अधिक गहन उपयोग शायद मॉनिटर करने की क्षमता को नुकसान पहुंचाएगा।"