वैज्ञानिकों ने चेतावनी दी है कि बड़े भाषा मॉडल वास्तविक दुनिया में उपयोग के लिए उपयुक्त नहीं हैं – यहां तक कि थोड़े से बदलाव के कारण भी उनके विश्व मॉडल ध्वस्त हो जाते हैं
उत्पादक कृत्रिम होशियारी (एआई) सिस्टम कुछ आंखें खोलने वाले परिणाम देने में सक्षम हो सकते हैं लेकिन नए शोध से पता चलता है कि उनके पास दुनिया और वास्तविक नियमों की सुसंगत समझ नहीं है।
में एक नया अध्ययन arXiv प्रीप्रिंट डेटाबेस में प्रकाशित, MIT, हार्वर्ड और कॉर्नेल के वैज्ञानिकों ने पाया कि बड़े भाषा मॉडल (एलएलएम), जैसे जीपीटी-4 या एंथ्रोपिक का 3 कार्य बंद करेंवास्तविक दुनिया का सटीक प्रतिनिधित्व करने वाले अंतर्निहित मॉडल तैयार करने में विफल।
उदाहरण के लिए, जब न्यूयॉर्क शहर में बारी-बारी से ड्राइविंग निर्देश प्रदान करने का काम सौंपा गया, तो एलएलएम ने उन्हें लगभग 100% सटीकता के साथ वितरित किया। लेकिन जब वैज्ञानिकों ने उपयोग किए गए अंतर्निहित मानचित्रों को निकाला तो वे अस्तित्वहीन सड़कों और मार्गों से भरे हुए थे।
शोधकर्ताओं ने पाया कि जब किसी निर्देश में अप्रत्याशित परिवर्तन जोड़े गए (जैसे कि चक्कर और बंद सड़कें), तो एलएलएम द्वारा दिए गए निर्देशों की सटीकता कम हो गई। कुछ मामलों में, इसके परिणामस्वरूप पूर्ण विफलता हुई। इस प्रकार, यह चिंता पैदा करता है कि वास्तविक दुनिया की स्थिति में तैनात एआई सिस्टम, जैसे ड्राइवर रहित कार में, गतिशील वातावरण या कार्यों के साथ प्रस्तुत होने पर खराब हो सकते हैं।
“एक उम्मीद यह है कि, क्योंकि एलएलएम भाषा में इन सभी अद्भुत चीजों को पूरा कर सकता है, शायद हम विज्ञान के अन्य हिस्सों में भी इन्हीं उपकरणों का उपयोग कर सकते हैं। लेकिन अगर हम चाहें तो यह सवाल बहुत महत्वपूर्ण है कि क्या एलएलएम सुसंगत विश्व मॉडल सीख रहे हैं या नहीं नई खोज करने के लिए इन तकनीकों का उपयोग करें,” वरिष्ठ लेखक ने कहा Ashesh Rambachanअर्थशास्त्र के सहायक प्रोफेसर और सूचना और निर्णय प्रणाली (एलआईडीएस) के लिए एमआईटी प्रयोगशाला में एक प्रमुख अन्वेषक, एक में कथन.
पेचीदा ट्रांसफार्मर
जेनरेटिव एआई का सार समानांतर रूप से बड़ी मात्रा में डेटा और मापदंडों से सीखने की एलएलएम की क्षमता पर आधारित है। ऐसा करने के लिए वे भरोसा करते हैं ट्रांसफार्मर मॉडलजो तंत्रिका नेटवर्क का अंतर्निहित सेट है जो डेटा को संसाधित करता है और एलएलएम के स्व-शिक्षण पहलू को सक्षम करता है। यह प्रक्रिया एक तथाकथित “विश्व मॉडल” बनाती है जिसका उपयोग एक प्रशिक्षित एलएलएम उत्तर का अनुमान लगाने और प्रश्नों और कार्यों के आउटपुट उत्पन्न करने के लिए कर सकता है।
विश्व मॉडल का ऐसा एक सैद्धांतिक उपयोग प्रत्येक मार्ग को श्रमसाध्य रूप से प्लॉट करने की आवश्यकता के बिना एक नक्शा तैयार करने के लिए एक शहर भर में टैक्सी यात्राओं से डेटा लेना होगा, जैसा कि वर्तमान नेविगेशन टूल द्वारा आवश्यक है। लेकिन अगर वह नक्शा सटीक नहीं है, तो मार्ग में किए गए विचलन के कारण एआई-आधारित नेविगेशन ख़राब प्रदर्शन करेगा या विफल हो जाएगा।
जब वास्तविक दुनिया के नियमों और वातावरणों को समझने की बात आती है तो ट्रांसफार्मर एलएलएम की सटीकता और सुसंगतता का आकलन करने के लिए, शोधकर्ताओं ने नियतात्मक परिमित स्वचालन (डीएफए) नामक समस्याओं के एक वर्ग का उपयोग करके उनका परीक्षण किया। ये राज्यों के अनुक्रम से जुड़ी समस्याएं हैं जैसे किसी खेल के नियम या किसी गंतव्य के रास्ते में चौराहे। इस मामले में, शोधकर्ताओं ने बोर्ड गेम ओथेलो से तैयार डीएफए और न्यूयॉर्क की सड़कों के माध्यम से नेविगेशन का उपयोग किया।
डीएफए के साथ ट्रांसफार्मर का परीक्षण करने के लिए, शोधकर्ताओं ने दो मैट्रिक्स को देखा। पहला “अनुक्रम निर्धारण” था, जो यह आकलन करता है कि क्या एक ट्रांसफार्मर एलएलएम ने एक सुसंगत विश्व मॉडल का गठन किया है यदि उसने एक ही चीज़ की दो अलग-अलग स्थितियाँ देखी हैं: दो ओथेलो बोर्ड या एक शहर का नक्शा जिसमें सड़क बंद है और दूसरा बिना सड़क के। दूसरा मीट्रिक “अनुक्रम संपीड़न” था – एक अनुक्रम (इस मामले में आउटपुट उत्पन्न करने के लिए उपयोग किए जाने वाले डेटा बिंदुओं की एक क्रमबद्ध सूची) जो यह दिखाना चाहिए कि एक सुसंगत विश्व मॉडल वाला एलएलएम दो समान राज्यों को समझ सकता है, (दो ओथेलो बोर्ड कहते हैं) बिल्कुल समान हैं) अनुसरण करने के लिए संभावित चरणों का समान क्रम है।
एलएलएम पर भरोसा करना जोखिम भरा व्यवसाय है
इन मैट्रिक्स पर एलएलएम की दो सामान्य कक्षाओं का परीक्षण किया गया। एक को बेतरतीब ढंग से उत्पादित अनुक्रमों से उत्पन्न डेटा पर प्रशिक्षित किया गया था जबकि दूसरे को रणनीतिक प्रक्रियाओं का पालन करके उत्पन्न डेटा पर प्रशिक्षित किया गया था।
वैज्ञानिकों ने पाया कि यादृच्छिक डेटा पर प्रशिक्षित ट्रांसफार्मर ने एक अधिक सटीक विश्व मॉडल बनाया, यह संभवतः एलएलएम में संभावित चरणों की व्यापक विविधता को देखने के कारण था। प्रमुख लेखक केयोन वफ़ाहार्वर्ड के एक शोधकर्ता ने एक बयान में बताया: “ओथेलो में, यदि आप चैंपियनशिप खिलाड़ियों के बजाय दो यादृच्छिक कंप्यूटरों को खेलते हुए देखते हैं, तो सिद्धांत रूप में आप संभावित चालों का पूरा सेट देखेंगे, यहां तक कि खराब चालें चैंपियनशिप खिलाड़ी भी नहीं खेल पाएंगे ।” अधिक संभावित चालों को देखकर, भले ही वे खराब हों, एलएलएम सैद्धांतिक रूप से यादृच्छिक परिवर्तनों के अनुकूल होने के लिए बेहतर ढंग से तैयार थे।
हालाँकि, वैध ओथेलो चाल और सटीक दिशाएँ उत्पन्न करने के बावजूद, केवल एक ट्रांसफार्मर ने ओथेलो के लिए एक सुसंगत विश्व मॉडल तैयार किया, और किसी भी प्रकार ने न्यूयॉर्क का सटीक नक्शा तैयार नहीं किया। जब शोधकर्ताओं ने चक्कर जैसी चीजें पेश कीं, तो एलएलएम द्वारा उपयोग किए जाने वाले सभी नेविगेशन मॉडल विफल हो गए।
वफ़ा ने कहा, “मैं इस बात से आश्चर्यचकित था कि जैसे ही हमने एक चक्कर लगाया, प्रदर्शन कितनी तेजी से खराब हो गया। यदि हम संभावित सड़कों में से केवल 1 प्रतिशत को बंद करते हैं, तो सटीकता तुरंत लगभग 100 प्रतिशत से घटकर केवल 67 प्रतिशत रह जाती है।”
शोधकर्ताओं ने कहा, इससे पता चलता है कि सटीक विश्व मॉडल तैयार करने के लिए एलएलएम के उपयोग के लिए अलग-अलग दृष्टिकोण की आवश्यकता है। ये दृष्टिकोण क्या हो सकते हैं यह स्पष्ट नहीं है, लेकिन यह गतिशील वातावरण का सामना करने पर ट्रांसफार्मर एलएलएम की नाजुकता को उजागर करता है।
रामबचन ने निष्कर्ष निकाला, “अक्सर, हम इन मॉडलों को प्रभावशाली चीजें करते हुए देखते हैं और सोचते हैं कि उन्हें दुनिया के बारे में कुछ समझ आ गया होगा।” “मुझे उम्मीद है कि हम लोगों को यह विश्वास दिला सकते हैं कि यह एक ऐसा प्रश्न है जिसके बारे में बहुत सावधानी से सोचना चाहिए, और इसका उत्तर देने के लिए हमें अपने अंतर्ज्ञान पर निर्भर रहने की ज़रूरत नहीं है।”
