एआई को अपनी भविष्यवाणियों को सरल भाषा में समझाने में सक्षम बनाना

मशीन-लर्निंग स्पष्टीकरणों को पठनीय आख्यानों में बदलने के लिए एलएलएम का उपयोग करने से उपयोगकर्ताओं को किसी मॉडल पर भरोसा करने के बारे में बेहतर निर्णय लेने में मदद मिल सकती है।

मशीन-लर्निंग मॉडल गलतियाँ कर सकते हैं और उनका उपयोग करना कठिन हो सकता है, इसलिए वैज्ञानिकों ने उपयोगकर्ताओं को यह समझने में मदद करने के लिए स्पष्टीकरण विधियाँ विकसित की हैं कि उन्हें किसी मॉडल की भविष्यवाणियों पर कब और कैसे भरोसा करना चाहिए।

हालाँकि, ये स्पष्टीकरण अक्सर जटिल होते हैं, जिनमें शायद सैकड़ों मॉडल सुविधाओं के बारे में जानकारी होती है। और उन्हें कभी-कभी बहुआयामी विज़ुअलाइज़ेशन के रूप में प्रस्तुत किया जाता है जिन्हें पूरी तरह से समझना उन उपयोगकर्ताओं के लिए मुश्किल हो सकता है जिनके पास मशीन-लर्निंग विशेषज्ञता की कमी है।

लोगों को एआई स्पष्टीकरणों को समझने में मदद करने के लिए, एमआईटी शोधकर्ताओं ने कथानक-आधारित स्पष्टीकरणों को सरल भाषा में बदलने के लिए बड़े भाषा मॉडल (एलएलएम) का उपयोग किया।

उन्होंने एक दो-भाग प्रणाली विकसित की है जो मशीन-लर्निंग स्पष्टीकरण को मानव-पठनीय पाठ के एक पैराग्राफ में परिवर्तित करती है और फिर स्वचालित रूप से कथा की गुणवत्ता का मूल्यांकन करती है, ताकि अंतिम-उपयोगकर्ता को पता चले कि इस पर भरोसा करना है या नहीं।

सिस्टम को कुछ उदाहरण स्पष्टीकरणों के साथ प्रेरित करके, शोधकर्ता उपयोगकर्ताओं की प्राथमिकताओं या विशिष्ट अनुप्रयोगों की आवश्यकताओं को पूरा करने के लिए इसके वर्णनात्मक विवरणों को अनुकूलित कर सकते हैं।

लंबे समय में, शोधकर्ताओं को उम्मीद है कि उपयोगकर्ताओं को एक मॉडल अनुवर्ती प्रश्न पूछने में सक्षम करके इस तकनीक का निर्माण किया जाएगा कि यह वास्तविक दुनिया की सेटिंग्स में भविष्यवाणियों के साथ कैसे आया।

“इस शोध के साथ हमारा लक्ष्य उपयोगकर्ताओं को मशीन-लर्निंग मॉडल के साथ पूरी तरह से बातचीत करने की अनुमति देने की दिशा में पहला कदम उठाना था, जिसके कारण उन्होंने कुछ भविष्यवाणियां कीं, ताकि वे मॉडल को सुनने के बारे में बेहतर निर्णय ले सकें,” कहते हैं। एलेक्जेंड्रा ज़ायटेक, एक इलेक्ट्रिकल इंजीनियरिंग और कंप्यूटर विज्ञान (ईईसीएस) स्नातक छात्र और इस तकनीक पर एक पेपर के प्रमुख लेखक।

पेपर में उनके साथ एमआईटी पोस्टडॉक सारा पिडो भी शामिल हैं; सारा अलनेघिमिश, एक ईईसीएस स्नातक छात्रा; लॉर बर्टी-एक्विले, फ्रेंच नेशनल रिसर्च इंस्टीट्यूट फॉर सस्टेनेबल डेवलपमेंट के एक शोध निदेशक; और वरिष्ठ लेखक कल्याण वीरमाचानेनी, सूचना और निर्णय प्रणाली प्रयोगशाला में एक प्रमुख शोध वैज्ञानिक हैं। यह शोध आईईईई बिग डेटा कॉन्फ्रेंस में प्रस्तुत किया जाएगा।

स्पष्ट व्याख्या

शोधकर्ताओं ने SHAP नामक एक लोकप्रिय प्रकार की मशीन-लर्निंग व्याख्या पर ध्यान केंद्रित किया। SHAP स्पष्टीकरण में, मॉडल द्वारा भविष्यवाणी करने के लिए उपयोग की जाने वाली प्रत्येक सुविधा के लिए एक मान निर्दिष्ट किया जाता है। उदाहरण के लिए, यदि कोई मॉडल घर की कीमतों की भविष्यवाणी करता है, तो एक विशेषता घर का स्थान हो सकती है। स्थान को एक सकारात्मक या नकारात्मक मान दिया जाएगा जो दर्शाता है कि उस सुविधा ने मॉडल की समग्र भविष्यवाणी को कितना संशोधित किया है।

अक्सर, SHAP स्पष्टीकरण को बार प्लॉट के रूप में प्रस्तुत किया जाता है जो दिखाता है कि कौन सी विशेषताएं सबसे अधिक या कम से कम महत्वपूर्ण हैं। लेकिन 100 से अधिक विशेषताओं वाले मॉडल के लिए, वह बार प्लॉट जल्दी ही बोझिल हो जाता है।

“शोधकर्ताओं के रूप में, हमें इस बारे में बहुत सारे विकल्प चुनने होंगे कि हम दृश्य रूप से क्या प्रस्तुत करने जा रहे हैं। यदि हम केवल शीर्ष 10 को दिखाना चुनते हैं, तो लोगों को आश्चर्य हो सकता है कि किसी अन्य विशेषता का क्या हुआ जो कथानक में नहीं है। प्राकृतिक भाषा का उपयोग करना वीरमाचानेनी कहते हैं, ''हमें उन विकल्पों को चुनने से बोझ से राहत मिलती है।''

हालाँकि, प्राकृतिक भाषा में स्पष्टीकरण उत्पन्न करने के लिए एक बड़े भाषा मॉडल का उपयोग करने के बजाय, शोधकर्ता मौजूदा SHAP स्पष्टीकरण को एक पठनीय कथा में बदलने के लिए एलएलएम का उपयोग करते हैं।

ज़ीटेक बताते हैं कि केवल एलएलएम प्रक्रिया के प्राकृतिक भाषा भाग को संभालने से, यह स्पष्टीकरण में अशुद्धियों को पेश करने के अवसर को सीमित कर देता है।

उनका सिस्टम, जिसे EXPLINGO कहा जाता है, दो टुकड़ों में विभाजित है जो एक साथ काम करते हैं।

पहला घटक, जिसे NARRATOR कहा जाता है, उपयोगकर्ता की प्राथमिकताओं को पूरा करने वाले SHAP स्पष्टीकरणों का वर्णनात्मक विवरण बनाने के लिए LLM का उपयोग करता है। शुरुआत में नैरेटर को वर्णनात्मक स्पष्टीकरण के तीन से पांच लिखित उदाहरण देकर, एलएलएम पाठ तैयार करते समय उस शैली की नकल करेगा।

ज़ीटेक का कहना है, “उपयोगकर्ता को यह परिभाषित करने की कोशिश करने के बजाय कि वे किस प्रकार के स्पष्टीकरण की तलाश कर रहे हैं, यह आसान है कि वे वही लिखें जो वे देखना चाहते हैं।”

यह NARRATOR को मैन्युअल रूप से लिखे गए उदाहरणों का एक अलग सेट दिखाकर नए उपयोग के मामलों के लिए आसानी से अनुकूलित करने की अनुमति देता है।

NARRATOR द्वारा सरल भाषा में स्पष्टीकरण तैयार करने के बाद, दूसरा घटक, GRADER, चार मैट्रिक्स पर कथा को रेट करने के लिए LLM का उपयोग करता है: संक्षिप्तता, सटीकता, पूर्णता और प्रवाह। GRADER स्वचालित रूप से NARRATOR के पाठ और उसके द्वारा वर्णित SHAP स्पष्टीकरण के साथ LLM को संकेत देता है।

वह कहती हैं, “हमने पाया है कि, जब एलएलएम किसी कार्य को करने में गलती करता है, तब भी वह अक्सर उस कार्य की जाँच या सत्यापन करते समय कोई गलती नहीं करता है।”

उपयोगकर्ता प्रत्येक मीट्रिक को अलग-अलग भार देने के लिए GRADER को भी अनुकूलित कर सकते हैं।

“आप कल्पना कर सकते हैं, उदाहरण के लिए, एक उच्च-दांव वाले मामले में, भार सटीकता और पूर्णता प्रवाह से कहीं अधिक है,” वह आगे कहती हैं।

आख्यानों का विश्लेषण

ज़ायटेक और उसके सहयोगियों के लिए, सबसे बड़ी चुनौतियों में से एक एलएलएम को समायोजित करना था, इसलिए इसने स्वाभाविक-सी लगने वाली कहानियाँ तैयार कीं। शैली को नियंत्रित करने के लिए उन्होंने जितने अधिक दिशानिर्देश जोड़े, उतनी ही अधिक संभावना है कि एलएलएम स्पष्टीकरण में त्रुटियाँ पेश करेगा।

वह कहती हैं, ''प्रत्येक गलती को एक-एक करके ढूंढने और उसे ठीक करने में बहुत सारी त्वरित ट्यूनिंग की गई।''

अपने सिस्टम का परीक्षण करने के लिए, शोधकर्ताओं ने स्पष्टीकरण के साथ नौ मशीन-लर्निंग डेटासेट लिए और प्रत्येक डेटासेट के लिए अलग-अलग उपयोगकर्ताओं से विवरण लिखवाया। इससे उन्हें अद्वितीय शैलियों की नकल करने के लिए NARRATOR की क्षमता का मूल्यांकन करने की अनुमति मिली। उन्होंने सभी चार मेट्रिक्स पर प्रत्येक कथा स्पष्टीकरण को स्कोर करने के लिए GRADER का उपयोग किया।

अंत में, शोधकर्ताओं ने पाया कि उनका सिस्टम उच्च-गुणवत्ता वाली कथात्मक व्याख्याएँ उत्पन्न कर सकता है और विभिन्न लेखन शैलियों की प्रभावी ढंग से नकल कर सकता है।

उनके नतीजे बताते हैं कि कुछ मैन्युअल रूप से लिखित उदाहरण स्पष्टीकरण प्रदान करने से कथा शैली में काफी सुधार होता है। हालाँकि, उन उदाहरणों को सावधानीपूर्वक लिखा जाना चाहिए – तुलनात्मक शब्दों, जैसे “बड़ा” सहित, GRADER के कारण सटीक स्पष्टीकरणों को गलत के रूप में चिह्नित किया जा सकता है।

इन परिणामों के आधार पर, शोधकर्ता ऐसी तकनीकों का पता लगाना चाहते हैं जो उनके सिस्टम को तुलनात्मक शब्दों को बेहतर ढंग से संभालने में मदद कर सकें। वे स्पष्टीकरणों में युक्तिकरण जोड़कर EXPLINGO का विस्तार भी करना चाहते हैं।

लंबे समय में, वे इस काम को एक इंटरैक्टिव सिस्टम की ओर एक कदम के रूप में उपयोग करने की उम्मीद करते हैं जहां उपयोगकर्ता किसी स्पष्टीकरण के बारे में मॉडल अनुवर्ती प्रश्न पूछ सकता है।

“इससे निर्णय लेने में कई तरह से मदद मिलेगी। यदि लोग किसी मॉडल की भविष्यवाणी से असहमत हैं, तो हम चाहते हैं कि वे तुरंत यह पता लगाने में सक्षम हों कि क्या उनका अंतर्ज्ञान सही है, या यदि मॉडल का अंतर्ज्ञान सही है, और वह अंतर कहां है से आ रहा है,” ज़ीटेक कहते हैं।