एआई उपकरण कथित जाति और लिंग के अनुसार नौकरी आवेदकों के नामों की रैंकिंग में पक्षपात दिखाते हैं

ऐसा लगता है कि नियुक्ति का भविष्य स्वचालित है। हजारों की संख्या में नौकरी लिस्टिंग के लिए आवेदन करने के लिए आवेदक अब कृत्रिम बुद्धिमत्ता बॉट का उपयोग कर सकते हैं। और कंपनियां – जिनके पास प्रक्रिया के लंबे स्वचालित हिस्से हैं – अब नौकरी विवरण लिखने, बायोडाटा की जांच करने और आवेदकों की स्क्रीनिंग के लिए नवीनतम एआई बड़े भाषा मॉडल को तैनात कर रहे हैं। एक अनुमान के अनुसार फॉर्च्यून 500 कंपनियों में से 99% अब अपनी नियुक्ति प्रक्रिया में किसी न किसी रूप में स्वचालन का उपयोग करती हैं।

यह स्वचालन दक्षता को बढ़ावा दे सकता है, और कुछ का दावा है कि यह नियुक्ति प्रक्रिया को कम भेदभावपूर्ण बना सकता है। लेकिन वाशिंगटन विश्वविद्यालय के नए शोध में तीन अत्याधुनिक बड़े भाषा मॉडल, या एलएलएम, बायोडाटा को रैंक करने में महत्वपूर्ण नस्लीय, लिंग और अंतरविरोधी पूर्वाग्रह पाया गया। शोधकर्ताओं ने 550 से अधिक वास्तविक दुनिया के बायोडाटा में श्वेत और अश्वेत पुरुषों और महिलाओं से जुड़े नामों को अलग-अलग रखा और पाया कि एलएलएम ने 85% समय श्वेत-संबंधित नामों को प्राथमिकता दी, महिला-संबद्ध नामों को केवल 11% समय, और कभी भी अश्वेत पुरुष को पसंद नहीं किया। -श्वेत पुरुष-संबंधित नामों पर संबद्ध नाम।

टीम ने 22 अक्टूबर को सैन जोस में आर्टिफिशियल इंटेलिजेंस, एथिक्स और सोसाइटी पर एएएआई/एसीएम सम्मेलन में अपना शोध प्रस्तुत किया।

सूचना स्कूल में यूडब्ल्यू डॉक्टरेट उम्मीदवार, प्रमुख लेखक कायरा विल्सन ने कहा, “नियुक्ति प्रक्रियाओं के लिए एआई टूल का उपयोग पहले से ही व्यापक है, और यह जितना हम इसे विनियमित कर सकते हैं उससे कहीं अधिक तेजी से बढ़ रहा है।” “वर्तमान में, न्यूयॉर्क शहर के कानून के बाहर, इन प्रणालियों का कोई नियामक, स्वतंत्र ऑडिट नहीं है, इसलिए हम नहीं जानते कि क्या वे पक्षपाती हैं और नस्ल और लिंग जैसी संरक्षित विशेषताओं के आधार पर भेदभाव कर रहे हैं। और क्योंकि इनमें से बहुत सारे हैं सिस्टम मालिकाना हैं, हम वास्तविक दुनिया सिस्टम का अनुमान लगाकर यह विश्लेषण करने तक ही सीमित हैं कि वे कैसे काम करते हैं।”

पिछले अध्ययनों में पाया गया है कि चैटजीपीटी बायोडाटा छांटते समय नस्लीय और विकलांगता पूर्वाग्रह प्रदर्शित करता है। लेकिन वे अध्ययन अपेक्षाकृत छोटे थे – केवल एक बायोडाटा या चार नौकरी लिस्टिंग का उपयोग करते हुए – और चैटजीपीटी का एआई मॉडल एक तथाकथित “ब्लैक बॉक्स” है, जो विश्लेषण के लिए विकल्पों को सीमित करता है।

यूडब्ल्यू टीम ओपन-सोर्स एलएलएम का अध्ययन करना चाहती थी और बड़े पैमाने पर ऐसा करना चाहती थी। वे नस्ल और लिंग के बीच अंतर्संबंध की भी जांच करना चाहते थे।

शोधकर्ताओं ने बायोडाटा में श्वेत और अश्वेत पुरुषों और महिलाओं से जुड़े 120 प्रथम नामों को अलग-अलग किया। फिर उन्होंने 500 से अधिक वास्तविक दुनिया की नौकरी लिस्टिंग में आवेदकों के रूप में बायोडाटा को रैंक करने के लिए तीन अलग-अलग कंपनियों – मिस्ट्रल एआई, सेल्सफोर्स और कॉन्टेक्स्टुअल एआई – के तीन अत्याधुनिक एलएलएम का उपयोग किया। ये मानव संसाधन कार्यकर्ता, इंजीनियर और शिक्षक सहित नौ व्यवसायों में फैले हुए थे। इससे बायोडाटा और नौकरी विवरण के बीच तीन मिलियन से अधिक तुलनाएं हुईं।

इसके बाद टीम ने सांख्यिकीय महत्व के लिए इन चार जनसांख्यिकी में सिस्टम की सिफारिशों का मूल्यांकन किया। पसंदीदा प्रणाली:

• श्वेत-संबद्ध नाम 85% समय बनाम काले-संबद्ध नाम 9% समय;
• और पुरुष-संबंधित नाम 52% समय बनाम महिला-संबद्ध नाम 11% समय।

टीम ने अंतःक्रियात्मक पहचानों को भी देखा और पाया कि पूर्वाग्रह के पैटर्न केवल नस्ल और लिंग पहचान का योग नहीं हैं। उदाहरण के लिए, अध्ययन में आमतौर पर सफेद महिला और आमतौर पर सफेद पुरुष नामों के बीच सबसे छोटी असमानता दिखाई गई। और सिस्टम ने कभी भी श्वेत पुरुष नामों की तुलना में काले पुरुष नामों को प्राथमिकता नहीं दी। फिर भी उन्होंने 67% बार आम तौर पर काले महिला नामों को प्राथमिकता दी, जबकि आम तौर पर काले पुरुष नामों को 15% बार पसंद किया।

विल्सन ने कहा, “हमें काले पुरुषों के खिलाफ यह वास्तव में अनोखा नुकसान मिला जो केवल नस्ल या लिंग को अलग-अलग देखने से दिखाई नहीं देता था।” “इंटरसेक्शनैलिटी अभी केवल कैलिफ़ोर्निया में एक संरक्षित विशेषता है, लेकिन एआई सिस्टम की निष्पक्षता सुनिश्चित करने के लिए पहचान के बहुआयामी संयोजनों को देखना अविश्वसनीय रूप से महत्वपूर्ण है। यदि यह उचित नहीं है, तो हमें इसका दस्तावेजीकरण करने की आवश्यकता है ताकि इसमें सुधार किया जा सके।”

टीम का कहना है कि भविष्य के शोध में पूर्वाग्रह और नुकसान कम करने के तरीकों का पता लगाया जाना चाहिए जो एआई सिस्टम को नीतियों के साथ संरेखित कर सकते हैं। इसे अन्य संरक्षित विशेषताओं, जैसे कि विकलांगता और उम्र, के साथ-साथ अधिक नस्लीय और लिंग पहचान पर भी ध्यान देना चाहिए – अंतर्संबंधीय पहचान पर जोर देने के साथ।

आईस्कूल में यूडब्ल्यू के सहायक प्रोफेसर, वरिष्ठ लेखक आयलिन कैलिस्कन ने कहा, “अब जब जेनरेटिव एआई सिस्टम व्यापक रूप से उपलब्ध हैं, तो लगभग कोई भी इन मॉडलों का उपयोग उन महत्वपूर्ण कार्यों के लिए कर सकता है जो उनके स्वयं के और अन्य लोगों के जीवन को प्रभावित करते हैं, जैसे कि भर्ती।” “उदाहरण के लिए, छोटी कंपनियाँ अपनी नियुक्ति प्रक्रियाओं को और अधिक कुशल बनाने के लिए इन प्रणालियों का उपयोग करने का प्रयास कर सकती हैं, लेकिन यह बड़े जोखिमों के साथ आता है। जनता को यह समझने की जरूरत है कि ये प्रणालियाँ पक्षपातपूर्ण हैं। और भेदभाव और असमानताओं जैसे आवंटन संबंधी नुकसानों से परे, यह पूर्वाग्रह नस्ल, लिंग और समाज के बारे में हमारी धारणाओं को महत्वपूर्ण रूप से आकार देता है।”

kywi@uw.edu और कैलिस्कन पर aylin@uw.edu .