2006 में हत्या की गई लड़की को एआई चरित्र के रूप में पुनर्जीवित किया गया, जिससे परिवार भयभीत हो गया
अक्टूबर की शुरुआत में, अपनी बेटी जेनिफर की हत्या के लगभग 18 साल बाद, ड्रू क्रिसेंट को उसकी एक नई ऑनलाइन प्रोफ़ाइल के बारे में एक Google अलर्ट प्राप्त हुआ।
प्रोफ़ाइल में जेनिफर का पूरा नाम और वार्षिक पुस्तक की तस्वीर के साथ एक मनगढ़ंत जीवनी भी शामिल थी, जिसमें उन्हें “वीडियो गेम पत्रकार और प्रौद्योगिकी, पॉप संस्कृति और पत्रकारिता में विशेषज्ञ” बताया गया था। वेबसाइट के अनुसार, जेनिफर, जिनकी 2006 में हाई स्कूल के सीनियर वर्ष के दौरान उनके पूर्व-प्रेमी ने हत्या कर दी थी, को “जानकार और मैत्रीपूर्ण एआई चरित्र” के रूप में फिर से कल्पना की गई थी। एक प्रमुख बटन ने उपयोगकर्ताओं को उसके चैटबॉट के साथ बातचीत करने के लिए आमंत्रित किया।
क्रेसेंटे ने बताया, “मेरी नब्ज़ तेज़ हो गई थी।” वाशिंगटन पोस्ट, “मैं बस एक बड़े चमकते लाल स्टॉप बटन की तलाश में था जिसे मैं थपथपा सकूं और इसे रोक सकूं।”
जेनिफर के नाम और छवि का उपयोग कैरेक्टर.एआई पर एक चैटबॉट बनाने के लिए किया गया था, जो एक ऐसा मंच है जो उपयोगकर्ताओं को एआई-जनित व्यक्तित्वों के साथ बातचीत करने की सुविधा देता है। अब हटाई गई प्रोफ़ाइल के स्क्रीनशॉट के अनुसार, कई उपयोगकर्ता जेनिफर के डिजिटल संस्करण से जुड़े हुए थे, जिसे साइट पर किसी ने बनाया था।
क्रिसेंट, जो किशोर डेटिंग हिंसा को रोकने के लिए अपनी बेटी के नाम पर एक गैर-लाभकारी संस्था चलाता है, इस बात से भयभीत था कि मंच ने एक उपयोगकर्ता को परिवार की सहमति के बिना एक मारे गए हाई स्कूल छात्र की एआई प्रतिकृति बनाने की अनुमति दी थी। विशेषज्ञों का कहना है कि यह घटना संवेदनशील व्यक्तिगत डेटा को संभालने में सक्षम प्रौद्योगिकी द्वारा उत्पन्न जोखिमों से उपयोगकर्ताओं को बचाने की एआई उद्योग की क्षमता के बारे में गंभीर चिंताओं को उजागर करती है।
क्रेसेंटे ने कहा, “मुझे चौंकने में काफी समय लगता है क्योंकि मैं वास्तव में काफी कुछ झेल चुका हूं।” “लेकिन यह एक नया निचला स्तर था।”
कैरेक्टर के प्रवक्ता कैथरीन केली ने कहा कि कंपनी उन चैटबॉट्स को हटा देती है जो उसकी सेवा की शर्तों का उल्लंघन करते हैं और “सामुदायिक सुरक्षा को प्राथमिकता देने के लिए हमारी सुरक्षा प्रथाओं को लगातार विकसित और परिष्कृत कर रही है।”
केली ने एक बयान में कहा, “जब जेनिफर के चरित्र के बारे में सूचित किया गया, तो हमने अपनी नीतियों के अनुरूप कार्रवाई करते हुए सामग्री और खाते की समीक्षा की।” कंपनी की शर्तें उपयोगकर्ताओं को किसी भी व्यक्ति या संस्था का प्रतिरूपण करने से रोकती हैं।
एआई चैटबॉट्स, जो बातचीत का अनुकरण कर सकते हैं और वास्तविक या काल्पनिक पात्रों के व्यक्तित्व या जीवनी विवरण को अपना सकते हैं, ने दोस्तों, सलाहकारों या यहां तक कि रोमांटिक साझेदारों के रूप में विपणन किए गए डिजिटल साथियों के रूप में लोकप्रियता हासिल की है। हालाँकि, प्रौद्योगिकी को महत्वपूर्ण आलोचना का भी सामना करना पड़ा है। 2023 में, बेल्जियम के एक व्यक्ति की आत्महत्या से मृत्यु हो गई क्योंकि एक चैटबॉट ने कथित तौर पर उनकी बातचीत के दौरान इस कृत्य को प्रोत्साहित किया था।
एआई चैटबॉट क्षेत्र में एक प्रमुख खिलाड़ी कैरेक्टर ने हाल ही में Google के साथ $2.5 बिलियन का लाइसेंसिंग सौदा हासिल किया है। प्लेटफ़ॉर्म में पूर्व-डिज़ाइन किए गए चैटबॉट हैं, लेकिन यह उपयोगकर्ताओं को फ़ोटो, वॉयस रिकॉर्डिंग और लिखित संकेत अपलोड करके अपने स्वयं के चैटबॉट बनाने और साझा करने की भी अनुमति देता है। इसकी लाइब्रेरी में एक प्रेरक सार्जेंट से लेकर पुस्तक-अनुशंसित लाइब्रेरियन तक, साथ ही निकी मिनाज और एलोन मस्क जैसी सार्वजनिक हस्तियों की नकल करने वाले विविध व्यक्तित्व शामिल हैं।
हालाँकि, ड्रू क्रिसेंट के लिए, कैरेक्टर पर उनकी दिवंगत बेटी की प्रोफ़ाइल की खोज एक विनाशकारी झटका था। 18 वर्षीय जेनिफ़र क्रेसेंटे की 2006 में हत्या कर दी गई, उसे जंगल में ले जाया गया और उसके पूर्व प्रेमी ने उसे गोली मार दी। 18 साल से अधिक समय के बाद, 2 अक्टूबर को, ड्रू को अपने फोन पर एक अलर्ट प्राप्त हुआ जो उसे कैरेक्टर.एआई पर एक चैटबॉट पर ले गया जिसमें जेनिफर का नाम, फोटो और एक जीवंत विवरण था, जैसे कि वह जीवित थी।
उन्होंने कहा, “आप सचमुच भयानक चीज़ों के मामले में बहुत आगे नहीं जा सकते।”
ड्रू के भाई, ब्रायन क्रेसेंटे ने भी इस घटना के बारे में प्लेटफॉर्म एक्स (पूर्व में ट्विटर) पर लिखा था। जवाब में, कैरेक्टर ने 2 अक्टूबर को घोषणा की कि उसने चैटबॉट को हटा दिया है।
यह बेहद घृणित है: @character_ai मेरी हत्या की गई भतीजी को उसके पिता की अनुमति के बिना वीडियो गेम एआई के चेहरे के रूप में उपयोग कर रहा है। वह इस वक्त काफी परेशान हैं. मैं कल्पना नहीं कर सकता कि वह किस दौर से गुजर रहा है।
कृपया इस प्रकार की भयानक प्रथा को रोकने में हमारी सहायता करें। https://t.co/y3gvAYyHVY
– ब्रायन क्रेसेंटे (@crecenteb) 2 अक्टूबर 2024
केली ने बताया कि कंपनी सक्रिय रूप से ब्लॉकलिस्ट का उपयोग करके अपने प्लेटफ़ॉर्म को मॉडरेट करती है और अपनी ट्रस्ट और सुरक्षा टीम के माध्यम से प्रतिरूपण रिपोर्ट की जांच करती है। उन्होंने कहा कि सेवा की शर्तों का उल्लंघन करने वाले चैटबॉट्स को हटा दिया जाता है। सार्वजनिक हस्तियों का प्रतिरूपण करने वाले अन्य चैटबॉट्स के बारे में पूछे जाने पर केली ने पुष्टि की कि ऐसे मामलों की जांच की जाती है, और उल्लंघन पाए जाने पर कार्रवाई की जाती है।
