सोशल मीडिया प्लेटफॉर्म्स पर एआई-जनित वीडियो की बाढ़ आ गई है, जो खासतौर पर अप्रमाणित यौन उपचारों जैसे संदिग्ध स्वास्थ्य उत्पादों को बेचने का प्रयास कर रहे हैं। विशेषज्ञों का कहना है कि इससे एक ऐसा ऑनलाइन माहौल बन गया है, जिसमें धोखाधड़ी के जरिए असुरक्षित उपभोक्ताओं को प्रभावित किया जा रहा है।
कॉर्नेल टेक के शोधकर्ताओं ने TikTok पर 'एआई डॉक्टर' अवतारों की बाढ़ दर्ज की है, जो संदिग्ध यौन उपचारों का प्रचार कर रहे हैं। इनमें से कुछ वीडियो को लाखों बार देखा गया है। आमतौर पर ये वीडियो मस्कुलर, बिना शर्ट पहने पुरुषों या एआई-जनित व्यक्तित्वों को दिखाते हैं, जो कंटेंट मॉडरेशन से बचने के लिए संकेतात्मक भाषा का इस्तेमाल करते हैं और यूजर्स को बढ़ा-चढ़ाकर या पूरी तरह से मनगढ़ंत दावों के साथ सप्लीमेंट्स खरीदने के लिए प्रेरित करते हैं।
और भी चिंता की बात यह है कि तेजी से विकसित हो रही एआई तकनीक ने सेलिब्रिटीज और सार्वजनिक हस्तियों की नकल करने वाले डीपफेक्स बनाना आसान कर दिया है। बे एरिया स्थित डीपफेक डिटेक्शन कंपनी Resemble AI ने ऐसे कई वीडियो पहचाने हैं, जिनमें एंथनी फाउची, रॉबर्ट डी नीरो और अमांडा सेफ्राइड जैसी हस्तियां अप्रमाणित उपचारों का समर्थन करती नजर आती हैं। ये वीडियो आमतौर पर मौजूदा कंटेंट को एआई-जनित आवाज़ और उन्नत लिप-सिंकिंग तकनीक से बदलकर बनाए जाते हैं।
Resemble AI के सीईओ जोहेब अहमद ने कहा, 'जैसा कि इस उदाहरण में देखा जा सकता है, भ्रामक एआई-जनित कंटेंट का इस्तेमाल सप्लीमेंट्स को बढ़ा-चढ़ाकर या अप्रमाणित दावों के साथ बेचने के लिए किया जा रहा है, जिससे उपभोक्ताओं के स्वास्थ्य को खतरा हो सकता है।' उन्होंने इन घोटालों से जुड़ी उपभोक्ता सुरक्षा संबंधी चिंताओं को रेखांकित किया।
फेडरल ट्रेड कमीशन ने इस बढ़ते खतरे के जवाब में खासतौर पर एआई-सक्षम प्रतिरूपण धोखाधड़ी को लक्षित करने वाले नए नियमों का प्रस्ताव रखा है। फरवरी 2024 में, एफटीसी ने एक पूरक अधिसूचना जारी की, जिसमें वाणिज्य में व्यक्तियों की प्रतिरूपण पर प्रतिबंध लगाने और ऐसे घोटालों में प्रयुक्त टूल्स जानबूझकर उपलब्ध कराने वाले एआई प्लेटफॉर्म्स की जिम्मेदारी तय करने का प्रस्ताव है।
एफटीसी की चेयर लीना एम. खान ने कहा, 'धोखेबाज एआई टूल्स का इस्तेमाल व्यक्तियों की हूबहू नकल करने और बड़े पैमाने पर धोखाधड़ी करने के लिए कर रहे हैं। वॉयस क्लोनिंग और अन्य एआई-आधारित घोटालों के बढ़ने के साथ, अमेरिकियों को प्रतिरूपण धोखाधड़ी से बचाना पहले से कहीं अधिक जरूरी हो गया है।'
तेजी से तैयार हो रहे शॉर्ट-फॉर्म एआई वीडियो कंटेंट मॉडरेशन के लिए अनूठी चुनौतियां पेश करते हैं, क्योंकि प्लेटफॉर्म्स द्वारा संदिग्ध कंटेंट हटाए जाने के बाद भी लगभग समान वीडियो तुरंत फिर से सामने आ जाते हैं। शोधकर्ताओं का कहना है कि इससे 'व्हैक-अ-मोल' जैसी स्थिति बन जाती है, जिसके लिए अधिक उन्नत डिटेक्शन टूल्स और नए नियामक दृष्टिकोणों की आवश्यकता है, ताकि एआई-संचालित घोटालों के बढ़ते खतरे से प्रभावी ढंग से निपटा जा सके।